基于自主研發的NE-D163A主控SoC人工智能視覺芯片，肇觀電子今日面向機器人、安防、AR/VR、無感智能門禁、機器視覺、物聯網、智能交通（客流統計）等行業推出內嵌AI智能深度相機Feynman系列，提供SDK，賦能客戶部署差異化算法，支持客戶深度定制，以滿足各種智能設備定位、避障和智能分析等需求。Feynman系列深度相機的主控芯片內嵌幾何和深度引擎DEP，AI加速引擎NPU與視覺加速引擎DSP，采用主動雙目視覺技術，在室內外各種場景，均能生成高幀率和高精度的深度圖，同時支持端側實時智能AI算法的部署。整機具有深度圖精度高、幀率高、AI算力強、ISP成像質量好、集成度高、功耗低、體積小等諸多優點。

▲ 內嵌AI的智能深度相機Feynman M1

    Feynman相機搭載了散斑結構光、雙目紅外攝像頭IR模組、彩色攝像頭RGB全局曝光模組以及慣性測量單元 （IMU）。這些豐富的傳感器組合提供了多維度的信息，使得Feynman相機能夠幫助機器人構建強大的環境感知和理解能力。

▲ Feynman M1結構圖

    01. Feynman深度相機的卓越性能

    ▲ Feynman M1 Depth+CNN演示效果

    深度距離的精確程度取決于深度圖的精度。Feynman相機具有強大的深度視覺處理能力，它無需外掛其他處理器，就可以產生性能高達720P 30FPS的深度圖，且具有極低的空洞率。實測數據表明，在同一物品和同一光照條件的情況下，某國際巨頭R* D435 的空洞率在1%附近，Feynman空洞率為0.2%。

▲ Feynman M1深度圖效果

    Feynman的深度圖具有90°對角的廣角視場，可以幫助智能設備看得更廣，實現更好的避障和路徑規劃。下圖可以看出，Feynman所看到的場景比常規深度相機看到的視野更寬廣。

    ▲ 市面常規相機深度圖58° x 45°（左）vs Feynman M1深度圖84° x 60°（右）

    Feynman相機內置的NE-D163A芯片還具有業內創新的自學習ISP流水線架構，從而在各種復雜光照環境下均能獲得優質的圖像。Feynman相機傳感器支持極高動態的HDR，并且在低照度場景下依然能清晰成像。

▲ 不同光照環境下的圖像處理對比圖

    在與市場上高端3D深度相機的性能指標進行比較之后（下表），可以看出Feynman 3D+AI深度相機的競爭優勢，尤其在智能方面的亮點更加突出。相機的結構非常緊湊，尺寸為89.8mm x 25mm x 30.8mm，和市面主流深度相機的大小兼容。

▲ 某國際巨頭R* D435 （左）與Feynman M1 （右）

▲ 某國際巨頭R* D435 vs Feynman M1性能參數比較

    機器人、安防、AR/VR、無感智能門禁、機器視覺、物聯網、智能交通

    02. 主控SoC AI 視覺芯片 NE-D163A

    這顆主控SoC芯片NE-D163A是由肇觀電子自主研發，擁有高性能深度視覺處理獨立硬件IP，專門應用于機器人、AR/VR、工業檢測等領域的芯片，已在客戶產品中通過了人臉支付、活體檢測的BCTC增強級認證。下表是芯片的各項參數：

▲ NE-D163A視覺AI芯片

▲肇觀電子視覺AI芯片NE-D163A參數

    NE-D163A包含的NPU具有業界領先的硬件利用率。根據每TOPS下對典型網絡的推理幀率，NE-D163A的性能比業界其它AI芯片相比要高2-3倍。其自帶的AI編譯器Infer Studio? 支持Caffe，Tensorflow，NCNN，ONNX等框架以及CNN，RNN，LSTM，Transformer等網絡類型。同時，NE-D163A的NPU重點支持FP16和INT8兩種精度類型，FP16精度無損、INT8精度損失在1%以內，提供了更高的算法部署的準確度。

▲ 不同芯片跑幾種經典網絡模型每秒處理的圖片幀數對比

    ▲ 經典網絡模型在PC端和NE-D163A芯片上推理結果的精度實測對比，精度損失在1%以內

    03. Feynman深度相機的應用場景

    Feynman相機不僅適用于室內，場景復雜的室外仍然適用，在陽光下也可以獲得好的深度圖。市面上常見的深度相機，其主動光在太陽光下容易受到干擾，從而無法獲得良好的深度圖。Feynman相機采用獨特的光學設計，在室外陽光下應用時，能在降低太陽光干擾的同時，保持信噪比，從而保證深度圖的準確性和完整性。

    ▲ Feynman M1室外陽光下深度圖

    除了在機器人領域的廣泛應用，Feynman相機也在工業場景有諸多應用，針對工業場景，Feynman提供了具有千兆以太網，電源和控制信號航插的擴展款。

▲ Feynman M1擴展款

    04. 易于開發者二次開發

    Feynman出廠自帶標定參數，支持固件升級。為了方便開發者快速評測和集成，肇觀電子還提供了豐富的軟件工具和SDK支持：

    主機端SDK源碼，包括Windows/Ubuntu(ROS)/Android平臺的SDK支持。該SDK用于主機訪問和控制相機設備端，代碼開源在Github和Gitee上面。對于需要利用端側AI和DSP算力的產品和深度定制的客戶，Feynman提供了設備端SDK。

▲ 各平臺SDK支持

    Feynman Viewer是Windows應用，可以通過USB接口進行相機訪問，實時控制相機，并完成各類圖像獲取及展示等功能。

▲ Feynman Viewer應用程序界面

    Feynman符合人眼安全相關認證標準 IEC60825 Class I、IEC62471、防塵防水等級IP54，通過了第三方可靠性及EMC相關測試。

▲ Feynman 紅外激光人眼安全等級

    05. 結語

    肇觀電子結合自身的高性能芯片研發能力，3D視覺能力和系統整合能力，推出具有大廣角、高幀率、高精度的Feynman 3D+AI 相機來滿足各種智能設備定位、避障和智能分析等需求。另外一方面，由于消耗大量計算力視覺計算的任務轉移到Feynman相機里面來完成，智能設備對外圍芯片的算力需求隨之降低，因而廠商可以選擇低成本的外圍芯片，這有助于降低智能設備的整體硬件成本。

    近年來，伴隨工業 4.0、人工智能、機器人等產業的蓬勃發展，3D視覺感知成為了限制目前包括機器人、安防、AR/VR、無感智能門禁、機器視覺、物聯網、智能交通等眾多領域發展的瓶頸，深度相機的需求迅速增長。尤其在移動服務機器人行業，包括送餐機器人、酒店服務機器人，商場機器人，巡檢機器人、工廠AGV自主移動機器人、特種移動機器人等，機器人廠商不斷尋求性能卓越，可靠，價格合適的深度相機。目前，Feynman系列相機已在諸多機器人產品中批量商用。