智慧視覺是新基建等眾多行業的關鍵技術，伴隨著行業的發展，畫質技術與AI技術不斷成熟、相輔相成，并且呈現出越來越強的融合的趨勢。上海海思聚焦端側技術，在畫質和AI方面堅持投入不斷創新，致力于為行業伙伴提供最領先的智慧視覺技術與解決方案。

    視覺不但是生物演進過程中的里程碑，隨著智能時代的到來，也成為智能終端最重要的基礎能力之一，在交通管理、消費電子、工業智造、智能汽車等諸多領域有著廣泛的應用。“無圖無真相”，視覺是這些產業最不可或缺的能力，先后經歷了看得見、看得清、看得懂的不斷升級，伴隨著從模擬，到數字化、網絡化、智能化的演進。在視覺技術使能的眾多產業蓬勃發展的大潮中，海思深耕ISP圖像處理、視頻編解碼、AI計算等核心技術，以更清晰更智能的視覺SoC芯片方案，與產業伙伴共同推動產業從高清到超高清的升級，不斷提升全天候圖像畫質，挖掘視頻數據價值，使能更多行業應用。

    “看得清”仍然是產業升級的重要動力

    從智慧城市、智能汽車等行業的應用來看，視覺技術面臨的主要挑戰來自全天候圖像捕獲、價值數據獲取等方面。雖然目前整個產業已經進入4K/8K超高清時代，但是“看得清”仍然是產業升級動力之一，尤其是低照度、逆光等場景，仍然是業界公認的難題，普遍存在視頻畫質差、目標不清晰、進而影響后續AI識別率等難題。

    海思多年來深耕ISP圖像處理技術，通過不斷超越的技術手段，即使在極端的低照度和逆光等場景，也能提供令人驚艷的畫質。

    在暗光場景，海思綜合利用8級3D降噪和多光譜融合多種技術提供了業界最優秀的暗光成像品質。其中8級3D降噪技術利用8級濾波器進行降噪處理，它可以在空域濾波過程中同時實現圖像去噪和增強，以及在時域濾波過程中混合兩種不同的時間模式。8級3D降噪技術還包含兩個用于細節增強的IE模塊和一個銳化模塊，可以在實現更強的去噪的同時，保留并增強更多的圖像細節。而多光譜融合則通過紅外補光，在ISP將可見光、850nm、940nm等常見光譜融合，在不增加光污染的同時，最終使圖像效果達到暗光全彩，細節紋理豐富，過曝區和非過曝區準確處理。

    例如在光線不足的地下停車場，海思的8級3D降噪與多光譜融合技術結合能夠讓圖像達到暗光全彩的效果，細節紋理更加豐富，噪聲大幅降低，能夠在暗光下精準記錄信息，大大減少視覺死角。

    在逆光等高動態范圍場景，海思能夠基于圖像目標區域（隧道出入口等）進行檢測及分類，實時調整曝光策略，提升特定區域的成像效果。在靜態場景，在目標辨識度、整體細節、清晰度、色彩飽和度等方面，表現均優于業界領先水平；在出入隧道等動態場景，海思技術在實測中表現出曝光準確，調整迅速的特點，對行車安全有很大幫助。

    “看得懂”使能智慧視覺更豐富的應用

    近年來數據、算力、算法不斷進步，特別是視頻數據與AI結合，極大地推動了智能終端的升級和廣泛應用。全聯網、全高清帶來圖像質量大幅提升的同時，也帶來龐大數據量，從視頻到結構化數據的智能轉換成為行業發展重點。上海海思在2016年布局AI視覺處理芯片，2018年推出跨時代旗艦處理器，引領視覺相關產業向AI化發展，幫助行業合作伙伴在海量場景中快速獲取價值目標信息。

    由于端側的特點，實現算力的同時需要綜合考慮成本、功耗等多種元素。深度神經網絡計算的特點是基于大量的矩陣乘法，分解下來的最基礎單元是MAC乘加運算。海思通過自研的達芬奇魔方架構對矩陣乘加計算進行加速，并針對智能終端的特點，提供新一代高性價比達芬奇端側AI引擎，通過硬件和軟件結合的優化，實現PPA（Performance Power Area）以及MAC利用率大幅領先行業水平。僅有算力也是不夠的，為了滿足不同的應用場景和開發需求，開發者還迫切需要更容易使用的開發套件，高效率高質量的完成開發。海思AI芯片支持業界主流開發框架：PyTorch、TensorFlow、Caffe、MindSpore，并且支持ONNX開放神經網絡交換格式，能夠靈活適配不同的開發框架。

    除了基于神經網絡的應用，海思還深入分析智慧視覺應用的特點，結合豐富的實戰經驗，將部分計算機視覺的算子直接硬化集成，例如圖像縮放、顏色空間轉換、基本濾波處理、目標檢測、車牌識別、3D深度檢測等基礎CV算子，不僅運算更高效，而且開發更便捷，可廣泛應用在智慧城市、無人機、機器人、AGV、輔助駕駛等多種場景。

    當視覺進入AI時代，智慧視覺也逐步成為必不可少的社會效率工具。例如智慧停車場將停車場管理帶入無人值守時代，利用攝像機+AI自動識別車牌，從取卡到“無感”，降低了人力和卡片維護系統成本，提升了駕車出行的效率。

    從刷卡到非接觸打卡，從人員值守到快速通勤，智慧視覺在辦公場景的應用也大大提升了園區管理的效率。2020年疫情期間，實體打卡、接觸式指紋識別打卡逐漸被智能打卡取代：多通道智慧視覺能力被應用于眾多智慧打卡機、通道閘機中，與多維感知融合，提升通勤效率同時減少人員接觸，有力保障了園區有序管理。

    視覺與AI的深度融合是產業發展的大勢所趨

    基于濾波等傳統技術的圖像處理技術在暗光、寬動態等場景的效果逐漸遇到一定的瓶頸，獲得顯著的改進越來越困難，而利用AI進行圖像增強逐漸成為研究新熱點并取得了顯著的進展。根據海思研究表明，利用神經網絡技術對圖像中的噪聲進行檢測和去除，疊加多光譜技術不僅更好的區分了運動物體和靜止背景，而且改善噪聲形態及提高信噪比，0.1 Lux下智能識別率預估可達到95%以上。除了暗光去噪，AI還可用于寬動態DRC等多種場景。近年來AI對靜態照片的優化已經廣泛應用于高端手機的相機拍照并獲得了不錯的效果，而視覺行業的特點要求能夠對高分辨率、高幀率的視頻應用AI進行實時調優，對算法算力的要求更高，特別是如何在端側算力環境下高效實現AI ISP功能，獲得相比傳統ISP更優的效果，是海思以及產業伙伴正在探索的方向。

    視覺與AI是新基建眾多領域的關鍵技術，也是智能終端最重要的基礎能力，它們在數據、算法、算力的推動下不斷進步，滿足更多行業和場景的應用需求，并且呈現出越來越強的融合的趨勢。上海海思能力覆蓋感知、計算、聯接、表達、以及半導體工程工藝等多方面，特別是以視覺產業為基礎，在端側視覺感知、AI計算領域有深厚的經驗和業界領先的核心能力，堅持投入，不斷創新，為行業伙伴提供最領先的技術與解決方案，為智慧城市、智慧家庭、智慧出行等場景的智能終端打造性能領先、安全可靠的半導體基石。