2020年5月14日，日本，東京——索尼公司（下稱：索尼）宣布將發(fā)布兩款具備AI（人工智能）處理功能的智能視覺傳感器。圖像傳感器自帶AI處理功能，可在實現(xiàn)高速的邊緣AI處理的同時只提取必要數(shù)據(jù)，從而減少使用云端服務時的數(shù)據(jù)傳輸延遲，保證隱私安全，并降低功耗和通信成本。新發(fā)布的圖像傳感器極大拓寬了AI攝像頭的研發(fā)空間，將有望廣泛應用于零售和工業(yè)設備行業(yè)，并有助于構建與云端連接的優(yōu)化系統(tǒng)。

智能視覺傳感器左：IMX500 右：IMX501    

    物聯(lián)網(wǎng)的普及讓所有類型的設備都能連接到云端，使得信息處理系統(tǒng)得到廣泛應用，從這些設備獲得的信息需通過云上的AI進行處理。

    另一方面，云端處理的信息量越來越大，也帶來了各種問題：

    數(shù)據(jù)傳輸延遲的增加，阻礙了實時信息處理；

    在云端存儲個人身份數(shù)據(jù)相關的用戶隱私安全問題；

    云服務的使用功耗和通信成本的提高等其它問題。

    而新款傳感器的主要功能可以很好地解決以上行業(yè)痛點

    1 具備AI處理功能的圖像傳感器

    像素芯片是背照式進光的，有效像素約為1230萬，可以捕捉廣闊視角的圖像信息。

    除了傳統(tǒng)的圖像傳感器操作電路外，其邏輯芯片還配備了索尼原發(fā)的DSP(數(shù)字信號處理器)，專門用于AI信號處理，并為AI模型存儲。這種配置無需高性能處理器或外部存儲，使其成為邊緣AI系統(tǒng)的理想選擇。

2 元數(shù)據(jù)輸出

    像素芯片采集的信號通過ISP(圖像信號處理器)進行處理，并在邏輯芯片的處理層進行AI運算，將提取的信息作為元數(shù)據(jù)輸出，可以減少需要處理的數(shù)據(jù)量。同時，不輸出圖像信息有助于降低安全風險和保證隱私安全。

    除了傳統(tǒng)圖像傳感器捕捉的圖像外，用戶還可以根據(jù)自己的需要和用途選擇數(shù)據(jù)輸出格式，包括ISP格式輸出圖像(YUV/RGB)和ROI(感興趣區(qū)域)特定區(qū)域提取圖像。

    3 高速AI處理

    當使用傳統(tǒng)的圖像傳感器錄制視頻時，需要發(fā)送每一幀的視頻數(shù)據(jù)進行AI處理，導致數(shù)據(jù)傳輸量大，難以實時呈現(xiàn)結果。

    索尼的新款傳感器產(chǎn)品在邏輯芯片上進行ISP處理和高速AI運行(MobileNet V1*¹ 3.1毫秒處理)，在一個視頻幀內(nèi)完成整個過程。這種設計可以在錄制視頻的同時保證高精度、實時的目標追蹤。

    mobilenet V1：一種用于移動設備上目標識別的圖像分析AI模型。

    用戶可以將自己選擇的AI模型寫入嵌入式內(nèi)存中，并根據(jù)其需求或系統(tǒng)使用位置對其進行改寫和更新。

    例如，當多個搭載新款傳感器的攝像頭被安裝在零售場所時，某個單一類型的攝像頭可以在不同的地點、環(huán)境、時間或目的下使用：當安裝在場所入口時，可用于計算訪客人數(shù)；當安裝在商店的貨架上時，可以用來檢測庫存短缺；當安裝在天花板上時，它可以用來繪制商店客流的熱力圖(探測到許多人聚集的位置)，等等。

    此外，指定相機中的AI模型可以被改寫，從一個用于檢測熱力圖的模型變成一個用于識別消費者行為的模型，等等。