在智能制造系統的研究開發實踐中，會遇到大量的人機交互（Human-Machine Interaction）和需要對機器設備進行遠程操控（Teleoperation)的情況。很多數字化智能化的工廠都具備了先進的人機交互系統和對設備進行遠程狀態檢測、調試和維護的能力。尤其是在高溫、有毒、高電離輻射等惡劣工況條件下，工程技術人員可以通過先進的人機交互和遙控技術對現場設備進行操作，從而保護工作人員的身體免于損傷。人機交互和遠程操控技術具有大量的市場需求和廣闊的應用前景，相關的研究非常熱門。

    隨著虛擬現實和 5G 技術的發展，為人機交互和遠程操控技術注入了新的技術元素。基于傳統技術的人機交互和遠程操控已經不能滿足人們的需求。作為納斯達克上市企業“微美全息US.WIMI”旗下研究機構“微美全息科學院”的科學家們認為，人們需要構建一個具有逼真可視化效果，能夠與虛擬場景進行自然交互，在虛擬現實環境中對設備進行遠程操控的系統。

    以下是微美全息科學院的科學與技術的融合性觀點，對“虛擬現實環境下人機交互與設備遠程操控關鍵技術”具有前沿性指導意義。

    背景介紹

    隨著“智能制造”“工業 4.0”“工業互聯網”等概念的提出，相關的研究開始變得熱門。在制造業，工廠數字化、智能化的改造升級也在如火如荼地進行。很多數字化工廠都具備了先進的人機交互手段和對設備進行遠程狀態監測、運行、維護的功能。通過先進的人機交互和設備遠程操控系統，工程技術人員、工作人員可以在舒適的辦公室甚至在千里之外的地方即可實現對設備的運行狀態監測、調試和維護，極大地提高了工作效率。尤其在高溫、有毒、高電離輻射等惡劣工況條件下，工程技術人員可以通過先進的人機交互和遠程操控技術對現場設備進行遙控操作，從而保護工作人員的身體免于損傷。除了工業方面的應用，在外科手術中，醫生運用先進的人機交互和遠程操控技術可以實現遠程的手術操作，不但能讓遠在千里之外的患者享受到最優質的醫療服務，而且能大大減輕醫療人員的體力負擔。在太空探索中，借助于人機交互和遠程操控技術，科學家不必冒著生命危險親自前往外太空，只需要在地面控制中心遙控操作遠在萬里之外的機器人。

    虛擬現實技術提供了一種全新的查看和操作三維數據的方式，為人機交互和設備遠程操控系統注入了新的技術元素。虛擬現實技術使用戶能夠進入到計算機圖形系統搭建的場景中，并與其中的虛擬物體進行互動。隨著 HTC，Facebook 等科技公司的推動，虛擬現實硬件平臺和軟件開發平臺開始進入市場。其中，HTC 研發推出的HTCVIVE頭盔顯示系統具備大視場、高度沉浸感、高刷新頻率、良好的交互性等優異性能。當下，VR已成為繼互聯網、智能手機之后的下一個風口，世界各科技廠商都開始爭相進入 VR 市場，VR 相關的研究和應用正如火如荼地開展。

    互聯網技術的不斷升級換代，網速和通信可靠性不斷提高，為遙控操作系統提供了通信技術條件。通常遙操作系統需要建立專門的通信鏈路，隨著互聯網的性能提升，建立基于互聯網的遙操作系統成為了可能。尤其是隨著 5G 的全面鋪開，互聯網通信的網速將達到 1Gbit/s，通信的延遲將縮短為 20 毫秒以內。在 5G 支持下，人們可以在遙操作系統終端上，遠程駕駛自己的汽車，遠程操作家中的電器，遠程使用部署在遠端服務器上的大型軟件，遠程操作大型的實驗器材。在工業生產中，的大部分設備都可以接入互聯網，傳輸大量實時數據。工程技術人員在遠程操控現場設備的操作體驗將顯著提升。

    虛擬現實技術國內外研究現狀

    虛擬現實技術（Virtual Reality,簡稱 VR），又稱靈境技術，是利用電腦模擬產生一個三維空間的虛擬世界，讓使用者能夠沉浸在虛擬空間中，如同身處實際場景中一樣。虛擬現實融合了多種技術包括模型構建和3D顯示技術，人體動作捕捉和傳感器等技術。人機交互（Human–Machine  Interaction），主要研究的是人機界面人對機器的操作方式和交互方式。人機界面是人與機器接觸的部分，包括手機電腦的軟件界面，各種設備的控制面板都屬于人機界面部分。遠程操控（Teleoperation），是指通過有線或無線通信手段，將控制指令傳遞到操作終端，在操控過程中包括對設備信息的實時采集和呈現，指令的編碼和傳輸等方面。將虛擬現實技術、人機交互技術和遠程操控技術相結合，實現在虛擬現實環境下的人機交互和遠程操控，國內外有很多相關的研究和實踐。

    IBM、麻省理工學院和Heartport公司聯手開發的達芬奇手術機器人系統運用了多種人機交互和遠程操控技術。該系統采集人的操縱信息、觸覺信息，經過系統處理傳輸到機械手執行手術動作，機械臂的成像系統采集并放大視覺信號傳輸至虛擬現實成像系統，將手術場景立體呈現給操作人員。該系統運用了系統界面、VR 立體成像、人體動作傳感、觸覺傳感等多種交互手段實現人機信息傳遞。采用信息實時傳輸和高速處理技術消除信息傳輸和處理過程的延遲。采用精密伺服反饋控制系統和多種先進控制算法程序實現對機械臂的精確控制。

    日本豐田公司最新發布的 T-HR3 機器人系統，采用遠程操控的方式完全模仿人的動作。操作系統采集到人員的動作信息，通過無線數據鏈路將人的動作信息傳輸到機器人執行同樣的動作。機器人的視覺系統將采集到的視覺信息回傳給操作人員，通過 VR 成像系統立體呈現給操作人員。

    美國諾斯羅普•格魯曼公司研制的全球鷹無人機系統通過地面控制站實現人機信息傳遞，信息通過高速數據鏈傳輸至無人機執行，無人機的視覺傳感器將采集到的信息回傳至地面控制站，控制站將無人機的各項參數通過顯示面板呈現給操作人員。北京航空航天大學開發的用于飛行員訓練的虛擬現實系統，能夠使飛行員沉浸于虛擬機艙環境，虛擬機艙根據飛行員的操作實時繪制出虛擬場景，使飛行員具有和真實駕駛環境類似的人機交互環境，大大降低了飛行員的訓練成本。

    從上述研究，可以提煉出虛擬現實環境下的人機交互和遠程操控的若干共性技術。這些技術可以歸納為對人信息的采集，對機器信息的采集，信息的三維呈現和遠程控制等。機器視覺是信息采集獲取的重要途徑。無論對人還是機器，通過視覺進行信息采集都是信息獲取的重要途徑。對機器視覺的研究最早是對二維圖像的模式識別和分析。20世紀 70 年代隨著計算機的發展機器視覺的理論體系得以創建。Marr 建立了一套完整的機器視覺理論體系。Marr 的視覺理論將視覺處理分為二維數據采集、提取關鍵要素和三維重建。根據圖像的點、線、曲率等要素及其各種要素間的關系，通過一系列的后期處理，恢復出場景的三維信息。在 Marr 視覺理論的基礎上又發展出了帶有特征拾取，信息反饋，帶有目的的特征識別等一系列的改進模式。

    機器視覺系統的組成包括燈光系統、光電轉換系統、成像系統、圖像加工模塊。通過光電轉換將目標轉換為數字信號，系統對數字信號進行處理，形成像素的灰度和彩色數字。根據數字信號的特征，獲得有用知識。在光源方面，通常針對不同的特征提取需求采用不同的照明方案。在視覺系統中，有多種光照方式，包括反向照明、正向照明、結構光源和閃光等。反向照明指光源透過被照物體，光源的方向朝向攝像機。正向照明是指光源直接照射物體，物體的反射光被攝像機捕捉到形成圖像。結構光源是具有一定形狀特征的光源，例如線裝或點狀陣列光源，這些形狀照射在物體上會產生變形，系統根據變形信息反推出物體的深度信息。閃光是非連續光照，僅在攝像機拍攝時有短暫光照。CCD(Charge Coupled Device)和圖像采集卡技術的進步，促進了機器視覺的應用。

    隨著光電轉換器件的性能提升，元件越來越小，信號的傳輸能力越來越強。以 PC(Personal Computer)機為中心的視覺系統中，需要借助于顯卡來對拍攝的圖像進行處理，顯卡能夠將圖像數字化為像素和灰度值信息。提取復雜信號的特征需要借助于多個步驟分步實現。首先要將關注的目標同背景區分開來。目標與背景差別比較小并且難以區分時，通常要對目標進行特征放大和增強。特征被放大增強以后就能夠同背景進行區分。把目標從背景分離出的方法包括：偽目標刪除方法、自適應閾值方法、逐步驟類方法、多信息融合方法等。

    目前，三維動作捕捉技術是研究的熱點。三維運動捕捉技術能夠可以測量、跟蹤和記錄物體在三維空間中的運動軌跡，不僅人體動作信息采集，在很多研究領域都有著廣泛應用。三維運動捕捉技術的產生可以追溯到 20 世紀 70 年代，最初是由心理學家 Johansson在對人體運動的視覺感知研究中提出來的。20 世紀 80 年代以來，以 Calvert、Carol、Robertson 以及Walters 和 Tardif 為代表的教授和學者，先后對于三維運動捕捉技術進行了深入研究，推動了該技術的發展，使得該技術日趨成熟。

    隨著虛擬現實技術研究的深入和相關技術的成熟，在虛擬環境中與虛擬模型進行交互控制成為了現實。虛擬現實涉及的技術領域很多，是一個多種技術共同發展的結果。虛擬現實技術涉及模型構建和 3D 顯示、人機互動、穿戴式傳感器、機器學習等多個領域技術。利用虛擬現實技術，可以給用戶提供包括視覺觸覺聽覺甚至嗅覺的感官體驗，使參與者具有很強的身臨其境感。虛擬現實系統需要實時采集捕捉使用者的運動狀態信息，從而生成相應的圖像畫面投影到使用者的雙眼。該技術集成了 3D 顯示、仿真、機器視覺、機器學習、并行處理等技術的最新發展成果，是一種由計算機技術輔助生成的高技術模擬系統。

    虛擬現實的概念最早提出與 20 世紀中期。美國宇航局對虛擬現實的顯示屏和傳感器等關鍵技術進行了研究，推出了 LCD(Liquid Crystal Display)顯示屏等先進技術，使虛擬現實技術得以發展。1968 年，哈佛大學開發了一種頭戴式顯示器，配合頭部動作捕捉系統，可以給使用者提供初步的立體視覺，這是虛擬現實技術研究的一項重要突破。之后的虛擬現實系統開發多基于這種架構。2015 年，HTC VIVE 公司研制的虛擬現實頭盔系統投入市場，代表著虛擬現實技術的研究已經從實驗室走向了市場。虛擬現實技術的研究也從理論研究轉為應用中具體問題的研究。

    綜上所述，機器視覺、動作捕捉、VR 和遠程控制等技術不斷進步，達芬奇手術機器人和豐田 T-HR3 機器人等通過對上述技術的整合和系統集成實現了在虛擬現實環境下的沉浸式人機交互和對機器的遠程操作。在虛擬現實環境下的沉浸式人機交互將取代現有的鼠標、鍵盤、顯示屏的人機交互方式。隨著相關研究和開發的進行和關鍵技術的突破，電影阿凡達中出現的那種遙控外星軀體的科幻場景將成為現實。

    虛擬現實環境下人機交互與設備遠程控制框架體系的結合

    為了解決虛擬現實環境下人機交互與設備遠程控制系統所需解決的數據采集、模型構建和顯示、人機交互、安全控制等難題，一種基于虛擬現實環境下人機交互與設備遠程控制框架模型，如圖1所示。從邏輯上分析，該框架模型包括五個層次：硬件執行層、工業網絡層、系統層、邏輯控制層、用戶操作層。這些層次之間有一定的邏輯或業務交互關系，每個層中又包含若干安全控制機制與方法，形成一套完整的虛擬現實環境下人機交互與設備遠程控制邏輯架構體。

    （1）硬件執行層

    硬件執行層為系統的硬件構成，主要執行來自虛擬現實系統中的 UI 界面模塊發來的各種生產指令。在智能制造車間，工業機器人、數控機床、加工中心、3D 打印機、智能 AGV(Automated Guided Vehicle)小車和工人等形成智能人機集群。這些設備的運行狀態信息由數據采集設備負責采集，經過數據處理將數據提供給虛擬模型的加載和顯示模塊。

    （2）工業網絡層

    工業網絡層是將虛擬現實系統底層的現場控制單元和智能生產設備互連的實時工業通信網絡，常見的有基于現場總線、工業以太網等技術手段進行工業設備網絡通訊，它包括有線傳輸方式與無線傳輸方式。有線傳輸方式一般基于現場總線、工業以太網等，采用 Profibus、Profinet、TCP／IP 協議等多類型的標準，高速度、高頻寬及高可靠度的網絡傳輸通道。無線網絡傳輸方式如工業無線傳感器網絡，進行數據傳輸及傳感器連接，不需要現場布線，方便快捷，但是網絡帶寬及傳輸可靠性較差。

    （3）系統層

    系統層是指運行與硬件層之上的系統軟件。它是虛擬現實環境下人機交互和設備遠程控制系統框架模型的中間核心層，通過系統層可實現在虛擬現實環境下對智能設備的安全可靠的遠程監視與控制。主要功能有數據采集、設備控制、通訊管理、模型驅動、3D 顯示、系統安全管理等。在本模型中，系統安全管理的典型功能有數字簽名、對稱加密、非對稱加密、安全機制等。

    （4）邏輯控制層

    邏輯控制層是系統的業務邏輯關系。主要處理來自用戶操作層對系統層的操作指令，對相關數據進行處理。該層主要包括業務過程的邏輯控制、數據處理與算法優化等。主要模塊有指令執行、數據處理、業務交互等。

    （5）用戶操作層

    用戶操作層是實現用戶與軟件系統交互、對硬件執行層發布各種指令的界面，它由各種應用系統界面接口、多類型用戶終端設備（例如數據手套、攝像頭、VR 眼鏡等）、多種工業 API 接口等。

圖1 虛擬現實環境下人機交互和設備遠程控制系統框架模型

    虛擬現實環境下設備遠程控制系統分為多個層級，包括客戶端層、智能設備層、Server 層等。如圖2所示，控制系統主體為基于 OPC(OLE for Process Control)的客戶端/服務器結構。系統每一個層級都可以包含信息交互、指令執行和安全控制等模塊。例如在智能設備層，信息交互模塊實現了智能設備的人與機器的會話，機器與機器的會話，機器與網絡的會話以及對復雜信息的處理等功能；指令執行模塊可實現Server發來的各種指令的執行，如刀具更換、各運動軸變速、開關門、設備開關機等操作指令；安全控制模塊具有對設備控制指令進行數字簽名、對稱加密和非對稱加密等功能。

    圖2設備遠程控制系統結構模型

    為實現在虛擬現實環境下遠程操控工業設備，建立了一套完整的系統。機器視覺、虛擬現實和遠程控制等多項技術的發展，為這樣的系統構建提供了很好的技術支撐。為使各項技術能夠協調配合更好地適用于所要建立的系統環境，還需要對各項技術進行綜合運用和優化改進，系統構建步驟如圖3所示。

圖3虛擬現實環境下人機交互與設備遠程控制系統構建步驟

    如圖3所示，在步驟 1 構建系統的數據采集系統。數據采集系統為系統提供數據饋送支持。現場多種設備的狀態信息，通過數據采集系統獲取，根據這些數據來驅動虛擬模型。然后借助于視覺標記間接獲取設備運動信息的數據采集方法。

    在步驟 1 進行視覺標記設計、識別和定位相關技術的研究。

    步驟 2，完成場景實時構建和 3D 顯示。在步驟 1 中獲取到的現場設備數據，通過步驟 2 以三維可視化的形式呈現。步驟 2 主要研究場景的實時構建、快速加載、動態運動，虛實同步等問題的解決。最后研究 3D 顯示的實現方案和在虛擬現實環境下的交互方案。

    步驟 3，搭建一個低延時、安全遠程控制系統，并實現系統與被控設備的軟硬件連接。在虛擬現實系統中，UI 界面產生的操作指令通過遠程控制系統發送至終端設備并被執行。在該步驟中研究解決通信延遲、通信安全和基于 PLC 的終端控制系統搭建問題。

    步驟 4，將步驟 1 至 3 中所研究和提出的解決方案，以及建立的系統模塊進行系統集成與測試。該部分采用數據緩存文件的方式實現系統模塊間的連接。最后對系統及其各模塊進行運行測試，完成系統的構建。

    研究展望

    諸多的技術發展，已經為構建一個虛擬現實環境下的人機交互與設備遠程操控系統創造了很好的條件。人們希望將虛擬現實和互聯網 5G 等新技術應用于數字化生產制造領域。然而集成這樣的融合了軟件、電子、機械諸多學科的復雜系統，還需要對各項技術進行優化改進。研究人機數據采集、場景實時建模和 3D 顯示、低延時安全遠程控制等關鍵技術，并集成關鍵技術，開發的虛擬現實環境下的人機交互和設備遠程操控系統能夠進一步提升了人機交互體驗和遠程操控效率，同時改進的關鍵技術問題具有普遍的適用性，對進一步提高智能工廠的自動化、智能化水平具有很好的參考價值，具有大量的市場需求。