日前,2022全球VR/AR產業機遇策略峰會在上海舉辦。本次峰會由天風海外研究團隊與東西文娛等聯合主辦,旨在挖掘虛實交互產業有價值的驅動要素與價值變量,為產業的良性發展提供策略參考。
▲七鑫易維副總裁 路偉成
七鑫易維作為眼球追蹤技術領域的代表受邀出席,副總裁路偉成發表主題演講,分享了眼球追蹤技術在XR領域的應用場景、市場現狀及發展趨勢。
據路偉成介紹,七鑫易維是致力于機器視覺和人工智能領域的高新科技企業,自2009年創立以來,已在眼球追蹤技術領域深耕超過13年,XR眼球追蹤產品及解決方案拿下多項「 全球第一」。
▲七鑫易維發展歷程(2009-2022)
XR面臨的技術挑戰
路偉成在分享中表示,XR經過多年發展已取得不少突破,但依然面臨諸多技術挑戰——
分辨率方面,目前的主流是雙眼4K,現已出現5K,接下來將是雙眼8K,在分辨率大幅提升的同時,算力和數據傳輸的壓力也會越來越大。
交互方面,一個新的計算范式發生改變,隨之也會引發交互范式的連鎖變化,目前的主要交互方式為手柄,但這顯然不是最佳的交互范式。
眩暈控制方面,目前的XR終端雖然可以模擬雙眼視差,但單眼的屏幕焦距始終是固定的,雙眼視差引起的深度感知和單眼焦距并不匹配,從而產生視覺輻輳調節沖突(VAC),引發視覺錯覺和產生疲勞。
路偉成表示,眼球追蹤技術作為一種通過傳感器捕捉人眼動作,檢測人眼狀態、視線方向與注視點的技術,是解決上述挑戰的最佳方案。
眼球追蹤技術在XR領域的應用價值
中國信息通信研究院聯合華為、京東方、七鑫易維等編制的《虛擬(增強)現實白皮書》顯示,虛擬(增強)現實趨勢包含“五橫兩縱”的技術框架與發展路徑。具體來說,“兩縱”是指VR與AR,“五橫”是指近眼顯示、感知交互、網絡傳輸、渲染計算與內容制作。
路偉成表示,在“兩眾”的“五橫”關鍵技術框架中,眼球追蹤都扮演著至關重要的角色——
渲染計算方面,顯示分辨率不斷在提高,渲染算力愈發不夠用,這也使得“注視點渲染”技術變得尤為重要。“注視點渲染”的原理是人眼在注視物體時并非整個視野范圍都一樣清晰,而是中心點清晰,越往周邊越模糊。
“同理,在眼球追蹤與注視點渲染技術的加持下,能大幅減少每幀畫面需要渲染的像素數量,從而實現提升幀率、降低負載。”
▲ 眼球追蹤+注視點渲染
數據測試顯示,開啟眼球追蹤+注視點渲染技術后,渲染幀率提高1倍以上,渲染率提升7倍以上。“整套方案中,注視點追蹤解決方案由七鑫易維提供,底層渲染機制則由高通、英偉達等芯片大廠來提供。”
感知交互方面,XR終端手柄式的交互方式和沉浸式的需求體驗是相左的,人在真實世界中并不是用手柄進行交互操作,七鑫易維所推崇的是一種“眼手口”多模態的自然交互體系,即眼球追蹤+手部追蹤+語音識別,它們之間既互相彌補又各展所長,在實現更少學習成本的同時,更加符合人類交互習慣。
近眼顯示方面,VAC問題需要變焦系統解決,變焦系統則要借助眼球追蹤技術來實現。“眼球追蹤技術能高速檢測用戶眼部信息,計算出注視深度,從而大幅提升用戶感知的深度范圍和精準度。”
網絡傳輸方面,基于云的XR技術在逐步發展起來,目前的問題是延遲和數據量都相對較大,采用基于注視點的流化技術,可以有效降低網絡傳輸帶寬和延遲,從而給用戶帶來體驗上的多重提升。
內容制作方面,“元宇宙”概念持續火熱,在社交、遠程會議、直播等場景下,Avatar(虛擬化身)的應用愈發普遍,眼部動作和眼神情感的復現都依賴于眼球追蹤技術。
除了上述在XR領域的關鍵應用之外,眼球追蹤技術還廣泛應用于IPD調節、虹膜識別、視覺健康、精準用戶畫像、認知與心理健康、AR虛實融合對準、自閉癥/老年癡呆等疾病的篩查等場景。
風口至,眼球追蹤的「黃金時代」來了
作為國內眼球追蹤技術的領導者,七鑫易維始終專注于眼球追蹤技術的研發、創新與應用,全球專利總量近500項,其中發明專利300余項,通過超過10年的深耕和千萬級眼部特征數據庫的積累,精準度、可用率等核心技術指標均達世界一流水平。
“過去幾年,七鑫易維可以說是一路見證XR技術的發展,并率先圍繞Pancake短焦VR頭顯與輕量化AR/MR眼鏡重點布局。”
路偉成透露,七鑫易維已為創維、HTC、Nreal、NOLO、愛奇藝奇遇VR、小派、亮亮視野、Rokid、詮視等國內XR頭部品牌提供眼球追蹤解決方案,并與高通、英偉達、AMD、華為、微軟、英特爾等建立長期生態合作伙伴關系。
▲七鑫易維XR頭顯/眼鏡合作企業(部分)
談及眼球追蹤技術的發展現狀及未來趨勢,路偉成表示,權威數據調研顯示,VR/AR最需要解決的問題中,眼球追蹤排在第四位,前面的三個問題——HMD舒適性可用性、視場角、運動跟蹤已初步解決,這也使得搭載眼球追蹤解決方案變得迫切起來。
事實上,微軟、Magic Leap、Varjo、HTC、小派、Pico、Meta等均已推出支持眼球追蹤的XR終端,主要應用于B端;在C端,索尼、蘋果等搭載眼球追蹤功能的新品即將陸續上市。
基于此,路偉成認為,隨著消費級XR市場迎來爆發,眼球追蹤作為最為關鍵的核心技術之一,在XR方向上的應用已經到了一個臨界點,正在迎來「黃金時代」,成為新標配。“元宇宙被視作下一代互聯網,產業價值空前巨大,而眼球追蹤可以大幅提高XR終端的產品性能和用戶體驗,七鑫易接下來將有一些產品陸續上市,大家敬請期待。”