PICO全新自研的Centaur多模態(tài)融合追蹤算法,將光學追蹤算法和CV模態(tài)手柄追蹤算法進行了有效融合。這不僅解決了無燈環(huán)手柄「識別難」的問題,也為XR行業(yè)的追蹤交互提供了新的思路。頭顯既能通過光學追蹤算法識別手柄上LED燈發(fā)出的紅外光,還能夠在LED燈被手部遮擋時,通過CV模態(tài)追蹤算法識別裸手的特征,從而準確還原出手柄控制器的6DoF信息。兩大算法結合手柄本身具備的慣性導航系統(tǒng),使得新手柄無需增加新的傳感器,也能實現(xiàn)穩(wěn)定、精準的追蹤。

 創(chuàng)新技術研發(fā)思路

 為了率先實現(xiàn)Centaur多模態(tài)追蹤算法的產(chǎn)品化,PICO組建了跨部門的攻關小組,包括手柄追蹤算法團隊、裸手追蹤算法團隊和交互數(shù)據(jù)團隊。經(jīng)過多次論證后,最終實現(xiàn)了一套基于神經(jīng)網(wǎng)絡的多模態(tài)手柄追蹤框架,其融合了慣性測量單元(IMU)、光學傳感器和手部圖像信息。

 在框架設計中,手柄追蹤算法團隊負責提升光學追蹤的穩(wěn)定性,并搭建算法框架;裸手追蹤算法團隊設計了SOTA端到端的6DoF位姿估計模型,提升手部追蹤的穩(wěn)定性;而交互數(shù)據(jù)團隊則通過自研多源三維數(shù)據(jù)采集設備與高精重建算法,提供大量標注數(shù)據(jù)。

 這樣的追蹤系統(tǒng),不僅能基于紅外 LED 實現(xiàn)高精度追蹤,還能夠利用裸手檢測“隔山打牛”。為了驗證效果,PICO還聯(lián)合極客玩家進行了極限測試,在音游、游動健身等對追蹤精度要求極高的場景下,該算法的追蹤效果都可媲美PICO 4的HyperSense振感手柄。

 搭建全方位自研體系

PICO Centuar多模態(tài)追蹤算法的推出,得益于PICO在兩大核心算法上的技術積累。PICO Neo3和PICO 4兩代產(chǎn)品的打磨,幫助PICO 在光學追蹤領域積累了扎實的技術。與此同時,PICO 在裸手追蹤上也持續(xù)探索,相關技術已位列全球第一梯隊。PICO通過不斷優(yōu)化端到端的時序模型、千萬級高精訓練集以及MTP延遲測試方案,在算法延遲與追蹤丟失率方面實現(xiàn)技術突破,在游戲、運動等快速甩動手柄的場景下,給用戶帶來流暢且穩(wěn)定的體驗。

 而這些技術創(chuàng)新背后,是PICO獨立自研的高精度數(shù)據(jù)平臺,以及專業(yè)的測試平臺。

?比如為了生產(chǎn)更符合開發(fā)需求的高精度裸手姿態(tài)數(shù)據(jù),PICO一方面采用了業(yè)內領先的基于相機陣列的自研多視角手部姿態(tài)標注技術,另一方面針對該特定任務進行預重建,進一步提升手部姿態(tài)數(shù)據(jù)的精度。這無疑為算法的訓練,提供了強大的支撐和助力。

近期,PICO交互數(shù)據(jù)實驗室團隊的研究發(fā)現(xiàn),被國際頂級會議ICCV 2023成功收錄,包含了一篇Oral論文和三篇會議論文。這些涉及高效數(shù)據(jù)獲取、高精度數(shù)據(jù)標注、數(shù)據(jù)應用等方面的實踐研究,也代表了國際計算機視覺領域的最新成果。

作為全球領先的XR品牌,PICO 憑借前瞻性的技術意識和充分的技術積累,創(chuàng)新研發(fā)了多模態(tài)的融合追蹤算法,為行業(yè)AI交互提供了全新思路,也進一步助推了手柄的輕量化,為用戶提供更符合人體工學,且兼具細膩振感的交互體驗。

zhupb