谷歌研究低成本內向外 6DoF VR控制器追蹤系統

　　2018年05月02日，一系列的VR一體機將在2018年登陸市場，但至今都沒有任何一款設備能夠提供6自由度控制器輸入。但這種情況或許很快就會發生改變。谷歌一份最新的研究詳細介紹了一種低成本的內向外VR控制器追蹤系統。

　　第一款提供內向外頭部追蹤功能的VR一體機即將面世：聯想Mirage Solo(谷歌Daydream生態系統的一部分)和HTC Vive Focus。但這兩款頭顯只配備了3自由度運動控制器，這意味著手部輸入僅限于更抽象和更不具沉浸感的動作。

　　谷歌在研究論文中指出，許多VR一體機缺乏6自由度控制器追蹤的原因是硬件成本，計算成本和遮擋問題。這篇題為《Egocentric 6-DOF Tracking of Small Handheld Objects》的說明了一種基于計算機視覺的6自由度控制器追蹤方法，其可以在沒有活動標記的情況下運行。

　　谷歌的論文作者Rohit Pandey，Pavel Pidlypenskyi，Shuoran Yang和Christine Kaeser-Chen寫道：“我們的關鍵觀察結果是，用戶雙手和雙臂為控制器在影像中的位置提供了優秀的情景參考，即便控制器本身有可能被遮擋時也能提供十分穩定的線索。為了簡化系統，我們選擇了用于頭顯6自由度姿態追蹤的相同攝像頭來作為輸入。在我們的實驗中，它們是一對立體單色魚眼攝像頭。除了基于標準IMU的控制器之外，我們不需要額外的標記或硬件。”

　　論文作者表示，這種方法可以為基于IMU的控制器帶來位置追蹤。他們相信這有朝一日可以擴展到無控制器手部追蹤。

　　像Santa Cruz這樣的內向外控制器追蹤方法使用攝像頭尋找隱藏在控制器內部的IR LED標記，然后將標記的形狀與已知形狀進行比較以判斷控制器的位置。谷歌的方法則是根據用戶雙手和雙臂來推斷控制器的位置。

　　為了做到這一點，他們從頭顯角度捕獲了大量的圖像數據集。相關數據顯示了用戶以某種方式握持控制器的姿態。然后研究人員訓練了一個神經網絡(一個可以自我優化的程序)來檢測圖像，并且推斷控制器的位置。通過數據集的學習，該算法可以根據從頭顯實時饋送的全新圖像來推斷控制器位置。另外，系統可以結合控制器的IMU數據來提高準確性。

　　在一個已被刪除的視頻中，我們看到了來自頭顯攝像頭的視圖，其中用戶正在揮動一個看似Daydream控制器的設備。疊加在影像的內容是一個標記控制器位置的符號，其能夠在用戶移動手部時精確跟上控制器，即便控制器本身被用戶手臂遮擋時也沒有任何問題。

　　為了測試系統的準確性，研究人員使用了商業版外向內追蹤系統來捕捉控制器的精確位置，然后再與他們的方法進行比較。結果表明，“3D關鍵點預測的平均誤差為33.5毫米”(略大于1英寸)。研究人員表示，他們的系統能夠以30FPS的速度在“單個移動CPU內核”運行，適用于移動VR硬件。

　　他們的方法仍然有提升的空間。論文作者指出，由于目前的模型是在逐幀基礎上預測位置，而不是共享幀之間的信息，所以他們計劃把幀之間的插值作為下一步方向，從而顯著加快追蹤速度。

　　谷歌計劃公開用來訓練算法的數據集，允許其他團隊訓練自己的神經網絡以改善追蹤系統。論文作者認為這是同類中規模最大的數據集，由大約547000對立體圖像組成，而每幅圖像中標記有控制器的精確6自由度位置。研究人員表示，20名用戶在一系列的照明條件下進行了13種不同的運動，然后他們再將其編譯成最終的數據集。

　　映維網預計谷歌有可能在5月8日-10日舉行的I/O大會上公布更多的信息，以及數據集的公開時間。