英特爾實感T265可為VR頭顯提供6ms以下延遲的定位追蹤

　　在不少人心中，英特爾實感攝像頭是一種高質量的深度攝像頭，但T265追蹤攝像頭的面世引發了大量關于英特爾追蹤解決方案和深度解決方案之間差異的問題。憑借在深度攝像頭領域的悠久領導地位，英特爾已經生產了眾多不同類型的深度設備，目前包括Stereo和Coded Light解決方案并能支持各種應用。

　　深度攝像頭和追蹤攝像頭單獨出售，并且具備大量的單獨用例，但深度信息與精確的V-SLAM追蹤解決方案的結合存在非常大的空間。在本文中，我們就來看看它們在沉浸式領域的用例，以及為何深度信息和追蹤信息的結合可以帶來更好的結果。

　　1. 追蹤和深度之間的差異

　　在一定程度上講，我們可以將追蹤和立體深度視為同一問題領域的不同版本：給定一組已知信息，兩個系統都可利用算法來確定未知信息。對于立體深度攝像頭，已知信息是兩個透鏡之間的基線。通過比較每個透鏡的圖像，并查看各個興趣點，系統可以通過在空間點和兩個攝像頭之間繪制三角形來確定每個像素的深度距離(以及每個對象的距離)，并且利用三角法來推斷距離。

　　另一方面，追蹤不是要確定特定對象的距離，而是確定其位置和移動。T265不追蹤外部對象，它的工作是以高精度追蹤自身。它通過利用自己的一組已知信息來做到這一點。它搭載了兩個攝像頭，彼此擁有自己的已知基線。這款設備同時包含一個慣性測量單元。攝像頭在環境中搜索不同的視覺特征，在兩個攝像頭之間進行比較。然后，系統將所述信息與慣性測量單元的運動信息相結合，從而確定高度準確和低延遲的位置數據。

　　2. VR/AR/MR

　　對于XR應用，最重要的技術挑戰之一是追蹤或準確理解頭顯設備在空間中的位置。對于頭戴式設備，頭部運動與內容之間存在差異可能會導致嚴重的暈動癥。低于20ms之間的延遲是絕對關鍵。T265則旨在提供6ms以下的延遲追蹤。

　　為了支持同一設備理解并實現真實元素和數字元素之間的交互，我們需要深度攝像頭。對于虛擬現實，由于設備遮擋了用戶的整個視場，增加深度攝像頭可以賦能防護系統并提高安全性。由于深度攝像頭可以標記特定距離內的任何一切，因此系統將能夠容易識別在玩家前面移動的寵物或人。

　　至于增強現實或混合現實，真實和數字對象的融合對于維持沉浸感而來非常重要。數字角色需要能夠逼真地呈現在真正的桌面，并且正確地消失在墻壁或前景物體后面。T265和D400的組合可允許系統將數字對象“放置”在真實表面之上。即使用戶遠離對象，當其再次回頭看時，它們都不會產生漂移，因為來自深度攝像頭的環境理解與來自T265的運動數據結合了一起。深度攝像頭同時可用于改善手部追蹤，支持用戶通過雙手操縱數字對象。

　　3. 3D重建與掃描

　　我們之前已經在不同的博文中探討了各種3D掃描應用程序和用例。如果僅使用一臺攝像頭來構建對象或場景的3D模型，你將不可避免地需要移動攝像頭或對象，從而創建對象的完整3D掃描。如果你曾嘗試拍攝全景照片，你可能已經熟悉這需要耐心和細心，否則圖片之間將無法對齊，而當掃描對象的過程類似。通過在系統中添加T265追蹤攝像頭，其位置和方向可用于幫助軟件正確地對齊數百幀深度數據，從而完整地掃描對象或空間。

　　通過實時提高掃描的準確性，這開辟了新的3D掃描用例，并允許房地產經紀人利用移動設備掃描房產，然后輕松地將其顯示給潛在買家;又或者是允許建筑項目經理以前所未有的完整性檢查和記錄項目。

　　4. 示例代碼

　　英特爾實感SDK 2.0開源，同時提供了各種代碼示例。對于深度和追蹤集成的示例，這個ROS包可分別根據深度攝像頭和追蹤攝像頭的深度圖像和姿態生成2D占用圖。

　　另外，英特爾提供了一個可3D打印的接塢，并用于組合D435和T265。外部校準數據可通過這個頁面獲取 ，而這應該能幫助你非常快速地獲取兩個設備的配置并迅速開始運行。