uSens推出手部骨骼追蹤AR SDK 基于計算機視覺和深度學習

　　2018年06月01日，去年這個時候，計算機視覺公司uSens推出了一款支持手部追蹤的立體攝像頭模型。現在，uSens只需通過智能手機攝像頭即可實現相同的功能。

　　在日前舉行的世界增強現實大會(AWE)中，uSens推出了uSensAR Hand Tracking SDK的beta版本。這一工具可以幫助開發者在iOS和安卓設備上為VR和AR移動應用整合手部追蹤和3D動作識別。借助智能手機的RGB攝像頭，uSensAR Hand Tracking可以通過計算機視覺和深度學習來追蹤整只手的骨骼動態，不僅僅只是一只手的指尖。

　　到目前為止，增強現實的主流普及主要集中在智能手機方面。因此，智能手機AR的任何主要界面創新都是一個重大發展。盡管蘋果和谷歌已經通過ARKit和ARCore為移動設備帶來了水平表面和垂直表面的無標識追蹤，圖像識別，甚至是多用戶體驗，但用戶與增強現實內容的交互僅限于觸摸屏界面，不同于HoloLens和Meta 2。

　　uSens聯合創始人兼首席執行官何安莉表示：“uSens很自豪能夠將AR推向下一個前沿，幫助開發者為智能手機用戶創建更加引人入勝和娛樂性更強的增強現實體驗，為他們帶來更加直觀的操作：只需用雙手和手指在空中滑動即可。”

　　何安莉還說道：“這為開發者帶來了全新的可能性，使得他們能夠為主流受眾創建真正獨一無二的體驗。就像是觸摸屏幫助市場擁抱了智能手機，為用戶提供一種簡單自然的方式來與AR/VR對象和環境進行交互，這將在促進消費者普及方面發揮重要作用。”

　　在短短一年時間里，uSens為什么可以在沒有外部硬件的情況下實現同樣的追蹤水平呢?關鍵是機器學習。

　　uSens產品與運營副總裁王亞明表示：“自從我們在去年年中開始直接面向手機市場以來，我們便一直致力于研發基于智能手機RGB攝像頭的手部追蹤。它與我們為基于深度學習的技術所研發的算法類似。現在不同的是，我們訓練算法來學習單個攝像頭輸入。”

　　“它可以根據我們的算法提供骨骼信息和關節信息，不過它的性能不如立體攝像頭或深度攝像頭，因為它的視場更小。但是，我們相信它為一系列的用例提供了足夠好的性能。”

　　王亞明表示，uSens已經在與美圖進行合作，將這項技術集成至他們的AR攝像頭效果。另外，uSens同時在與一家未透露名字的游戲開發商合作，而王亞明暗示這家公司已經在美國納斯達克上市，并且“在社交設定中發行了一款網絡游戲”。

　　盡管如此，雖然移動AR已經加速了消費者對AR的采用，但觸摸屏仍然是用戶和內容之間的障礙。在回顧當前市場上最佳的移動AR應用程序時，我們可以馬上想象手部追蹤將能如何改善已有的優秀體驗。

　　當然對于智能手機用力而言，用戶的一只手已經要用來握持設備。不過，uSens技術同樣可以促進智能眼鏡的更快速創新，特別是基于安卓的可穿戴設備。隨著精度和覆蓋范圍的提升，基于攝像頭的追蹤解決方案可以支持硬件廠商減掉專用深度傳感器的需要。

　　希望AR硬件行業能夠按照相關的思路進行摸索，而這可能意味著廠商將能比想象中更快地為我們帶來優秀的AR體驗。