加入手勢(shì)識(shí)別 uSens凌感定義手機(jī)AR新玩法

　　最近，抖音上的“控雨”、“控花”成為許多小姐姐們的“新寵”，手輕輕一揮便能實(shí)現(xiàn)大片級(jí)的特效。在拍照、視頻中，實(shí)現(xiàn)這樣既簡(jiǎn)單又趣味性強(qiáng)的效果，就不得不提背后的 AR 技術(shù)。日前，uSens凌感科技將手勢(shì)識(shí)別加入更多手機(jī) AR 解決方案，讓手機(jī) AR 的玩法有了更多可能性。

　　uSens凌感之前發(fā)布的官方視頻中，一只藍(lán)色蝴蝶在辦公桌前翩翩飛舞，伸手與蝴蝶互動(dòng)，蝴蝶跟著手的動(dòng)作飛舞，接著蝴蝶消失，手心出現(xiàn)一團(tuán)火苗，手動(dòng)起來，火苗也跟著手動(dòng)。視頻中，手是真實(shí)的，蝴蝶和火苗則是由電腦設(shè)計(jì)的虛擬動(dòng)畫。由于定位準(zhǔn)確，手和虛擬物體的融合度高，給人真實(shí)的感受。

　　此前，uSens凌感一直專注于三維人機(jī)交互的技術(shù)研發(fā)，手勢(shì)識(shí)別是其長(zhǎng)項(xiàng)。2016 年發(fā)布了 Fingo 手勢(shì)交互模組，基礎(chǔ)產(chǎn)品版本擁有兩個(gè)紅外攝像頭，可實(shí)現(xiàn) 26 自由度手勢(shì)追蹤及基于標(biāo)識(shí)點(diǎn)的位置追蹤。當(dāng)內(nèi)嵌于 VR 頭顯中，用戶的雙手便變成了鼠標(biāo)，可進(jìn)行點(diǎn)擊、拖動(dòng)等操作。2017 年，uSens凌感發(fā)布了新版 Fingo SDK，由原先的單手操作提升為雙手，用戶可進(jìn)行雙手操作。

　　手勢(shì)識(shí)別技術(shù)與多家 VR/AR 頭顯廠商達(dá)成合作，并且逐步布局智能家居、車載手勢(shì)交互等多個(gè)細(xì)分領(lǐng)域。現(xiàn)在，手機(jī) AR 也是 uSens凌感實(shí)現(xiàn)技術(shù)落地的重點(diǎn)方向。

　　2017年6月，WWDC上蘋果宣布推出ARkit開發(fā)平臺(tái)，支持多款蘋果手機(jī)，實(shí)現(xiàn)了手機(jī)功能的重大突破。隨后，2017年8月，谷歌也推出了AR開發(fā)工具ARCore，并取消了Tango項(xiàng)目，專注ARCore在Android系統(tǒng)上的普及。同時(shí)，不久前華為公布了自研的 AR Engine，OPPO也開始將AR功能加入手機(jī)。不過，由于AR效果的實(shí)現(xiàn)，對(duì)手機(jī)性能有一定的要求，蘋果ARKit只針對(duì)iOS系統(tǒng)，谷歌也是選擇了一些高端手機(jī)來合作適配ARcore，華為針對(duì)的則是自家手機(jī)。

　　而去年，除了手勢(shì)識(shí)別技術(shù)的升級(jí)，uSens凌感看到了SLAM技術(shù)在手機(jī)領(lǐng)域的應(yīng)用前景，他們發(fā)布了移動(dòng)端Inside-out位置追蹤解決方案，該方案基于SLAM算法，可支持中低端手機(jī)(iOS和Android同時(shí)支持)實(shí)現(xiàn)較好的AR效果，讓AR不再局限于高端手機(jī)。2018年美國(guó)CES展會(huì)上，uSens凌感為展訊Android千元機(jī)平臺(tái)提供的AR相機(jī)應(yīng)用發(fā)布。

　　uSens凌感為什么能實(shí)現(xiàn)這樣的效果? uSens凌感選擇了算法中間件的道路。對(duì)手機(jī)和手機(jī) SoC (System-on-Chip，智能手機(jī)和智能硬件的核心計(jì)算芯片)客戶而言，更高效的算法和更強(qiáng)的通用性是不可或缺的。算法通用性同樣是 uSens凌感 非常著重關(guān)注的部分，蘋果的 ARKit 依賴于自己強(qiáng)大的 GPU 和最新機(jī)型中的 AI 協(xié)處理器，Google 也需要高通旗艦平臺(tái)的頂級(jí) Hexagon DSP 甚至自己設(shè)計(jì)的 VPC (Visual Process Core)，而 uSens凌感 的算法只需要跑在 CPU 上，主流的 CPU 和能夠支持相機(jī)和 IMU 同步(目前市場(chǎng)上在售的絕大部分手機(jī))的硬件產(chǎn)品和 SoC 上都能使用。而對(duì)于中小芯片原廠而言，自己研發(fā) SLAM 和手勢(shì)交互功能投入大，周期長(zhǎng)，回報(bào)也不穩(wěn)定。正是這些原因，讓 uSens凌感成為英特爾與展訊的合作伙伴，在后者面向入門級(jí)手機(jī)市場(chǎng)的 SC9853I 移動(dòng)芯片直接內(nèi)置 uSens凌感 AR，讓用戶和開發(fā)者都能直接使用類似 ARKit/ARCore 的功能。

　　現(xiàn)在，他們又為手機(jī)AR方案增加了手勢(shì)識(shí)別功能。想象下，當(dāng)你和喜歡的卡通形象拍照時(shí)，你們不僅僅是并排站在一起，你還能伸手與他互動(dòng)，這極大的增加了拍照的趣味性。

　　當(dāng)然，手機(jī)拍照、錄制視頻僅僅是AR在手機(jī)上應(yīng)用的一部分。試想教育中，學(xué)生和家長(zhǎng)只需用移動(dòng)端設(shè)備對(duì)準(zhǔn)某個(gè)圖片，設(shè)備屏幕上便會(huì)呈現(xiàn)出 3D 形象，使學(xué)習(xí)過程更生動(dòng)有趣;旅游的路上，當(dāng)游客掏出手機(jī)，不僅可以實(shí)時(shí)導(dǎo)航，有虛擬的卡通人物相伴，手機(jī)屏幕上還會(huì)呈現(xiàn)各家商店的介紹，數(shù)字化的信息能快速、高效地給游客指引;購(gòu)物時(shí)，對(duì)于一些不確定尺寸的家居，AR還能幫助顧客進(jìn)行尺寸測(cè)量。還有在路線導(dǎo)航、游戲等領(lǐng)域中，AR通過手機(jī)將我們帶入三維世界。

　　從早期的手勢(shì)識(shí)別，到移動(dòng)端SLAM技術(shù)的研發(fā)，再到二者的結(jié)合，uSens凌感不斷地探索技術(shù)的落地，并且?guī)�來更好的體驗(yàn)。2018 年，uSens凌感將完成從技術(shù)型公司到產(chǎn)品型公司的戰(zhàn)略轉(zhuǎn)型，針對(duì)各細(xì)分領(lǐng)域，推出落地產(chǎn)品。