馬克斯普朗克開源項(xiàng)目VNect用2D攝像頭實(shí)現(xiàn)低成本動(dòng)捕

　　2018年05月10日，大部分應(yīng)用都需要實(shí)時(shí)將用戶及其運(yùn)動(dòng)映射至3D空間。在以前，我們只能通過昂貴的所相機(jī)系統(tǒng)，或者令用戶穿上特殊的傳感器套裝才能實(shí)現(xiàn)。昨天映維網(wǎng)報(bào)道了RADiCAL的技術(shù)，現(xiàn)在據(jù)映維網(wǎng)了解(消息源：李今)，馬克斯普朗克計(jì)算機(jī)科學(xué)研究所的計(jì)算機(jī)科學(xué)家開發(fā)出了一種只需要單個(gè)攝像頭的系統(tǒng)，而且它甚至可以預(yù)測(cè)用戶在預(yù)錄制視頻中的三維姿勢(shì)，比如說YouTube視頻。

　　博士后學(xué)生Dushyant Mehta表示：“這允許通過手機(jī)來捕捉視頻，同時(shí)實(shí)現(xiàn)身體追蹤。能夠?qū)崟r(shí)在3D中實(shí)現(xiàn)這一點(diǎn)，而且只是借助移動(dòng)設(shè)備上的攝像頭，這是一個(gè)巨大的進(jìn)步。”

　　Mehta與同事研發(fā)了只需一個(gè)傳統(tǒng)攝像頭就可以實(shí)時(shí)捕捉用戶及其運(yùn)動(dòng)的軟件系統(tǒng)。研究人員Srinath Sridhar解釋說：“到目前為止，多攝像頭系統(tǒng)，或者像Kinect這樣深度攝像頭對(duì)這項(xiàng)任務(wù)來說都是必不可少的工具。”

　　新系統(tǒng)基于神經(jīng)網(wǎng)絡(luò)，而研究人員將其稱之為“卷積神經(jīng)網(wǎng)絡(luò)”(簡稱CNN)，而這通常是與“深度學(xué)習(xí)”聯(lián)系在一起。馬克斯普朗克計(jì)算機(jī)科學(xué)研究所的研究人員開發(fā)了一種新方法，其能夠借助神經(jīng)網(wǎng)絡(luò)從視頻流的二維信息中計(jì)算用戶的三維姿態(tài)。

　　他們?cè)诠倬W(wǎng)上公布了一個(gè)演示視頻。一位研究人員在后面玩雜耍，而前方的顯示器則播放相應(yīng)的視頻錄像。我們看到右邊的畫面疊加了一個(gè)簡單的火柴人。另一個(gè)三維視圖則顯示了相應(yīng)的運(yùn)動(dòng)，其用于說明研究人員能夠?qū)崟r(shí)捕捉完整的三維姿態(tài)。無論研究人員移動(dòng)肢體的速度有多快，或者移動(dòng)幅度有多大，火柴人都會(huì)進(jìn)行相應(yīng)的三維運(yùn)動(dòng)，而另一個(gè)顯示器中的虛擬角色同樣如此。

　　研究人員將他們的系統(tǒng)稱為“VNect”。VNect既可以預(yù)測(cè)人物的三維姿態(tài)，也可以定位圖人物的位置。這允許系統(tǒng)避免在不包含人類的圖像區(qū)域上浪費(fèi)計(jì)算。在機(jī)器學(xué)習(xí)過程中，系統(tǒng)的神經(jīng)網(wǎng)絡(luò)通過數(shù)萬個(gè)注釋圖像進(jìn)行訓(xùn)練。系統(tǒng)根據(jù)關(guān)節(jié)角度提供三維姿態(tài)信息，而這可以輕松用于控制虛擬角色。

　　Mehta補(bǔ)充說：“NVect令更廣泛的人群可以觸及虛擬現(xiàn)實(shí)的三維身體姿態(tài)追蹤，因?yàn)樗麄儾恍枰狵inect或其他攝像頭，無需要穿戴特殊的傳感器套件，只需使用十分普遍的網(wǎng)絡(luò)攝像頭即可。這同時(shí)可以為第一人稱VR帶來全新的體驗(yàn)。”除了這種交互式角色控制之外，VNect還是第一個(gè)可以用來預(yù)測(cè)視頻中人物3D姿勢(shì)的系統(tǒng)，比如說YouTube視頻。馬克斯普朗克計(jì)算機(jī)科學(xué)研究所的Christian Theobalt教授接著說道：“從人機(jī)交互到人類與機(jī)器人交互，再到工業(yè)4.0，這還有其他許多的應(yīng)用。我們同時(shí)可以考慮自動(dòng)駕駛，汽車在未來或許可以通過攝像頭來預(yù)測(cè)人們的完整表達(dá)運(yùn)動(dòng)，然后評(píng)估他們的行為。”

　　但VNect仍然存在局限性。姿態(tài)估計(jì)的準(zhǔn)確度比多相機(jī)系統(tǒng)或基于標(biāo)記的姿態(tài)估計(jì)系統(tǒng)更低。如果人臉被遮擋，運(yùn)動(dòng)速度太快，或者出現(xiàn)沒有訓(xùn)練過的姿勢(shì)，系統(tǒng)將出現(xiàn)問題。另外，多用戶場(chǎng)景也是一個(gè)問題。盡管如此，Sridhar相信技術(shù)將會(huì)進(jìn)一步成熟，并且能夠處理越來越復(fù)雜的場(chǎng)景，從而可以在日常生活中使用。