研究員為2D視頻移植AR 3D效果 用HoloLens看世界杯

　　2018年06月13日，備受期待的世界杯將在本周開幕。盡管比賽毫無疑問會(huì)非常精彩，但我們大多數(shù)人都只能在平面電視機(jī)上觀看。不過，華盛頓大學(xué)的研究人員提出了一種增強(qiáng)現(xiàn)實(shí)替代方案。盡管可能無法趕在今年世界杯為大眾提供服務(wù)，但這預(yù)告了球迷在未來享受體育賽事的新方式。

　　研究人員開發(fā)了一種能夠?qū)?D足球片段移植為3D重建內(nèi)容的機(jī)器學(xué)習(xí)算法，而觀眾可以利用微軟HoloLens等AR頭顯欣賞比賽。這種技術(shù)可以支持觀眾將桌面或地面等平坦表面變成虛擬球場，然后系統(tǒng)將渲染相應(yīng)的3D內(nèi)容，從而支持你從不同角度進(jìn)行觀看。

　　這不能等同于在現(xiàn)場觀影賽事，但顯然比平面電視更加接近。而且更重要的是，這可比現(xiàn)場觀賽的成本更低。

　　項(xiàng)目的一位研究人員康斯坦丁諾斯·里馬塔斯(Konstantinos Rematas)表示：“我們的目標(biāo)是提升體育賽事的觀影體驗(yàn)。不再需要在平面2D屏幕上觀看足球比賽或球場，而是將原始視頻移植為3D，并在增強(qiáng)現(xiàn)實(shí)中將其視覺化出來。比賽從根本上變成了全息圖，而你可以四處走動(dòng)并從不同的角度欣賞賽事，從而帶來更逼真的體驗(yàn)。”

　　作為輸入，他們研發(fā)的算法只需一段YouTube足球視頻。由于這無法提供沒有足夠的信息來訓(xùn)練渲染系統(tǒng)將2D球員“升頻”為3D，所以研究人員通過神播放游玩《FIFA 2018》游戲的視頻來幫助神經(jīng)網(wǎng)絡(luò)估計(jì)深度。利用所有這一切信息，系統(tǒng)可以相對(duì)精確地判斷球員在球場上的位置。

　　目前項(xiàng)目仍在開發(fā)之中。例如，球沒有被正確地渲染(這對(duì)于足球比賽而言非常重要)，而且球員仍然是2D裁剪。研究人員希望未來可以在這兩方面取得進(jìn)步。

　　里馬塔斯繼續(xù)道：“接下來我們要提高比賽重建的質(zhì)量。特別地，我們希望精確估計(jì)球的位置并且更好地重建球員，如遮擋，完整的3D形狀估計(jì)等等。”此外，研究人員計(jì)劃擴(kuò)展至其他運(yùn)動(dòng)，如籃球，曲棍球和足球。