在VR中重建鏡面反射 Oculus展示背后團隊和項目研發(fā)

　　2018年08月03日，隨著虛擬現(xiàn)實和增強現(xiàn)實領(lǐng)域的不斷發(fā)展，研究人員，開發(fā)者和內(nèi)容創(chuàng)作者都在尋求能夠提升計算機視覺和圖形的方法，從而實現(xiàn)更加身臨其境的世界模型。盡管重建技術(shù)已經(jīng)走過了漫長的道路(尤其是自運動傳感器出現(xiàn)以來，行業(yè)已經(jīng)有了長足的進步)，但眾所周知，我們難以以一種令人信服的方式來重現(xiàn)鏡子和玻璃。在本月舉行的SIGGRAPH 2018大會上，F(xiàn)acebook Reality Labs (FRL)將介紹一種重建鏡子和其他反射性平面的全自動管道(能夠提升3D場景和可信度和逼真感)。今天，Oculus介紹了這支團隊背后的部分成員，同時向我們分享了這個研究項目的故事。

　　研究科學家托馬斯·偉倫(Thomas Whelan)說道：“如果你留意一家家居裝飾店的鏡子，你會馬上看到各種各樣的形狀和大小，幾乎沒有兩面鏡子是完全一樣的。我們很早就明白，我們需要一個不會對重建內(nèi)容做出太多假設的通用解決方案。我們渴望一種支持現(xiàn)實環(huán)境中的解決方案，因為這是最有用的地方。”

　　1. 面臨問題

　　現(xiàn)有的3D掃描系統(tǒng)在鏡子和玻璃上總是產(chǎn)生不需要的偽影，因為系統(tǒng)通常會錯誤地重建反射性表面上顯示的3D幾何。偉倫建議，我們可以使用一種簡單的，易于檢測的目標來識別反射性表面。通過識別鏡像表面，團隊可以使用正確的幾何和反射重新渲染場景。

　　研究科學家朱利安·斯特勞勃(Julian Straub)指出：“在一開始，鏡子類型和形狀的多樣性令人感到驚訝。設計一個能夠處理大部分或所有鏡子形狀和大小的系統(tǒng)是我們的主要目標。我們隨后意識到系統(tǒng)同時可以支持玻璃表面，只需一個額外的分類步驟即可。”

　　研究科學家史提芬·洛夫格羅夫(Steven Lovegrove)補充說：“很難描述人類是如何識別鏡子與通向不同空間的窗戶或門道的區(qū)別。為了創(chuàng)建可以支持各種真實空間中的3D重建，我們面臨的挑戰(zhàn)是采集一個有代表性的鏡像樣本，并創(chuàng)建一個可以在每個鏡像上運行的強大算法。”

　　2. 挑戰(zhàn)

　　偉倫與團隊進行了緊密的合作，努力確定哪種特征對于確定邊界線索最為有用，而斯特勞勃則專注于任意形狀鏡像邊界的分割。當團隊將所有一切都組合起來時，洛夫格羅夫構(gòu)建了一個系統(tǒng)來校準裝置和估算鏡面在給定環(huán)境中的位置。捕捉裝置本身包括紅外深度攝像頭，RGB彩色攝像頭，用于估計運動的廣角相機，以及用于顯示標準AprilTag鏡像的背光圖形。

　　這使得研究團隊能夠以非常高的精度來定位鏡子的邊界，即便鏡子沒有邊框的存在。FRL甚至可以將虛擬對象添加到場景中，而它們能夠與現(xiàn)實世界的幾何和反射器正確交互。

　　結(jié)果：一個從原生數(shù)據(jù)到最終重建的端到端系統(tǒng)。

　　客座研究員，達姆施塔特工業(yè)大學的邁克爾·哥斯尼里(Michael Goesele)教授與FRL的硬件工程師和技術(shù)員一起構(gòu)建了實際的原型，并從圖像流中檢測目標。

　　哥斯尼里指出：“近二十年來，我一直致力于場景重建的各個方面，并且能夠利用我在構(gòu)建各種采集設置以及完整重建管道方面的經(jīng)驗。我已經(jīng)發(fā)表了幾篇關(guān)于重建和渲染反射性表面的論文，所以對這個問題已經(jīng)建立起一個良好的心智模式，而這對我來說是一個巨大的幫助。”

　　這同樣為整個團隊帶來了幫助，因為哥斯尼里幫助協(xié)調(diào)了管道的工作并推動了論文和SIGGRAPH的提交。他補充說：“最后，我在網(wǎng)上購買了很多鏡子，而這非常有趣。”

　　3. 前方之路

　　跟其他重大研究問題一樣，對于FRL的鏡面重建研究，最令人興奮的地方可能在于其可以為其他研究提供支持。

　　偉倫說道：“根據(jù)可清晰識別的反射目標，你現(xiàn)在可以嘗試很多酷炫的想法。這也許與今天的深度學習趨勢更相關(guān)，這種方法為包含這種挑戰(zhàn)性表面的訓練提供了一種快速的，全自動的標記輸入數(shù)據(jù)方法。在以前，圖像必須用手慢慢標記。借助我們的方法，你可以免費實現(xiàn)標記。”

　　洛夫格羅夫補充說：“我們希望這項研究能夠幫助其他人更忠實地捕捉空間的3D呈現(xiàn)，比如說機器人導航和場景理解領(lǐng)域。我們的目標是創(chuàng)造更逼真和更具預測性的虛擬場景，而在朝著這個目標進發(fā)的過場中，我們的方法或許能夠有所擴展，去支持描繪更具挑戰(zhàn)性的對象，比如說非平面玻璃表面或半透明材料。”

　　4. 從夢想到團隊合作

　　通過聚攏世界級的研究人員，工程師和開發(fā)者，F(xiàn)RL可以很好地解決具有挑戰(zhàn)性的問題，并推動虛擬現(xiàn)實和增強現(xiàn)實技術(shù)的向前發(fā)展。但是，令夢想最終變成現(xiàn)實的是研究背后的人員。

　　哥斯尼里解釋說：“我在休假時總是喜歡搭載FRL，因為我真的對團隊正在探索的領(lǐng)域非常感興趣。我非常享受在這里度過的時光，特別是我可以與一支出色的團隊合作，并接觸到如此棒的資源。最令我印象深刻的是，我們在這個項目上的工作速度，以及大家是如何積極和無縫地協(xié)同工作。”

　　洛夫格羅夫說道：“我們團隊的許多成員都參與過全球研究實驗室的3D重建，圖形，機器人和本地化工作。能夠?qū)⑽覀兊闹�識都集中在同一個地方令人感到非常興奮。”

　　偉倫贊同道：“這項研究匯集了團隊中每個人的大量專業(yè)知識。在以往，3D重建過程中通常會繞過鏡子，大多數(shù)早期的研究只是假裝它們不存在，忽略它們。但在現(xiàn)實世界中，它們無處不在，而且破壞了大多數(shù)重建方法。所以在某種程度上，我們正面解決了3D重建中最古老的問題之一。”