從畫中逃走 Facebook實現在AR中基于圖片人物生成3D動畫

　　(圖片來源：云圖視覺)

　　2019年01月03日，在學習谷歌和華為并向華盛頓大學的UW Reality Lab捐贈一筆資金后，Facebook的付出似乎開始迎來回報。

　　根據本月初公布了一份的論文《Photo Wake-Up: 3D Character Animation from a Single Photo(喚醒圖片：基于單張圖片的3D角色動畫)》，華盛頓大學和Facebook的研究人員開發了一種僅利用單張圖片即可在AR環境中生成3D動畫的方法。

　　他們的方案能夠將可變形軀體模型擬合到圖像，并估計模型的軀體映射。利用映射模型，系統能夠構建3D網格，然后將紋理應用于與軀體映射匹配的網格，同時集成骨架rig以控制圖形的運動。如動圖或視頻所示，具體的效果就像是照片中的對象活了過來。研究小組表示，他們研發的系統適用于圖片，卡通人物，甚至是抽象繪畫。

　　對于 《Photo Wake-Up: 3D Character Animation from a Single Photo(喚醒圖片：基于單張圖片的3D角色動畫)》這份論文，作者包括Facebook研究科學家、華盛頓大學Paul G. Allen計算機科學與工程學院的助理教授Ira Kemelmacher-Shlizerman;UW Reality Lab的聯合主任Brian Curless;以及華盛頓大學博士生，于2018年夏天曾在Facebook擔任研究實習生的翁仲毅。

　　(圖片來源：云圖視覺)

　　Kemelmacher-Shlizerman是在Facebook收購其初創公司Dreambit后加入這家公司。Curless對3D表面重建的研究則曾對微軟HoloLens和谷歌Project Tango中的環境映射算法作出過貢獻。

　　在演示視頻中我們可以看到，一名HoloLens用戶正看著畢加索畫作中的人物從畫布“逃走”，廣告中的男人向前奔跑，以及詹姆斯·保羅·麥卡特尼從披頭士唱片《Help!》的封面中冒出頭來。

　　正如論文在局限部分所述，實踐結果有點粗糙(當然，這實際上有利于抽象畫作)，但計算機視覺方法與Facebook對Spark AR平臺的全身AR蒙版，圖像識別，以及其他功能的研究相一致。

　　就目前而言，研究團隊只是通過HoloLens演示了這種AR體驗，他們沒有明確表示方法的實現是否需要這款頭顯的深度傳感器。

　　盡管研究技術可能不會馬上登陸Spark AR平臺或谷歌的移動AR項目，但最終，為華盛頓大學UW Reality Lab提供過資金援助的企業都會從相關的研究中獲益。