南加州大學(xué)、Snap研究員用體三維表征生成多樣性3D發(fā)型

　　2018年10月15日，單視圖3D頭發(fā)數(shù)字化的最新進(jìn)展使得高質(zhì)量CG角色的創(chuàng)建變得可擴(kuò)展，并且可供最終用戶訪問，從而能夠?qū)崿F(xiàn)新形式的個(gè)性化VR與游戲體驗(yàn)。為了處理頭發(fā)結(jié)構(gòu)的復(fù)雜性和多樣性，大多數(shù)尖端技術(shù)依賴于從綜合頭發(fā)數(shù)據(jù)庫中成功檢索出特定的頭發(fā)模型。

　　這種基于數(shù)據(jù)的方法需要大量的存儲(chǔ)，而且容易因?yàn)楦叨葻o約束的輸入圖像，異國發(fā)型，無效的面部檢測而導(dǎo)致失敗。為此，由Snap，Pinscreen和南加州大學(xué)研究人員組成的團(tuán)隊(duì)提出，通過體三維變分自動(dòng)編碼器的緊湊latent space來隱式表示3D發(fā)型的多樣性，而不是直接使用大量的3D頭發(fā)模型。

　　這種深度神經(jīng)網(wǎng)絡(luò)主要通過3D頭發(fā)模型的體三維定向場表征進(jìn)行訓(xùn)練，并且可以根據(jù)一個(gè)壓縮代碼合成新的發(fā)型。為了實(shí)現(xiàn)端到端的3D頭發(fā)推理，研究人員訓(xùn)練了一個(gè)額外的回歸網(wǎng)絡(luò)，令其根據(jù)任何輸入圖像預(yù)測變分自動(dòng)編碼器latent space中的代碼。然后，系統(tǒng)可以根據(jù)預(yù)測的體三維表征生成絲縷級(jí)別的發(fā)型。

　　研究人員表示：“他們的全自動(dòng)框架不需要任何的臨時(shí)面部擬合，中間分類和分割，或者發(fā)型數(shù)據(jù)庫檢索。與最先進(jìn)的數(shù)據(jù)驅(qū)動(dòng)型頭發(fā)建模技術(shù)相比，他們的頭發(fā)合成方法明顯更加強(qiáng)大，并且可以處理更廣泛的發(fā)型變化，以及具有挑戰(zhàn)性的輸入，包括低分辨率，過度曝光或含有極端頭部姿勢(shì)的照片。”

　　這種方法對(duì)存儲(chǔ)要求非常小，并且可以在一秒鐘內(nèi)根據(jù)圖像產(chǎn)生3D頭發(fā)模型。團(tuán)隊(duì)指出，他們的評(píng)估同時(shí)表明系統(tǒng)可以根據(jù)高度風(fēng)格化的卡通圖像，非人類主體，以及從人體背面拍攝的圖片成功進(jìn)行重建。另外，他們的方法特別適用于不同發(fā)型之間的連續(xù)和合理的頭發(fā)插值。