Oculus分享Lipsync工作原理 如何讓虛擬角色唇部說話栩栩如生

　　2018年08月22日，在今年的Facebook開發(fā)者大會(huì)上，Oculus展示了音頻到面部動(dòng)畫技術(shù)的最新進(jìn)展。這項(xiàng)功能允許我們通過任何語言的口語來實(shí)時(shí)驅(qū)動(dòng)面部動(dòng)畫。Oculus日前正式宣布，這項(xiàng)技術(shù)將在最新的Oculus Lipsync Unity集成更新中向開發(fā)者開放。

　　1. Oculus Lipsync的工作原理

　　Oculus Lipsync是一種Unity集成，用于將虛擬角色的唇部動(dòng)作同步至語音。它主要是離線或?qū)崟r(shí)分析音頻輸入，然后預(yù)測(cè)可用于令虛擬角色或非玩家角色(NPC)嘴唇動(dòng)畫化的一組發(fā)音嘴形。視覺音素/視素(visual phoneme/viseme)是嘴唇和面部的姿勢(shì)或表達(dá)，其對(duì)應(yīng)于特定的語音(音素)。例如在討論讀唇術(shù)時(shí)，我們常常使用這個(gè)術(shù)語，其概念類似于音素，并且是具備可理解度的基本視覺單元。在計(jì)算機(jī)動(dòng)畫中，我們可以使用視覺音素來制作虛擬角色的動(dòng)作，令它們看起來像是在說話。

　　Oculus Lipsync將音頻輸入映射至一個(gè)包含15個(gè)視覺音素目標(biāo)的空間：sil，PP，F(xiàn)F，TH，DD，kk，CH，SS，nn，RR，aa，E，ih，oh和ou。視素描述了在發(fā)出相應(yīng)語音時(shí)產(chǎn)生的面部表情。例如，視素sil對(duì)應(yīng)于silent/neutral表達(dá);PP對(duì)應(yīng)于在“popcorn(爆米花)”發(fā)音的第一個(gè)音節(jié);FF是“fish(魚)”的第一個(gè)音節(jié)，諸如此類。選擇上述目標(biāo)是為了給出最大范圍的唇部運(yùn)動(dòng)，并且支持盡可能多的語言。有關(guān)這15個(gè)視素及其選擇方式的更多信息，請(qǐng)參閱本文最后的文檔：Viseme MPEG-4 Standard。盡管本文檔包含了視素的參考圖像，但Oculus發(fā)現(xiàn)藝術(shù)家難以從中復(fù)制精確的幾何圖形。為了克服這個(gè)問題，Oculus從多個(gè)角度制作了一組更高分辨率的視素參考圖：Oculus Viseme Reference Images(Oculus視素參考圖像)。

　　2. Oculus Lipsync的演變

　　當(dāng)Oculus第一次發(fā)布LipSync時(shí)，他們專注于支持Facebook Spaces等應(yīng)用程序。在這種情況下，它用于生成靜態(tài)唇形張開和閉合的粗略動(dòng)畫。對(duì)于這一點(diǎn)，實(shí)現(xiàn)方式是使用Lipsync插件來驅(qū)動(dòng)所謂的Texture-Flip風(fēng)格面部動(dòng)畫，如上面的機(jī)器人動(dòng)圖所示。這里每個(gè)視素都映射到單個(gè)紋理，并且每幀顯示最大活動(dòng)視素的紋理。最近的社交VR發(fā)展(包括2018年初的Spaces更新)都使用了更高保真度，基于混合形狀的面部模型，而這需要更高質(zhì)量的面部動(dòng)畫。對(duì)于基于混合形狀的模型，其需要對(duì)相同拓?fù)涞牟煌瑤缀涡螤?或混合形狀)進(jìn)行加權(quán)組合，并將它們相加以創(chuàng)建動(dòng)態(tài)形狀輸出。這樣的模型不僅需要預(yù)測(cè)最大活動(dòng)的視素，而且要求所有視素的權(quán)重，從而能夠流暢地為模型設(shè)置動(dòng)畫，結(jié)果如下圖所示。為了實(shí)現(xiàn)如此高保真的面部動(dòng)畫，Oculus的研究團(tuán)隊(duì)采用了一種新穎的方法，將深度學(xué)習(xí)的進(jìn)步與人類語音生成的知識(shí)結(jié)合了起來。

　　3. 以更高的精度預(yù)測(cè)視素

　　最初通過SDK 1.16.0推出的原版Oculus Lipsync采用一個(gè)小而淺薄的神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)一小段語音音頻輸入和音素(構(gòu)成人類語音的聲音單位)之間的映射。盡管這個(gè)模型在英語方面的效果相當(dāng)好，但它在其他語言方面效果不佳，而且容易受背景噪音的影響。作為研究和產(chǎn)品之間的合作，Oculus投資了更新的機(jī)器學(xué)習(xí)模型，即時(shí)間卷積網(wǎng)絡(luò)(TCN)。對(duì)于時(shí)間卷積網(wǎng)絡(luò)，它們已經(jīng)能夠在其他領(lǐng)域的任務(wù)中實(shí)現(xiàn)顯著更高的性能和穩(wěn)定性，如視覺和語言。在內(nèi)部測(cè)試中，這種TCN模型能夠?qū)⒂⒄Z語音的視素準(zhǔn)確度提高30%以上，并且在重口音和大量背景噪音方面優(yōu)于先前的模型。在Speech Processing社區(qū)中，它們被稱為聲學(xué)模型，并且經(jīng)常用作語音識(shí)別管道的輸入。

　　下圖描述了一般的TCN架構(gòu)。這個(gè)模型使用過去的low-level音頻特征數(shù)據(jù)流來作為輸入，以及在某些情況下(如對(duì)于離線應(yīng)用而言)，使用來自“未來”的信息來預(yù)測(cè)一組視素。可以調(diào)整架構(gòu)的精確參數(shù)來優(yōu)化計(jì)算效率和性能，但總體布局屬于原樣。

　　盡管模型比先前的Lipsync方法復(fù)雜得多，但Oculus能夠使用類似于Fast WaveNet Generation Algorithm的緩存技術(shù)來非常有效地執(zhí)行處理。

　　這項(xiàng)研究源于Facebook Reality Labs的一系列工作(在pyTorch中完成)。研究人員使用ONNX將模型轉(zhuǎn)換為Caffe2以進(jìn)行實(shí)時(shí)處理，并由Oculus進(jìn)行優(yōu)化和集成以包含在Oculus Lipsync中。

　　4. 制作逼真的面部動(dòng)畫

　　Oculus表示，這個(gè)全新的優(yōu)化模型使他們意識(shí)到需要大量的努力來制作高質(zhì)量的視素混合形狀，從而驅(qū)動(dòng)富有表現(xiàn)力的虛擬角色面部表情。Oculus的美術(shù)和面部姿勢(shì)專家共同解決了這個(gè)問題，并制作了一套新的視素參考圖像。借助這些參考圖像，Oculus為虛擬角色，以及為演示幾何創(chuàng)建了新的面部動(dòng)畫混合形狀，具體可通過這個(gè)頁面進(jìn)行下載。

　　5. 總結(jié)

　　在這個(gè)版本中，Oculus為開發(fā)者提供了利用最先進(jìn)唇形技術(shù)來驅(qū)動(dòng)實(shí)時(shí)虛擬角色和非玩家角色的能力。這是Oculus和Facebook Reality Labs的研究科學(xué)家，機(jī)器學(xué)習(xí)工程師，產(chǎn)品管理，圖形藝術(shù)家和面部姿勢(shì)專家的共同努力。Oculus已經(jīng)更新了Unity插件和演示內(nèi)容，目標(biāo)是令Oculus Lipsync更強(qiáng)大，更具表現(xiàn)力，更易于使用。