讓虛擬角色笑起來 Oculus Lipsync推出笑聲檢測(cè)

　　2018年10月19日，說了一個(gè)很棒的笑話，但沒有看到有人在笑?別擔(dān)心，你應(yīng)該還是一個(gè)很幽默的人。原因是你仍在使用舊版本的Oculus Lipsync。Oculus希望無論身處何方的你我都能進(jìn)行有意義的交互。眼神，手勢(shì)，身體姿勢(shì)和面部表情是非語言交流形式，其允許我們傳達(dá)情感并增加社交互動(dòng)的意義。今天許多虛擬角色系統(tǒng)都缺乏情感，除非由用戶手動(dòng)出發(fā)。為了解決這個(gè)問題，Oculus推出了Oculus Lipsync 1.30.0。這個(gè)版本包含了一個(gè)測(cè)試版的笑聲檢測(cè)功能，開發(fā)者將能夠從輸入音頻中實(shí)現(xiàn)笑聲動(dòng)畫。另外，Oculus Lipsync 1.30.0增加了DSP加速，以及幫助更多開發(fā)者通過Unreal和本地支持來使用OVRLipSync的方法。

　　1. 新集成與DSP加速支持

　　Oculus收到了大量反饋，要求Oculus Lipsync增加Unreal和本地支持。對(duì)于Oculus LipSync 1.30.0，Oculus正式集成了Unreal引擎，以及C ++庫(kù)以實(shí)現(xiàn)本地集成。這些集成允許在更廣泛的平臺(tái)和應(yīng)用程序中開發(fā)富有表現(xiàn)力的嘴唇同步內(nèi)容。另外，Unity集成進(jìn)一步簡(jiǎn)化了易用性，同時(shí)對(duì)預(yù)先計(jì)算的viseme生成帶來了更多對(duì)開發(fā)者友好的支持。有關(guān)這三個(gè)集成的文檔請(qǐng)?jiān)L問開發(fā)者中心的Oculus Lipsync Guide。

　　最后，Oculus在所有集成中啟用了DSP支持，允許在支持的移動(dòng)平臺(tái)上卸載Lipsync viseme預(yù)測(cè)和笑聲檢測(cè)的處理。將計(jì)算卸載到DSP允許在單個(gè)設(shè)備上處理更多音頻流，使你可以輕松構(gòu)建豐富的社交應(yīng)用程序。

　　2. 笑聲檢測(cè)（beta）

　　Oculus Lipsync的目標(biāo)之一是實(shí)現(xiàn)富有表現(xiàn)力的面部動(dòng)畫。Oculus Lipsync使得我們能夠?yàn)樘摂M角色帶來面部表情。實(shí)時(shí)音頻驅(qū)動(dòng)的笑聲檢測(cè)令我們更接近于在虛擬現(xiàn)實(shí)中實(shí)現(xiàn)豐富的社交臨場(chǎng)感和非語言交流。

　　正如你可能想象的那樣，笑聲是社交環(huán)境中非常常見的表達(dá)方式。自動(dòng)檢測(cè)音頻中的笑聲使我們能夠?yàn)樘摂M社交體驗(yàn)帶來另一層表現(xiàn)力和樂趣。

　　為了設(shè)計(jì)一個(gè)笑聲檢測(cè)器，我們需要更好地理解什么是笑聲。笑是一種普遍的，熟悉的，重要的非語言視聽表達(dá)。笑聲也是一種多樣化的表達(dá)方式，通過口鼻或嘴巴的清音呼氣，包括咕嚕聲，褲子，嘎嘎聲和哼聲，聽起來像“哈哈哈”或“嘻嘻嘻”等豐富的元音般聲音。各種各樣的笑聲傳達(dá)著不同的社交線索和信息，如態(tài)度，情感，意圖，協(xié)議，接受，喜悅，甚至嘲笑或嘲弄。由于笑聲存在無數(shù)的聲音和意義，Oculus開發(fā)了一個(gè)笑臉檢測(cè)的測(cè)試版本，其能夠識(shí)別各種各樣的笑聲。

　　為了實(shí)現(xiàn)笑聲檢測(cè)，Oculus探索了各種深度學(xué)習(xí)架構(gòu)，并最終得出了輕量版的TCN introduced for high-quality Lipsync。基于TCN的笑聲檢測(cè)與音素預(yù)測(cè)TCN非常相似。但是，它預(yù)測(cè)0到1范圍內(nèi)的單個(gè)浮點(diǎn)值，并表示在當(dāng)前音頻幀發(fā)生笑聲的概率。與Lipsync模型一樣，笑聲檢測(cè)模型通過PyTorch進(jìn)行訓(xùn)練，使用ONNX轉(zhuǎn)換為Caffe2，并使用類似于Fast WaveNet Generation Algorithm的高效緩存技術(shù)進(jìn)行實(shí)時(shí)處理優(yōu)化。

　　輸出笑聲概率可以直接用于驅(qū)動(dòng)混合形狀，或者你可以實(shí)現(xiàn)簡(jiǎn)單的閾值來觸發(fā)笑聲動(dòng)畫。Oculus在引擎集成演示內(nèi)容中引入了一種新的笑聲形狀，直接由笑聲概率驅(qū)動(dòng)。這個(gè)演示內(nèi)容還通過在游戲視圖中顯示簡(jiǎn)單的文本條形圖來說明笑聲概率。

　　對(duì)于Oculus LipSync 1.30.0，Oculus通過實(shí)時(shí)音頻驅(qū)動(dòng)的笑聲檢測(cè)為社交增加了新的活力，個(gè)性和情感層，并朝著在VR中實(shí)現(xiàn)有意義的社交互動(dòng)又邁出了一步。在技術(shù)方面，這個(gè)版本改進(jìn)并擴(kuò)展了集成支持，并通過將計(jì)算卸載到DSP來提供改善性能的機(jī)會(huì)。