虛擬形象實時互動融合 SDK 業內首發 網易云信加碼元宇宙

　　元宇宙，火得猝不及防。

　　短短幾個月時間，Minecraft、Roblox 進入了更多人的視野，GREE、英偉達、微軟等陸續發布相關產品解決方案，韓國、日本還從國家層面宣布大力布局元宇宙賽道。《頭號玩家》描繪的情景似乎明天就能成為現實。

　　彭博行業研究報告預計元宇宙將在 2024 年達到 8000 億美元市場規模，普華永道預計元宇宙市場規模在 2030 年將達到 1.5 萬億美元。市場潛力無限。

　　究竟什么是元宇宙?簡單來說，元宇宙可以理解為平行于現實世界始終在線的虛擬世界。在這個世界中，除了吃飯、睡覺需要在現實中完成，其余包括工作、社交、娛樂等都可以在虛擬世界中實現。

　　神秘、未知，曾經只可能出現在夢中的幻境或許在不久的將來就能實現，想想就興奮不已。

　　然而一個不得不承認的現實是：高擬真度的虛擬世界還沒有建成，人們在虛擬世界的形象還沒有立起來，終端還支撐不起那樣的數據計算量，交互體驗還不夠好……一系列問題等著被攻克，元宇宙的大門還沒有打開。

　　元宇宙兩大核心技術：虛擬人和實時互動

　　正如前文所述，互聯網的終極目標——元宇宙，可以打破人類社會活動的空間與時間的界限。在一個創造的虛擬空間里，來自世界各地的人們進行著真實的社會活動，社交、商業、娛樂...而其中“虛擬人”和“實時互動”能力是必不可少的兩大核心技術。

　　虛擬人代表了個體可辨識度的形象和身份，實時互動能力可以實現沉浸式真實的社交活動，最終模糊虛擬和現實的邊界。

　　元宇宙中虛擬人是指具有數字化外形的虛擬人物，與具備實體的機器人不同，虛擬人依賴顯示設備存在。一般來說，我們將虛擬人分為兩類：一類是真人可驅動的虛擬人，另一類是具有人工智能的 AI 智能虛擬人。

　　元宇宙是另一個真實的人類社會活動的無限廣闊空間，所以技術上實現真人可驅動的虛擬人是邁入“新世界”的第一步，當然如《失控玩家》里具有自我意識的 NPC 虛擬人物如果也能在元宇宙中實現，更是讓人無限遐想。

　　因此元宇宙的虛擬人應具備以下三方面特征：

　　一是虛擬人外在形象，擁有人的外觀或者卡通等有趣生動的外貌，具有特定的相貌、性別和性格等人物特征;

　　二是虛擬人表達能力，擁有人的行為，具有用語言、面部表情和肢體動作表達的能力;

　　三是虛擬人感知互動能力，擁有人的思想，具有識別外界環境、并能與人交流互動的能力。

　　外在、表達、感知，這些我們幾乎每個現實人類都擁有的能力，對技術和設備的要求其實很高。

　　首先，愛美之心人皆有之，現實生活中的我離“盛世美顏”還有那么一小段距離，也許在新的世界里，我可以擁有“人生如果再來一次”的機會，傾國傾城走向人生巔峰。但是創建一個“美而好”虛擬形象，并不是一件容易的事情。AI和圖像的技術門檻很高，例如 3D 建模，高算力和渲染對設備性能要求等都是是一個業界難題。

　　其次，擁有了“沉魚落雁、閉月羞花、傾國傾城”的盛世美顏后，光是一個靜態形象，沒有表情、沒有肢體表達，元宇宙的世界瞬間變成“行尸走肉”的世界。這里涉及到語音交互（TTS、ASR、NLP等）、動畫合成（驅動、渲染）等AI相關技術，對技術要求的門檻可想而知。

　　最后，元宇宙映射的是真實人類世界，那么人類社會活動的基本元素“互動”是構建元宇宙的最關鍵一環，為了還原真實線下的無違和感的互動體驗，需要低延時、高質量的實時通信服務保障，但是當前復雜多變的公網環境、終端設備等因素對通信傳輸是一大挑戰。

　　為了能夠在“新世界”里“自由翱翔”，虛擬形象要“美好”，表達要“清楚”，溝通互動要“順暢”……需要解決很多問題，但是目前互聯網廣大用戶還是以移動端手機為主，機型種類等也復雜多樣。因此，不需要外戴設備，又能解決實現虛擬人互動所需強大算力引起的性能問題，同時在復雜網絡環境也能保障實時互動效果的解決方案，是當前最契合實際也是最好切入“元宇宙”的不二之選。

　　網易云信，來了!

　　業界首發虛擬形象實時互動融合SDK，邁出進入元宇宙的第一步

　　針對當前面臨的諸多難題，網易云信聯合網易伏羲實驗室推出業界首個「虛擬形象+RTC」融合 SDK，并且基于該融合 SDK 形成網易云信虛擬形象實時互動解決方案。

　　(網易云信虛擬形象實時互動解決方案)

　　該解決方案不僅可以生動還原虛擬人形象，同時結合了網易云信 WE-CAN(Communications Acceleration Network)實時傳輸能力，可以實現虛擬人實時互動，幫助企業客戶 0 門檻也可實現虛擬形象實時互動場景，邁出元宇宙的第一步。

　　具體來說，網易云信虛擬形象實時互動解決方案具備六大優勢：

　　一、形象：高度還原，極致靈動。

　　網易云信虛擬形象實時互動解決方案可以通過攝像頭或上傳的視頻檢測用戶面部表情動作，從而驅動 3D 虛擬人物做出相同表情，包括五官表情、頭部姿態、眼球運動、吐舌頭等均能還原追蹤。

　　部分傳統的做法為了減少設備性能要求，往往以犧牲用戶體驗作為代價，例如動畫匹配方式：當用戶進行說話，或者動作行為后，在預設的“表情、動作數據庫”進行幀動畫的匹配，最后對一系列幀進行匹配播放實現虛擬人的“表達”。但是人類的行為是多樣化的、隨機的，不可能對所有行為進行預知預設，可想而知會出現所謂的“面癱”或者“僵尸”。而網易云信虛擬形象實時互動解決方案采用的是“端上實時捕捉、云上實時驅動”的方案，相比動畫匹配方案，更真實靈動。

　　二、硬件：無需穿戴設備，手機即可實現。

　　網易云信虛擬形象實時互動解決方案支持使用普通單目攝像頭進行遷移，無需其他動捕設備，簡單便捷。只需普通的移動端設備或者 PC 端設備安裝網易云信 SDK 后即可生成并驅動虛擬人，和遠端真人驅動的虛擬人進行實時互動。

　　三、性能：端-云協同，千元機也可暢玩。

　　用戶通過終端設備(移動端或者 PC 端)進行音視頻采集后，通過網易云信的 SDK 進行動作模型數據輸出，連同采集到的音視頻數據傳輸到云端進行虛擬形象重建合成。

　　通過在云端進行動捕數據分析建模渲染，網易云信虛擬形象實時互動解決方案極大的減輕雙端算法性能壓力，降低了用戶入門門檻，讓更多千元機用戶也可以提前體驗虛擬互動的樂趣，感受元宇宙福利。

　　四、互動：低延時、無卡頓，元宇宙中的“面對面溝通”。

　　作為融合通信云專家，網易云信的 RTC 能力在行業一直處于領先地位。針對元宇宙中必不可少的“實時互動”場景，網易云信 WE-CAN 全球智能路由網絡為“0 距離”溝通保駕護航。

　　面對復雜多樣的網絡環境、良莠不齊的終端設備，WE-CAN 可以穩定提供全球范圍內毫秒級延時的實時互動能力，通過智能路由網絡擇優選擇最佳路線，百毫秒內觸達全球數百個國家和地區，為 99.9% 的通話提供無卡頓的音視頻服務。基于高可靠低延時的網易云信 WE-CAN 全球智能路由網絡，網易云信虛擬形象實時互動解決方案可以實現虛擬人實時互動，像現實世界面對面對話一樣。

　　五、便捷：1個SDK即可實現元宇宙2大核心技術。

　　面對元宇宙中虛擬形象和實時互動兩大難題，網易云信的一體化解決方案將虛擬形象和 RTC 在技術層面深度結合封裝，客戶再也無需對接多個供應商，只需一個 SDK 就可以構建一個充滿遐想的高體驗的虛擬形象實時互動場景。

　　(網易云信「虛擬形象+RTC」融合 SDK 功能框架圖)

　　網易云信「虛擬形象+RTC」融合 SDK 承擔了音視頻采集/前處理，數據分析、編碼傳輸、解碼渲染等輕量級工作，將復雜的高算力的工作轉移到云端，借助融合 SDK 形成高效的端-云協同工作模式，提供虛擬形象實時互動一體化能力。跨越高深的技術壁壘，只需這一個 SDK。

　　六、場景：金融、電商等多行業適用，降本增效快人一步。

　　值得一提的是，網易云信虛擬形象實時互動解決方案不僅能夠應用于元宇宙世界或娛樂社交行業，還可以廣泛應用于各行各業，幫助企業降本增效的同時，也能提升客戶體驗，從而提高用戶留存率，創造營收。

　　金融行業：虛擬數字人客戶服務，提供 7 x 24 小時不打烊的溫暖服務

　　(金融行業應用示例)

　　電商行業：虛擬人直播帶貨+客戶服務，帶來業務營收、客戶體驗雙重提升

　　(電商行業應用示例)

　　......

　　小結

　　盡管進入元宇宙需要解決這樣或那樣的問題，但不可否認，元宇宙場景的實現、元宇宙產業的成熟，只是時間問題。《頭號玩家》里的場景可能還得再想象幾年，但虛實融合已是互聯網發展的大趨勢。

　　一直以來，網易云信精益求精地打磨技術，站在行業前沿探尋風向，希望能夠幫助行業客戶不錯失每一個機會。現在，歡迎各位朋友和網易云信一起，邁出進入元宇宙的第一步。

　　填寫表單https://survey.163.com/htmls/fg23e7/paper.html，立即免費試用。

　　關注網易云信公眾號，回復“元宇宙”即可免費試用。