AI視頻“入駐”手機，多模態成智能終端的新戰場

　　文|樂樂

　　今天，無線藍牙耳機(TWS)已經成為人人都用得起的產品。

　　但退回到9年前，蘋果AirPods是全球第一款真正意義上的無線藍牙耳機。靠著自研并申請專利的Snoop監聽技術，蘋果解決了藍牙耳機左右延時和能耗不一的問題。由此，AirPods吃下了2016-2018年的大部分市場，直到兩年后其它廠商才學會類似技術。

　　靠技術紅利獲勝，是蘋果的經典操作，也是今天的手機廠商們在蘋果身上學到的重要一課。

　　對于近兩年的手機市場來說，AI無疑就是攪動手機市場的關鍵技術變量。

　　為了找到AI技術落地的殺手級功能，從Agent、AI修圖到AI問答，智能終端在做的事情就是在AI生態上盡可能做各種各樣的加法。

　　在高度同質化的AI手機賽道，手機廠商們亟需找到創新的AI技術落地功能。而榮耀，正在悄悄拿下多個首發優勢。

　　在近期榮耀400的發布會現場，圖生視頻成了榮耀“吃螃蟹”的又一首發功能，這背后是合作方生數科技旗下的AI視頻大模型在移動端的首次規模化落地。

　　聯手生數科技Vidu，榮耀突破了三大難關——保持風格一致性、對物理世界的理解、端側成本壓縮，讓用戶免費體驗“老照片復活術”。

　　而就在兩個月前，生數科技 Vidu Q1模型剛以VBench雙榜第一的成績碾壓Sora與Runway，如今就悄然鉆進千萬用戶的口袋。

　　這場合作背后，一場更深層的變革正在發酵。

　　當前，多模態正在重構智能終端的交互體驗，手機正成為圖生視頻技術普惠的戰場之一。當大模型的技術競賽從語言模型延伸到多模態，“讓記憶重獲生命”的圖生視頻，或許正是打開大眾市場的第一把鑰匙。

　　當圖生視頻在手機上跑起來

　　一張由AI制作的“Live Photo”，成為了榮耀發布會現場眾人討論的焦點。

　　照片中，一個小孩抱著窗簾看向鏡頭微笑。經由圖生視頻功能加工后，小孩抓著窗簾向一邊搖晃，頭部也隨著晃動方向微微傾斜，臉上掛著的笑容變成了動態，能看到嘴角咧起的弧度和鼓起的臉頰。

　　在榮耀產品線總裁方飛的演示中，只需要點擊“AI生圖”功能，選定相應照片和生成的視頻時長(3秒/5秒)，AI就能根據圖片場景生成一段流暢的視頻。上述案例就是由該功能生成。

　　早在3月宣布向AI終端生態公司轉型的榮耀，在數字系列榮耀400上落地了一系列AI能力。光是照片一項，榮耀就上線了AI圖生視頻、AI去褶皺、AI去眼鏡反光、AI去玻璃反光、圖生視頻等優化功能。

　　看起來簡單的視頻演示，背后是圖生視頻技術落地智能終端的一大步：攻克了技術難點，才能讓AI視頻看起來無限趨近于真實。

　　首先，要想讓視頻動起來的效果符合真實世界的運行規律，就是視頻生成模型們早期的通病。比如提示詞設定成兩個人打羽毛球，交給AI來做，球可能會出現憑空飛起或者不按照球拍擊打軌跡飛行等問題，導致生成出來的作品無法使用。

　　當下，如何更好地模擬物理世界規律，也成了大模型們面前的難關。就在3月份，生數科技發布的模型Vidu Q1，在VBench-1.0的視頻質量、視頻語義一致性和 VBench-2.0的常識推理、物理理解等綜合維度上達到SOTA水平。靠著對提示詞的理解力增強，Vidu能自動識別人物動作、光影、位置關系等內容，讓生成的視頻在動態上符合物理世界規律。

　　此外，在風格一致性上，擅長動漫、水墨等多種畫風理解的Vidu，在保持原圖風格一致上的表現相對穩定。相比于會把真實圖片上傳后隨機轉換成油畫、動漫等風格的視頻生成模型，Vidu顯然在場景理解上的表現更勝一籌。

　　不過，要想讓AI視頻真正普及，還需要考慮的就是生成速度和成本問題。等待時間超過幾分鐘，用戶體驗感會直線下滑，成本太高也會拖垮手機廠商的錢包。

　　而榮耀和生數科技一起克服了這幾個問題，把圖生視頻玩法搬上了手機。相對于各大視頻應用靠會員制收費，榮耀的圖生視頻功能完全免費，讓用戶不花錢也能體驗。

　　雖然這次并未公布具體的生成時長和成本，但根據此前Vidu 1.5版本做到幾秒生成、Vidu 2.0單秒成本最低不到3毛錢的價格來看，AI視頻已經具備了落地端側的條件。

　　除此之外，AI視頻大模型的技術一直在進步，未來或將在手機等智能終端中實現更多的功能。

　　比如，AI視頻一直存在一個技術難點——主體一致性。主體一致性，是指保持人物、物體、環境等主體一致，不會面部五官亂飛，環境前后連貫

　　2024年，生數科技在新模型Vidu 1.5中實現多主體一致性，使用者可以上傳背景和多個主體人物的照片，AI就能將這些自定義元素組合在一起，根據提示詞生成視頻。

　　以多主體一致性來說，海螺AI的“主體參考”功能和可靈的“多圖參考”均在今年1月上線，比Vidu慢了2個月。

　　多模態，智能終端的新戰場

　　多模態大模型，最近半年內正在肉眼可見的批量落地。

　　在App端，字節在5月23日給自家AI助手應用豆包裝上了視頻通話功能。背靠自研的視頻推理模型，豆包不僅能“睜眼看世界”，還能根據看到的畫面推測接下來的動作，比如炒菜的時候，豆包能夠根據原料猜出對應的菜，并且給出炒菜的具體步驟。

　　騰訊則在5月份發布了語音模型Human-Voice，并預告騰訊元寶將會在6月上線語音通話功能。同時，騰訊還會上線全球首個全模態模型“混元-O”。

　　在智能終端上，本身通過GUI(圖形用戶界面)實現交互的手機廠商們，就是多模態大模型的重要載體。

　　可以說，從這一輪生成式AI開始時，多模態AI就被廠商納入了考慮范圍。只是一開始在技術能力受限的情況下，大語言模型成為了端側大模型落地最早的一種。

　　多模態模型在端測的應用更廣，場景更多，不僅可以為以往場景賦能，還能有新的互動體驗場景，受眾范圍也會更廣，因為視頻圖像的受眾總是大于文字的。

　　隨著多模態能力的技術進步，端側語音和視頻交互的比重正在上升。

　　比如，一些在端側運行的大語言模型逐漸被多模態大模型代替，相應應用的底座也升級為多模態：

　　2024年1月，榮耀發布自研端側70億參數平臺級AI大模型“魔法大模型”家族，包括語言大模型和圖像、語音多模態大模型，支持智慧成片、圖庫語義搜索等功能，讓AI能夠“理解”圖片;在購物、娛樂、辦公等場景，開啟跨時代交互體驗。2024年5月，vivo發布多模態大模型技術應用“vivo看見-藍心升級版”，用于幫助視障用戶理解世界。

　　伴隨行業多模態能力的突破，以往受限于能力不足的AI應用，也迎來了能力突破。

　　其中，最突出的應用領域就是Agent(智能體)。通過調用手機屏幕截圖，再將圖片提供給多模態大模型的方式，AI開始能夠真正“理解”屏幕信息，并根據用戶指令工作。這就有了去年以榮耀為首等一系列手機廠商開卷智能體的動作，從榮耀的YoYo智能體到vivo藍心智能體再到OPPO的“AI問屏”，都是基于多模態能力實現的自主智能體產品。

　　基于多模態能力的AI修圖系列功能，也是應用更加廣泛的方向。早在2010年，手機廠商就開始探索基于圖像理解的AI攝影算法，通過對圖片的理解，用算法還原圖片生成的細節。

　　而在生成式AI能力進化的當下，基于多模態大模型的一系列圖片優化功能也是廠商重點宣傳的方向。從各大手機廠商必備的一鍵修圖、圖片識別等功能，都是基于人們日常生活中的需求出發。

　　這一次，榮耀也在發布會上帶來了AI修圖帶來的更多可能性。比如用AI實現“一鍵摳圖”，讓沒有PS功底的用戶也能輕松從圖片中摳出人像，自由移動編輯;再比如“AI消除眼鏡反光”的功能，通過AI消除掉拍照時眼鏡折射的色彩。

　　在智能終端需求和多模態能力普及的當下，二者一拍即合。

　　AI功能那么多，能用起來的有幾個?

　　從大模型火熱以來，手機廠商對AI的熱情無比高漲，開發的功能也是多如牛毛。

　　從對話式聊天助手、AI筆記、AI修圖到AI智能體，不上十幾個原生的AI應用，那都沒法叫AI手機。

　　不過，用戶真正能日常使用起來的高頻應用，并不多。很多AI功能，要么是獨立APP上有更好的替代品，要么就是功能雞肋用不起來。

　　另一方面，不少AI應用目前的使用門檻還比較高，一個是對用戶的硬件環境有要求，需要PC端至少4090的顯卡才能跑起來;另一個是對用戶的技能有一定要求，下載、簡單部署、甚至海外賬號的設置都能攔截掉一大批人。

　　以上面提到的圖生視頻來說，雖然可靈、海螺的產品比較成熟，有了很高的可用性，但用戶也僅僅局限于相對專業的用戶范圍內，比如設計師、動畫制作師、新媒體從業者等，普通用戶想自己用起來還非常難。

　　但榮耀和生數科技Vidu共同在端側新推出的圖生視頻功能，無論是用來將過往的老照片變成視頻，還是靠圖生視頻抓住鮮活的時刻，就又給用戶記錄生活，創作靈感增添了許多可能。

　　而一張照片的視頻生成，只是一個開始。

　　智能終端與AI公司聯手后，參考生視頻、文生視頻等AI視頻的更多玩法，都有望進一步遷移到智能終端中。

　　當然，這將進一步考驗雙方端側AI、云端協同的技術能力，成本降低的能力。但真正能讓用戶用起來，才能真正增強產品的競爭力，在手機競爭的紅海中逆勢上升。

　　2024年，手機市場變化已經證明了AI對于手機銷量的促進作用。在全球手機銷量連續下滑兩年后，于AI概念真正落地手機的2024年，全球已經連續4個季度實現了同比增長。市場調研機構Canalys提供數據顯示，2024年全球手機銷量達到12.2億，同比增長7%。

　　比起在技術層的炫技，今年，AI在端側的落地將給人帶來更多驚喜。