亞運會驚現AI解說員，機器人幫殘障者撿物品，北大學生為亞運會研發黑科技

　　作為本屆亞運會辦賽理念之一，“智能”貫穿于杭州亞運會全的各個方面。

　　為服務正在舉辦的第19屆亞運會，在北京大學黃鐵軍教授及仉尚航研究員的指導下，北京大學莊棨寧學生團隊基于多模態大模型的研究，結合視覺、語言、語音等多種模態的輸入，推出高速運動AI 多語種解說系統，為觀眾提供更豐富的觀賽體驗。這也是多模態大模型技術首次在國際大型綜合性體育賽事中的落地和嘗試。

　　同時，團隊著眼于具身智能研究，研發基于多模態大模型的人工智能助理來提供導覽引領、場景解說、物品抓取等服務，為殘障和需要幫助的人士創造更為人性化的互動方式和友好體驗。

　　AI“復刻”賽事解說員

　　“除卻君身三重雪，天下誰人配白衣。”

　　東京奧運會上中國運動員楊倩奪得首金身披白色領獎服時，賽事解說員用這句“神仙”解說詞擊中了無數觀眾的心。

　　事實上，一場精彩的體育比賽不僅取決于運動員雙方的比拼，解說員在其中的價值也不可忽略。競賽解說員不僅會在解說中提供關于球隊、運動員和比賽背景的信息，幫助觀眾更好地理解比賽的重要性和背后的故事，經驗豐富的解說員還能夠深入分析比賽，揭示比賽中的策略和技巧，使觀眾能夠更好地理解比賽的每一個環節，從而提高觀賽的樂趣。

　　當比賽出現精彩一刻，優秀的解說員還能夠通過解說傳達激情和情感，更好地帶動觀眾的情緒，為賽事瞬間增色添彩，甚至成為永恒經典。

　　然而受限于人手問題，并不是每場體育賽事都會安排解說員，特別是亞運會這類國際大型賽事，同一時間有多場比賽進行，并且不是所有的解說員都適合解說所有的體育項目，很多相對小眾的賽事就會缺少解說員，更無法想象一位解說員可以使用多種語言、面向不同的語言的受眾做解說。

　　基于此，北大莊棨寧學生團隊面向乒乓球、跆拳道、跳水、體操等賽事，推出了高速運動 AI 解說系統，系統可以輔助錄播頻道調用多模態大模型能力，理解視頻內容，并生成中文、英語、藏語、阿拉伯等多種語言的解說，讓信息傳遞給更多有實際需求的人。

　　圖：AI智能解說通過感知場景并生成解說

　　莊棨寧介紹說，這一技術通過高速攝像機的脈沖信號檢測場景物體和運動員，將能夠捕捉體育比賽中的關鍵時刻，并生成高質量的集錦和相關數據，基于多模態大模型算法和深度學習模型對這些運動數據進行分析，基于分析結果，系統再生成提供實時的個性化解說服務，從而為各個語種的觀眾都能提供個性化的體驗。

　　智能愛心輔助助手讓AI有溫度

　　大型賽事活動通常會為東道主城市帶來顯著的經濟、環境等變化，但由于人流量激增，城市公共區域會面臨巨大壓力。據預測，亞運會期間的杭州也將迎來近年來最密集的游客潮，外地游客量將超過2000萬人次，加上本屆杭州亞運會來自亞洲45個國家和地區代表團的12527名運動員，亞運期間杭州的人流大增。

　　在杭州市公共區域，莊棨寧學生團隊打造了具身智能機器人軟件服務系統，用于亞運會期間的導航指引與幫助服務。這套系統可以為觀眾提供導覽服務，協助視障人士進行引領和導航，解析視障人士需求并完成相應任務，幫助視障人士撿拾掉落的物品等。

　　目前，在杭州市的一些亞運會志愿者服務點，已經有市民看到一個機器人外觀的智能體在為視力障礙人士服務。

　　圖：杭州市民在體驗莊棨寧學生團隊的具身智能機器人軟件服務系統

　　“很榮幸能夠將我們的所學、所研轉化為可以服務每個人的應用，讓AI服務人們的普通生活。”莊棨寧介紹說，為本次亞運會打造的具身智能機器人軟件服務系統，是基于團隊自研的感知生成一體化多模態大模型，能夠精準地感知與理解場館內外的視覺場景，生成準確、豐富的語言描述，控制機器人執行智能志愿者服務任務。

　　同時，團隊將多模態大模型與具身智能相結合，使得人工智能可以更好的感知和理解物理世界，再更好地做決策，最終實現人工智能和物理世界更好地交互。