一位院士眼中的AI觀察

　　2024年1月9日-11日，“2024創投大會”在西安舉辦。本屆大會以“向實· 向新 · 向強”為主題，邀請院士專家、投資機構、產業企業從宏觀趨勢、產業投資、企業發展等多個角度呈現一場思想饕餮盛宴。

　　會上，中國工程院外籍院士，德國工程院院士，德國漢堡科學院院士 張建偉發表主題演講《通向魯棒自主系統的多模態AI之路》

　　以下為演講實錄，

　　經投資界（ID:pedaily2012）編輯：

　　非常高興從德國漢堡來到古都西安，從絲綢之路的終點回到絲綢之路的起點，在新年伊始之際探討未來，感到非常興奮。

　　我報告的題目是魯棒自主系統，近期我們實現的大的產業就是智能駕駛，未來在中長期的產業，我講是未來的個人服務，機器人是他們的魯棒自主性，他們的可靠性，他們在長期負責的，非結構下環境的自主性，是我們未來用多模態人工智能解決的目標之一。

　　現在，國際上科學家和企業家的融合也越來越深，Nurture發了一篇說科學家正在把科學的成果向工業化轉移，全世界把這種基礎的研究和我們未來的產業進行深度的結合，也是一個國際的趨勢。

　　跟大家分享一下物聯網時代的機器人具身智能的挑戰，剛才克強院士也提到了工業4.0，在十年前德國的國家工程院提出了工業4.0的概念，就是希望用我們未來的人工智能網絡、云的技術，提升傳統的制造業，今天在全世界各個角落和學術界，和工業界，工業4.0已經起到了一定的影響。

　　在今天創新創業是處在一個IOT重要的物聯網時代，在我們經歷了服務和數據物聯網給我們前20年帶來的產業巨大發展之后，未來的基于物聯網的這種硬科技，是我們投資和創業的重點。

　　未來的高新技術可以產生這種融合性的，顛覆性創新，但是它需要我們現在在人工智能、IOT、機器人、材料、能源、VR、AR，甚至通訊、腦科學這一方面的深度的融合。在這一方面，我想西安都具有著非常好的科研和創業的基礎。

　　應用的垂直領域也是我們為技術驅動提供價值重要的實驗場所，從智能制造的工業4.0到未來的出行，未來的健康、農業、家庭服務、教育等，都提供了未來人工智能、物聯網和機器人重要的應用場景。

　　從傳統的現在使用的手機、可穿戴，為視覺和聽覺進行連接人通訊的工具，到未來的智能汽車，加上移動的功能。中長期我們把操作的功能，把智能的功能進行新的提高，我們說從信息通訊到現在的ChatGPT非具身的智能，到未來的智能汽車，智能機器人的具身智能，為我們提供了非常廣泛的應用場景，從信息世界的交互，實現物理世界的交互。

　　在現在的手機之后，我們現在正在討論代替手機的下一個形態是演進，還是一種移動的設備，最終的終極形態是個性化，個人的機器人。在ICT通訊和網絡技術之后，下一個是智能化給我們帶來人口紅利，流量紅利過去之后真正的智能紅利和機器人紅利到來的時刻，在這個時刻我們可以在投資界發現非常多令人興奮的投資標的，包括智能機器人、AIGC、WEB3.0、智能家居和智能存儲等。

　　在疫情期間，我們也在西安組織了世界最大的智能機器人和自動化的旗艦會議，遺憾的是因為疫情，只是在西安進行了小范圍的中國參會者的形式。在機器人界，我們在宴會之前是展現了各種各樣的機器人的場景，從移動的車到未來移動的飛行機器人，水下移動的機器人。20年前我讓德國的博士生畫的幾幅漫畫，讓它展現出20年后機器人的場景，今天我們通過歐盟一些基礎研發項目，我們已經做出了部分的移動操作的漢堡圖書館，進行物理服務的場景。

　　通過現在的這種開源軟件、硬件，我們現在可以達到和歐美科研整個的同步，機器人的操作系統也是我前十年通過一些我們的論文，通過我們對未來的這種開源操作系統的貢獻，也是協調全球的研發能力，來共享未來的機器人落地，智能系統落地機器人這些新的應用。

　　如何實現0到1，1到10，10到100整個全鏈條，技術成熟度從整個智能應用，我用一張圖來部分表達我們在這一方面的一些實踐。從基礎研究的技術成熟度到3，到4的研究，我們通過國家的縱向項目來進行包括跨模態學習，包括深度學習和增強學習的研究，在中間這一層技術成熟度從5到8的階段，我們用一些共享的，包括機器人操作系統的模塊來打造這些關鍵的技術模塊，通過我們的投資，通過我們的孵化，在上層進行傳統行業的提質增效和一些創新創業新的行為，包括我們未來的人才培養等，使得我們和傳統行業的這種垂直的結合，在制造、出行、健康方面，創造新的價值，孵化新的公司。

　　在這一方面，我想我們在大學進行的一些前沿的研究，20年前我做助理教授的時候，我就做了一款雙臂協作的裝配機器人，當時是全世界第一個用智能的形式，多模態交互的形式做玩具飛機的裝配，當時是一個無人區，今天我們在自動化方面，從單臂的裝配到未來的雙臂的這種場景，已經變成了一個重要的領域。

　　我們也把協作機器人現在變成了一種創業的重要基地，機器人也是這一方面的獨角獸，在力控臂方面在全世界已經做出了最好的性能，現在在富士康的蘋果工廠有上千的應用，未來會有更多新的應用。現在中國自動化的工廠程度已經提高了非常多，但是我們現在還能看到很多工廠還雇幾千，幾萬人，甚至在鄭州的工廠有幾十萬人，70%的工作都是用手的精巧在操作，現在還不能自動化操作，我們在從事著用所謂的多模態機器人，加上視覺、聽覺和觸覺，來進行機器人的靈巧裝配，把這一部分的自動化的難點領域，在進行新的替代，用新的AI多模態的技術。

　　也是在20年前，我們就做出了這一款移動操作的實驗室自動化機器人，這一款機器人在拜耳制藥廠的實驗室今天還在使用，我們把視聽、聽覺和觸覺都裝在機器人的身上，在機器人實驗室的場景來進行試管的移動操作。未來在工廠的自動化之后，制藥的自動化和整個生物系統的自動化，現在對機器人的要求也是提得越來越高，越來越深，未來對機器人的系統大有應用之地。

　　服務家庭的機器人，是我們每個人都希望要的產品，我們能不能享用未來家庭服務的機器人，來照顧我們的父母，未來照顧我們自己，使得我們獨立的有尊嚴的生活，我們在歐盟的項目支持下，也做出了這一款室內室外聯合的這種服務的機器人，為助殘的場景做一些基礎實驗。我們在多模態的情況下，在視覺和聽覺的傳感和處理都比較發達的情況下，我們現在研究各種各樣的柔性皮膚的傳感器，包括可伸拉的穿戴傳感器，把具身智能從視覺、聽覺到觸覺的模態整個打通，來進行產業化。

　　在3D的相機方面，我15年前寫的結構按光的這些論文，現在已經被公司們做成公司們做成創業的一個非常好的點，Mind作為另外一家智能機器人的獨角獸，現在是3D點云相機國際上的領軍企業，已經在30多個國家得到銷售，在智能物流和加工方面已經正在起到非常重要的3D感知的作用。

　　未來的制造和全流程的工業4.0這種全生命周期的智能化，也是一個非常重要的方面。未來的智能駕駛現在對能源和電池的處理方面，也有新的需求。可能這兩年已經是我們第一批動力電池開始報廢的時候，現在歐盟和美國都對新能源汽車的本地銷售，提出了要本地化處理動力電池和汽車的要求，這些方面自動化和機器人的需求，我們現在正在布局，把未來電動汽車的拆解和能源電池的拆解，來進行無人化的自動化方案。

　　在自主系統的核心技術方面，克強老師講了從單個車到網聯車，到云和車的服務方面，非常好的一個總攬。在單車的服務方面，我們把人工智能的多傳感的技術進行融合，也是大大提高它們在夜間，在雪地，在極端天氣下整個的魯棒性。包括在夜間的識別、規劃和感知的例子。

　　最近斯坦福大學又放出了一些失敗的視頻，我們物理世界的具身智能實際上面臨著非常高的挑戰，在感知方面，在交互方面，在操作方面，對環境的價值和操作都有著極高的要求，現在個人機器人還沒有達到現在汽車整個的產量，我們看到的只是家庭簡單的吸塵機器人，我們只是看到了小的物流配送，量還非常小。未來包括城市的全自動的駕駛，包括工廠帶有手的多模態自動化，個人助力和家庭服務機器人，建筑機器人等，都給我們未來的20、30年都提出了重大的挑戰。

　　人工智能最近給我們帶來了新的賦能機會，從四個方面再回顧一下，給我們帶來賦能的機會。第一個是算力的增長，這種指數型算力的增長，是一個非常獨特的現象，和我30多年前在清華學計算機相比，計算能力翻了不是30倍，而是上百萬倍，再放眼十年，我們還會獲得上百倍的計算能力。在數據方面，我們也有足夠多的數據和燃料，從單模態到多模態的數據。從算法方面，我們從處理視覺這種深層的CAN網絡，還有去年很火的處理語言的RNN算法，到處理具身智能的算法，現在可以說日新月異，每天都有上百篇非常好的算法來給我們未來的人工智能技術賦能。

　　第四，現在機器人和人工智能學習，到了如何來學習，在虛擬的空間來進行模擬。我們做出了世界第一個能夠正步走的最省電的行走機器人，把下身的形態和上身多年積累的靈巧操作的手，還有仿生的手融合在一起，我們正在打造未來真正的人形機器人。在多模態處理方面，在十年前在深度學習，在大模態和大模型都不火的時候，我們就已經開始布局這一方面的基礎研究。我們申請到了中德之間最大的基礎研究項目，叫跨模態基礎研究項目，去年已經進入到了第八年，我們和腦科學，和心理學共同合作，來研究人的多模態信息的表達、存儲、整合和交互，來轉移到未來的包括自動駕駛，包括人形機器人算法和系統。

　　從這種多模態的低層融合，到中層和晚期的信號級和語義級的融合，我們在打造新的算法，用這種新的算法可以把一些不完全的感覺信息能夠自動補缺。我們在模型和整個數據方面，我想未來也是給我們賦能的一個重要的基礎點。現在不管是汽車的模型，還有人機交互的模型，還有整個世界的模型，我們做出的結果還非常少，所以我們現在需要有大量的數據端到端學習的補充，通過我們未來10、20、30年，甚至上百年這種技術的努力，我們通過具身智能，通過自動駕駛車，通過機器人，通過自動設備，讓這些大數據的模型來更好的支撐，更好的完善現在的物理模型，來進行未來更好的模型進化。

　　一個例子就是我的一個博士后最新做的一款子機器人，傳統需要多個相機，通過我們對人模型的建立，就可以非常方便的用兩個簡單的相機，就做出了這一款個人的對運動的捕捉，我們現在也可以從網上任何人的數據，現在提出人的運動模型，把這些模型來轉移到人機交互上，轉移到未來的人形機器人的編程上。我們也把現在的模型增強學習深入的融合，我們現在做出了這一款拿到了基尼斯記錄的乒乓球機器人，可以個性化來進行訓練，來做運動處方的康復作用。

　　我們把人的多種知識的一小部分，已經融入到服務機器人上，在人機交互的長度方面，可以大大縮短人機交互需要的長度，通過這種交互也是大大的減少機器人對世界理解的模型，和真正模型的誤差。

　　去年ChatGPT橫空出世，我在十年前就讓我的學生做了一幅圖，我說十年后，我們會不會面臨一個機器人把全世界的書都讀進去的一個場景，去年我們就看到了這個場景對圖形和文本方面的影響，當然還不是通過機器人具身的形式，已經通過非具身的形式，已經給我們在這種白領工作的部分替代方面，已經起到了部分的影響。但是在未來這種具身智能，包括機器人的多模態的具身智能方面，未來我想是下一個重要的包括投資和研發，和未來真正的能夠創造個性化機器的一個重要的節點。

　　上個星期在自媒體了起到了一個小小的轟動，通過遙控操作各種各樣的服務機器人，在前十年和二十年都在不斷的進行，現在通過大模型，我們可以通過這種遙控操作來進行機器人未來的編程。這個視頻里面還有很多都是遙控操作的場景，還不是自主的場景，而且魯棒性還非常差。所以大家不要認為看見這個視頻以后，就認為現在的個人化機器人已經達到產品化的程度了。從未來的多模態的具模型，提高可信度和穩定性，擺脫高計算的成本，可解釋，把它落到千行百業，是我們下一個創新創業的重要方向。

　　今天我們也看到了人才是創新創業的一個重要的因素，如何在現在的人工智能時代對工程師的培養，進行新的工科的嘗試，是我們現在關心的一個問題。未來在人工智能的領域，我們要更加注重多模態的整合和以人為本的倫理需求的重視，還有重視真正對垂直領域的需求有影響的這種創新創業，對工程師的培育來講，我們要更加重視他們對多模態的理解能力，他們跨學科的能力，不管是人工智能的從業者，還是非人工智能的從業者，要理解AIGC，人工智能能干什么，不能干什么，包括未來的孩子要學會如何和人工智能共存，要培養對未來自然的解釋能力，我們的想象力，我們的好奇心，和發明更好的問題。

　　我也希望未來德國和中國，和陜西，和西安，有著更多的互補結果，包括在德國的多樣性，小而美，興趣驅動，洪堡大學的這種科研和教學深度融合的原理，和交叉研究的傳統，和中國在這一方面開放、快速、靈活、刻苦的頂層設計，工程師紅利和團隊組織方面，能夠深入的互補和互相學習。

　　未來的人工智能和通信信息技術，和機器人，和未來真正的具身智能的結合，使得產學研能夠深入進行國際合作，來培養有國際視野的跨學科的創新人才，來真正應對全球的重大挑戰，交叉、創新和融合，來共創和諧社會，美好生活。我想今天在一起這個創投大會，一定在新年里面能夠取得新的成果，也希望和各位陜西的同事和朋友們進行深入的合作。謝謝大家!