清華AIR張亞勤：深度投入大模型技術(shù)，清華AIR與毫末一道共同引領(lǐng)自動駕駛3.0時代

　　以GPT為代表的生成式大模型的出現(xiàn)，讓人工智能技術(shù)再次發(fā)生躍遷，AI技術(shù)正在經(jīng)歷從判別式到生成式的技術(shù)范式變革過程。隨著生成式、預(yù)訓(xùn)練、多模態(tài)等大模型技術(shù)的引入也在為自動駕駛技術(shù)走向成熟的無人化提供了可能。

　　來自全球領(lǐng)先的人工智能研究機(jī)構(gòu)清華智能產(chǎn)業(yè)研究院(AIR)與國內(nèi)領(lǐng)先的自動駕駛AI技術(shù)公司毫末智行，在對大模型的技術(shù)趨勢上及應(yīng)用上有著驚人的一致判斷。同時，雙方也已經(jīng)在基于數(shù)據(jù)驅(qū)動決策優(yōu)化方向上展開深入探索，共同推動全方位、多層次的產(chǎn)學(xué)研深度合作，加速AI技術(shù)在自動駕駛領(lǐng)域的落地應(yīng)用。

　　2023年10月11日，中國工程院院士、清華大學(xué)教授、清華智能產(chǎn)業(yè)研究院(AIR)院長張亞勤現(xiàn)場出席毫末智行舉辦的第九屆HAOMO AI DAY，發(fā)表了題為《智能駕駛新進(jìn)展——Big Model, Generative Al and Intelligent Driving》的主題演講，分享了他對生成式AI大模型應(yīng)用于自動駕駛技術(shù)的最新思考，以及介紹了清華AIR在構(gòu)建Real2Sim2Real基礎(chǔ)模型平臺、自動駕駛仿真平臺等最新成果。

　　以下是張亞勤院士的演講全文：

　　這么美麗的天氣，這么漂亮的地方，很高興參加HAOMO AI DAY，也感謝張凱董事長和維灝的邀請。

　　今天是第九屆HAOMO AI DAY，首先我要祝賀毫末在不到4年的時間里取得了很大的成績，特別是走出一條自己的路。我印象當(dāng)中毫末是最先在自動駕駛方面發(fā)布了生成式大模型DriveGPT，也很快地走向規(guī)模化，在這么短的時間就能夠成為自動駕駛領(lǐng)域的領(lǐng)軍企業(yè)。

　　今天我想談一下在智能駕駛方面新的進(jìn)展，這些年我一直用同樣的題目，但是每一次會發(fā)現(xiàn)里面的內(nèi)容都完全不同，特別是最近生成式AI出來之后，對自動駕駛有了很大的推進(jìn)。

　　我們一直講新的“四化”——網(wǎng)聯(lián)化、智能化、共享化、電動化，其中最重要的是兩化——電動化、智能化。電動化可以理解成是新能源，現(xiàn)在中國已經(jīng)是全球最活躍、最大的新能源市場，不管是在用戶規(guī)模或者出口規(guī)模都是全球第一，這是新汽車的上半場。下半場最重要的是智能駕駛，未來5—10年全球競爭的熱點和制高點就是自動駕駛。人工智能是自動駕駛核心的技術(shù)驅(qū)動力，毫末從一開始成立就以AI作為公司的技術(shù)引擎，所以HAOMO AI DAY十分重要。

　　為什么這么多的企業(yè)都在做智能駕駛?包括傳統(tǒng)汽車廠商、新勢力、高科技企業(yè)都在進(jìn)入自動駕駛市場?其實，這里面有很多的技術(shù)挑戰(zhàn)，首先從AI的角度來看，自動駕駛是高度復(fù)雜的，需要很多算力、新算法，是最具有挑戰(zhàn)的AI垂直領(lǐng)域問題，其次，自動駕駛也是目前看到的聚生智能、邊緣智能、自主智能的交集。剛剛毫末的測試視頻里可以看到自動駕駛面對這么多的復(fù)雜場景和變化，確實有很多的挑戰(zhàn)。

　　但是，我認(rèn)為自動駕駛是完全可以實現(xiàn)的，其中有一些關(guān)鍵的問題，有一些是市場的因素，有一些是非市場的力量。市場的因素包括技術(shù)是否可行?用戶有沒有真正需求?產(chǎn)業(yè)生態(tài)及商業(yè)模式。非市場因素也很重要，需要行業(yè)有技術(shù)突破，也需要有政府產(chǎn)業(yè)方面的支持，以及與政策法規(guī)突破。

　　在技術(shù)方面，一開始很多人在講無人駕駛是否可行，特別是L4以上是否可行?我從一開始認(rèn)為就是可行的。最近看到一些數(shù)據(jù)，無人駕駛比有人駕駛安全10倍左右，在去年我還在講是3倍，今年已經(jīng)到了10倍。這說明技術(shù)突破已經(jīng)完成。在商業(yè)化路線圖上，目前也有各種各樣的方式，有一些是用單車智能，有一些車路協(xié)同，還有漸進(jìn)式、跳躍式的路線，開源、封閉的路線，不同企業(yè)都在探索不同的路線圖，沒有說哪一個是完全正確的，產(chǎn)業(yè)在用不同的方式嘗試自動駕駛。我知道毫末選擇了漸進(jìn)式，我覺得這些都很好，大家用不同的方式去探索。

　　最近在AI方面有很多新的突破。我們看到新的算法、新的框架，特別是預(yù)訓(xùn)練、多模態(tài)、多監(jiān)督學(xué)習(xí)、大模型成為主流。Transformer作為廣泛的應(yīng)用算法框架，后面有很多創(chuàng)新其實是中國年輕科學(xué)家在中國完成的，因此中國科學(xué)家對于人工智能有著很大的貢獻(xiàn)。我聽到很多的說法，認(rèn)為AI的核心主要是從歐洲來的，基本的理論是從那里來的，但是中國科學(xué)家在人工智能領(lǐng)域也做出了很多的貢獻(xiàn)。

　　大模型很重要的一點是要突破技術(shù)限制。過去六、七十年中主要有三個重要的理論：摩爾定律、馮·諾依曼架構(gòu)、香農(nóng)三定律，現(xiàn)在那這三個理論都在被突破。如果不突破，大模型不可能實現(xiàn)，其中需要有新的傳感方式，新的感知方式，需要有新的計算機(jī)體系架構(gòu)的突破，包括芯片新框架等，現(xiàn)在主流的Transformer和CNN卷積神經(jīng)網(wǎng)絡(luò)也都不一樣。目前，數(shù)字技術(shù)產(chǎn)業(yè)主要還是基于硅片的計算，未來可能會有生物科學(xué)、光計算、量子計算。

　　當(dāng)前，很重要的一點就是大模型帶來生成式的AI，過去AI講的是分類，也就是判別式的AI。現(xiàn)在可以完全生成新的內(nèi)容創(chuàng)意、數(shù)據(jù)的創(chuàng)意，也可以在場景方面有很多新的創(chuàng)意。下面我稍微講一下在這方面的工作。

　　大模型走向了新方向。首先是多模態(tài)，不僅僅是自然語言、圖像、視頻，也包括傳感信號、激光雷達(dá)等從所有車機(jī)發(fā)出的物理感知、生物感知信號。大家看到GPT-4大模型就是多模態(tài)的，其功能很強大，不過效率很低，大致比人大腦的計算和決策效率至少要低1000倍，所以還需要有新的算法，我覺得5年之后就會有新的算法出現(xiàn)。其次是自主智能，可以去自動的完成任務(wù)，包括邊緣計算，把很復(fù)雜的大模型怎么樣放在手機(jī)、汽車、機(jī)器人邊緣上，還有具身智能和物理世界連在一塊，我認(rèn)為自動駕駛是最重要的具身智能場景。未來是腦機(jī)智能階段，大模型將面臨怎么樣用到生物的世界、生命的世界，怎樣讓人和腦更好的連接。

　　新技術(shù)架構(gòu)都會用到大模型，就像新的AI操作系統(tǒng)一樣，上面會有很多垂直的模型，包括做自動駕駛或者其他像生命科學(xué)垂直的模型。

　　我這里再簡單講一下清華智能產(chǎn)業(yè)研究院(AIR)，這是我從百度退休之后創(chuàng)立的人工智能產(chǎn)業(yè)研究院，3年的時間發(fā)展速度很快，也很幸運能夠找到一批有很深產(chǎn)業(yè)背景，同時有很深學(xué)術(shù)造詣的科學(xué)家和企業(yè)CTO。現(xiàn)在差不多加上博士后、學(xué)生有300人左右，自動駕駛是其中的一個方向，大概有100人。

　　每一次講到AIR研究院，都會想起25年前我回國創(chuàng)立微軟亞洲研究院。下個月會慶祝微軟亞洲研究院25周年，這個研究院本身相當(dāng)?shù)某晒ΑＮ覄倓傊v的大模型就是在微軟研究院所開發(fā)的，希望能夠打造面向中國產(chǎn)業(yè)的研究院。

　　我們在從事各種研究的時候希望有一個大的框架，比如智能駕駛方面要先確定一些技術(shù)路線。首先我認(rèn)為多模態(tài)的感知很重要，從原多尺度、多維的數(shù)據(jù)很重要。因為做無人駕駛、智能駕駛，機(jī)器人的優(yōu)勢首先就是要求數(shù)據(jù)比較多，這個數(shù)據(jù)優(yōu)勢不能扔掉，所以我不同意馬斯克所說的只用攝像頭，我們需要用更多的數(shù)據(jù)源。其次是現(xiàn)在很多的自動駕駛會用到很多高精地圖，但是我們認(rèn)為未來是輕地圖，不能完全依賴于地圖。

　　自動駕駛達(dá)到最后的安全、可靠階段一定是端到端方式實現(xiàn)的，這個也非常難，這里面有更詳細(xì)的技術(shù)因素，包括生成式AI、強化學(xué)習(xí)、大語言模型，我們有兩個平臺：數(shù)據(jù)大模型平臺、仿真平臺。

　　AIR也提出了自己的自動駕駛基礎(chǔ)模型。首先模型提出了怎么樣獲取不同數(shù)據(jù)，包括真實世界數(shù)據(jù)和仿真數(shù)據(jù)。數(shù)據(jù)要經(jīng)過受控管道進(jìn)行清理。然后有兩個大模型：感知模型、決策模型，包括在一些云端和車端的關(guān)鍵場所做出決策，有一些模塊是提供信息，有一些是統(tǒng)計的，也有一些是基于規(guī)則的模塊。

　　我在里面專門把“強化學(xué)習(xí)”拿出來，因為強化學(xué)習(xí)我從百度開始的時候就在用到的，但是很難用。因為自動駕駛安全性很重要，用起來相當(dāng)困難，但是我認(rèn)為這個是我們唯一真正達(dá)到更高安全的方式，強化學(xué)習(xí)可以學(xué)到新的東西，現(xiàn)在泛化的方式要靠強化學(xué)習(xí)去學(xué)習(xí)，最近也有很多新的進(jìn)展。怎么樣把強化學(xué)習(xí)用到很多模擬和決策，用到真正駕駛的行為當(dāng)中。左邊模型是垂直大數(shù)據(jù)，怎么樣用強化學(xué)習(xí)去調(diào)整模型。

　　另外是生成式AI怎么樣能用到仿真、決策當(dāng)中?這里面有一個小的例子，大模型和深度學(xué)習(xí)都有透明度的問題，所以我們也做了這方面的研究，我到底為什么做這個決定?左轉(zhuǎn)、右轉(zhuǎn)、剎車，告訴我看到什么東西了，以及我為什么要做這個決定，它可以引導(dǎo)怎么樣做決定。這個是用真實數(shù)據(jù)、仿真數(shù)據(jù)、垂直模型、大模型生成語意深度場景，包括交通和行人的信息。

　　另外是人腦和機(jī)器的融合，我們要去研究一下人是怎么開車的。人有的時候決策很好，有的時候決策不好，把這些信息通過傳感器收集起來。一方面在很長時間人和機(jī)器要共駕，無人駕駛要慢慢理解人的駕駛。另一方面把模型用到算法當(dāng)中，改善算法的效率。

　　最后，我們非常高興能和毫末在技術(shù)方面有深度的合作，這個合作是關(guān)于怎么樣把強化學(xué)習(xí)用到認(rèn)知決策里面?怎么樣用真實的數(shù)據(jù)和實車場景用強化學(xué)習(xí)把它融合起來，當(dāng)前，強化學(xué)習(xí)有很多的問題，在線或者離線的方式，包括函數(shù)定義的問題、策略模糊性的問題，所以我們做了很多這樣的研究。過去一年多，在國際頂會發(fā)表了很多的論文，同時也有專利，最重要的是現(xiàn)在開始用到車?yán)锩妫瑒倓偪吹轿锪鞯男≤囈呀?jīng)開始用這些算法。

　　總結(jié)一下，如果看智能駕駛和自動駕駛經(jīng)歷的不同階段，一開始的時候更多是用激光雷達(dá)和硬件驅(qū)動，更多是基于人工的規(guī)則。2.0是軟件和算法的驅(qū)動，這個階段有更多的傳感器，也要靠機(jī)器學(xué)習(xí)和規(guī)則。現(xiàn)在走到3.0的時代，就是大模型的驅(qū)動，這個階段有多傳感器用到端與端的算法，也會用到強化學(xué)習(xí)，可以更大程度地實現(xiàn)自動駕駛在真實的世界落地。