混元大模型，好飯不怕晚

　　作者：張奕丹

　　編輯：吳辰光

　　期待已久的騰訊混元大模型終于亮相。

　　9月7日，在騰訊全球數(shù)字生態(tài)大會(huì)2023上，騰訊混元大模型面世。這是騰訊全鏈路自研的實(shí)用級(jí)通用大語言模型，擁有超千億參數(shù)規(guī)模，預(yù)訓(xùn)練語料超2萬億tokens，具有強(qiáng)大的中文理解與創(chuàng)作能力、邏輯推理能力，以及可靠的任務(wù)執(zhí)行能力。

　　目前混元大模型只通過騰訊云向B端開放，騰訊云、騰訊廣告、騰訊游戲、騰訊金融科技、騰訊會(huì)議、騰訊文檔、微信搜一搜、QQ瀏覽器等多個(gè)騰訊內(nèi)部業(yè)務(wù)和產(chǎn)品，已經(jīng)接入騰訊混元大模型測(cè)試并取得初步效果。騰訊表示，大模型外部接口應(yīng)用形式是混元助手，會(huì)關(guān)注C端應(yīng)用。

　　騰訊集團(tuán)高級(jí)執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生表示，騰訊產(chǎn)業(yè)互聯(lián)網(wǎng)將全面擁抱智能時(shí)代，以大模型生成技術(shù)為核心，人工智能正在成為下一輪數(shù)字化發(fā)展的關(guān)鍵動(dòng)力，也為解決產(chǎn)業(yè)痛點(diǎn)帶來了全新的思路。騰訊產(chǎn)業(yè)互聯(lián)網(wǎng)將通過智能增強(qiáng)、數(shù)據(jù)增強(qiáng)、連接增強(qiáng)，助力產(chǎn)業(yè)建構(gòu)“智能引擎”，挖掘數(shù)據(jù)價(jià)值，連接場(chǎng)景應(yīng)用，實(shí)現(xiàn)高質(zhì)量發(fā)展。

　　據(jù)賽迪顧問8月底發(fā)布的數(shù)據(jù)顯示，受ChatGPT驅(qū)動(dòng)，今年國產(chǎn)大模型開始爆發(fā)式增長(zhǎng)，僅1-7月，就有共計(jì)64個(gè)大模型發(fā)布。截至2023年7月，中國累計(jì)已有130個(gè)大模型問世。

　　雖然姍姍來遲，但騰訊曾多次表示要?jiǎng)?wù)實(shí)，要拿出成熟的大模型，而不是半成品。此次騰訊指出，混元大模型是騰訊云MaaS服務(wù)的底座，各行各業(yè)可以基于混元、也可以基于開源模型，做自己專屬的行業(yè)大模型。

　　在騰訊看來，對(duì)于基礎(chǔ)模型而言，不應(yīng)只局限于問答式聊天，長(zhǎng)期價(jià)值將通過應(yīng)用來體現(xiàn)，應(yīng)用場(chǎng)景是決勝的關(guān)鍵因素。要從實(shí)踐中來，到實(shí)踐中去。

　　姍姍來遲，但該有的都有了

　　所謂全鏈路自研，即從模型算法到機(jī)器學(xué)習(xí)框架，再到AI基礎(chǔ)設(shè)施都由騰訊自主研發(fā)。具備的特點(diǎn)包括大規(guī)模、高質(zhì)量、多樣化的語料庫;創(chuàng)新的大模型算法;自研Angel機(jī)器學(xué)習(xí)框架，訓(xùn)練方法的創(chuàng)新性;強(qiáng)大的算力基礎(chǔ)設(shè)施。

　　超千億的參數(shù)規(guī)模，預(yù)訓(xùn)練語料超2萬億tokens，這讓混元大模型具備強(qiáng)大的中文創(chuàng)作能力，復(fù)雜語境下的邏輯推理能力，以及可靠的任務(wù)執(zhí)行能力。

　　針對(duì)行業(yè)普遍難題，混元大模型優(yōu)化了預(yù)訓(xùn)練算法及策略，讓幻覺相比主流開源大模型降低了30%-50%;通過強(qiáng)化學(xué)習(xí)的方法，讓模型學(xué)會(huì)識(shí)別陷阱問題，對(duì)難以回答或不應(yīng)回答的問題說“不”;通過位置編碼優(yōu)化，提高了超長(zhǎng)文的處理效果和性能;提出思維鏈的新策略，能夠像人一樣結(jié)合實(shí)際的應(yīng)用場(chǎng)景進(jìn)行推理和決策。

　　騰訊自研Angel機(jī)器學(xué)習(xí)框架，使訓(xùn)練速度相比業(yè)界主流框架提升1倍，推理速度比業(yè)界主流框架提升1.3倍。

　　其實(shí)，騰訊從2018年就開始探索預(yù)訓(xùn)練模型技術(shù)，在內(nèi)部有廣泛的實(shí)踐。從2021年開始，騰訊先后推出千億和萬億參數(shù)的NLP稀疏大模型。2022年，在中文語言理解權(quán)威評(píng)測(cè)集合CLUE 與 VCR、MSR-VTT，MSVD等多個(gè)權(quán)威多模態(tài)數(shù)據(jù)集榜單中登頂，實(shí)現(xiàn)跨模態(tài)領(lǐng)域的大滿貫。打破CLUE三大榜單記錄，實(shí)現(xiàn)在中文語理解能力上的新突破。混元大模型是多次迭代之后的產(chǎn)品，在使用場(chǎng)景資源、數(shù)據(jù)方面都有優(yōu)勢(shì)，再加上云計(jì)算基礎(chǔ)設(shè)施的加持，競(jìng)爭(zhēng)力大大提升。

　　騰訊集團(tuán)副總裁蔣杰表示，騰訊研發(fā)大模型的目標(biāo)不是在評(píng)測(cè)上獲得高分，而是將技術(shù)應(yīng)用到實(shí)際場(chǎng)景中，騰訊將全面擁抱大模型。

　　對(duì)于為何姍姍來遲，在此前的騰訊2023年股東大會(huì)上，騰訊董事會(huì)主席兼首席執(zhí)行官馬化騰給出了解釋：“我們最開始以為這是互聯(lián)網(wǎng)十年不遇的機(jī)會(huì)，但是越想越覺得這是幾百年不遇的、類似發(fā)明電的工業(yè)革命一樣的機(jī)遇。互聯(lián)網(wǎng)企業(yè)都有很多的積累，都在做，我們也一樣在埋頭研發(fā)，但是并不急于早早做完，把半成品拿出來展示。”

　　馬化騰以工業(yè)革命舉例，認(rèn)為早一個(gè)月把電燈泡拿出來在長(zhǎng)的時(shí)間跨度上來看是不那么重要的，關(guān)鍵還是要把底層的算法、算力和數(shù)據(jù)扎扎實(shí)實(shí)做好，而且更關(guān)鍵的是場(chǎng)景落地。

　　“一個(gè)公司不能包攬一切，騰訊應(yīng)該思考的是如何更聚焦在最擅長(zhǎng)的做到業(yè)內(nèi)最好的發(fā)揮自己的價(jià)值，而不貪圖把寶貴的精力分散在其他人更專業(yè)的方面去搶一杯羹。所以還是更專注在能最大化發(fā)展自己的優(yōu)勢(shì)，發(fā)現(xiàn)哪些業(yè)務(wù)和過去的業(yè)務(wù)能產(chǎn)生1+1大于2的效益，用得上自己過去的經(jīng)驗(yàn)并且能做到業(yè)內(nèi)最好的水準(zhǔn)，經(jīng)常去思考這個(gè)會(huì)使自己的動(dòng)力更足。總結(jié)起來就是不急功近利，要了解自己的優(yōu)勢(shì)，抓住適合自己的的機(jī)會(huì)，并把自己擅長(zhǎng)的事情做到極致。”馬化騰表示。

　　在3月的財(cái)報(bào)電話會(huì)議上，騰訊總裁兼投資委員會(huì)主席劉熾平表示，AI將成為公司未來業(yè)務(wù)增長(zhǎng)的放大器。生成式AI和基礎(chǔ)模型技術(shù)可以補(bǔ)充優(yōu)化騰訊的業(yè)務(wù)。因此，該公司將積極投入資源來構(gòu)建基礎(chǔ)大模型，這將在未來對(duì)每個(gè)業(yè)務(wù)線都起到正向補(bǔ)充作用。同時(shí)，這也有助于推出新業(yè)務(wù)。騰訊希望沿著正確的路線踏實(shí)前進(jìn)，不急于求成，先打好基礎(chǔ)，再追求新進(jìn)展，第一款產(chǎn)品將會(huì)是多次迭代之后的產(chǎn)品，整個(gè)過程將是長(zhǎng)期的。而且，聊天機(jī)器人也將只是騰訊未來發(fā)布的眾多產(chǎn)品中的一種。

　　在8月的財(cái)報(bào)電話會(huì)中，劉熾平再次表示，就生成式AI技術(shù)或廣泛地對(duì)于基礎(chǔ)模型而言，騰訊認(rèn)為此類技術(shù)和機(jī)會(huì)并不僅局限于聊天機(jī)器人這樣的問答式體驗(yàn)。AI技術(shù)將有助于提高用戶交互服務(wù)的效率和質(zhì)量，促進(jìn)騰訊的廣告定位、數(shù)據(jù)定位能力，以及提升許多內(nèi)容生產(chǎn)的效率。因此，通過持續(xù)發(fā)展生成式AI，騰訊將能從多個(gè)方面受益。

　　艾媒咨詢CEO張毅表示，騰訊的姍姍來遲，一方面是因?yàn)椴恍枰�用大模型來刺激股價(jià)，另一方面是現(xiàn)在有正在成長(zhǎng)且發(fā)展較好的產(chǎn)品，如金融服務(wù)、視頻號(hào)等，所以不需要著急跟風(fēng)。至于目前只開放B端不開放C端，或許與自己的產(chǎn)品排隊(duì)有關(guān)，至少騰訊不需要用大模型來招攬C端用戶。同時(shí)，目前國內(nèi)主要還是偏搜索類型的企業(yè)大模型更有需求，大模型對(duì)C端的主要應(yīng)用場(chǎng)景應(yīng)該是搜索的升級(jí)版。其他企業(yè)在C端的機(jī)會(huì)并不大，因此還是在B端，B端應(yīng)用的方向比較多，距離商業(yè)化也相對(duì)近一些。

　　CHIP奇譜科技總編羅國昭認(rèn)為，大模型是近半年來很多科技公司包括創(chuàng)業(yè)公司的新融資方向，一些企業(yè)需要表現(xiàn)出“我有”以及“我有能力”。嗓門大能獲得投資者和輿論的注意，而聲音小要么缺實(shí)力，要么就是有真材實(shí)料已進(jìn)入關(guān)鍵的行業(yè)應(yīng)用，不需要特意發(fā)聲。騰訊本身擁有全國幾乎最大體量的互聯(lián)網(wǎng)用戶及信息資源，再加上多積累半年數(shù)據(jù)，混元大模型無論在B端還是C端都更接近市場(chǎng)需求，更有實(shí)用性。而C端的數(shù)據(jù)規(guī)模、用戶規(guī)模以及可能使用的場(chǎng)景復(fù)雜度都遠(yuǎn)遠(yuǎn)超過B端，這或許是先開放B端的原因。

　　從實(shí)踐中來，到實(shí)踐中去

　　自8月底以來，百度、商湯科技、百川、阿里等多家科技公司均表示，已通過首批《生成式人工智能服務(wù)管理暫行辦法》備案，旗下大模型向全社會(huì)開放，至此，國產(chǎn)大模型將進(jìn)入“百花齊放”時(shí)間，很快將進(jìn)入應(yīng)用場(chǎng)景的比拼。

　　9月5日，在2023百度云智大會(huì)上，百度智能云交出大模型服務(wù)的成績(jī)單：千帆大模型平臺(tái)上月活企業(yè)數(shù)已近萬家，覆蓋金融、制造、能源、政務(wù)、交通等行業(yè)的400多個(gè)場(chǎng)景。

　　百度創(chuàng)始人、董事長(zhǎng)兼首席執(zhí)行官李彥宏表示，模型本身是不直接產(chǎn)生價(jià)值的，基于基礎(chǔ)大模型開發(fā)出來的應(yīng)用才是模型存在的意義，對(duì)于創(chuàng)業(yè)者來說，卷大模型沒有意義，卷應(yīng)用機(jī)會(huì)更大。

　　7月7日，世界人工智能大會(huì)上，阿里云CTO周靖人表示，“模型即服務(wù)”不簡(jiǎn)單指大模型本身或者各種各樣豐富的模型，更重要的是如何讓模型能夠集成，并在各行各業(yè)管理下真正進(jìn)行一系列優(yōu)化，讓模型釋放本身的能力，結(jié)合行業(yè)具體業(yè)務(wù)場(chǎng)景完成業(yè)務(wù)系統(tǒng)智能化。

　　目前，阿里云正在開啟多個(gè)行業(yè)的大模型合作，已公布的通義千問合作伙伴眾多，覆蓋油氣、電力、交通、金融、酒旅、企服、通信等行業(yè)。

　　6月，360集團(tuán)創(chuàng)始人周鴻祎表示，中國市場(chǎng)已進(jìn)入“百模大戰(zhàn)”，將開啟應(yīng)用場(chǎng)景的比拼，誰的大模型具有多模態(tài)的能力，就預(yù)示著真正走上一個(gè)新的臺(tái)階。目前中國大模型在很多方面已經(jīng)趕上了GPT-3.5，追趕GPT-4的速度也超出了想象，中國自研大模型彎道超車的關(guān)鍵就在于多模態(tài)。

　　再看騰訊，大模型技術(shù)積累來自騰訊豐富的應(yīng)用場(chǎng)景，混元大模型經(jīng)過業(yè)務(wù)場(chǎng)景充分磨練，是多次迭代之后的通用技術(shù)底座，能滿足應(yīng)用需要，正所謂從實(shí)踐中來。

　　至于如何到實(shí)踐中去，目前，騰訊云、騰訊廣告、騰訊游戲、騰訊金融科技、騰訊會(huì)議、騰訊文檔、微信搜一搜、QQ瀏覽器等多個(gè)騰訊內(nèi)部業(yè)務(wù)和產(chǎn)品，已經(jīng)接入混元大模型測(cè)試。

　　例如騰訊會(huì)議基于混元大模型打造的AI小助手，只需要簡(jiǎn)單的自然語言指令，就能完成會(huì)議信息提取、內(nèi)容分析等復(fù)雜任務(wù)，會(huì)后還能生成智能總結(jié)紀(jì)要;在文檔處理方面，混元大模型支持?jǐn)?shù)十種文本創(chuàng)作場(chǎng)景，在騰訊文檔推出的智能助手功能中已有應(yīng)用;同時(shí)，騰訊混元還能夠一鍵生成標(biāo)準(zhǔn)格式文本，精通數(shù)百種Excel公式，支持自然語言生成函數(shù)，并基于表格內(nèi)容生成圖表，目前這些功能正在內(nèi)測(cè)階段，將在成熟后面向用戶開放;在廣告業(yè)務(wù)場(chǎng)景，騰訊混元大模型支持智能化的廣告素材創(chuàng)作，能夠適應(yīng)行業(yè)與地域特色，滿足千人千面的需求，實(shí)現(xiàn)文字、圖片、視頻的自然融合。此外，基于混元大模型的能力，廣告智能導(dǎo)購能夠幫助商家在企業(yè)微信等場(chǎng)景，提升服務(wù)質(zhì)量和服務(wù)效率。

　　湯道生表示，千行百業(yè)可以通過API調(diào)用混元，或者將混元作為基底模型，為不同產(chǎn)業(yè)場(chǎng)景構(gòu)建大模型應(yīng)用。目前騰訊已經(jīng)和1萬1千家生態(tài)伙伴展開緊密合作，推出了覆蓋100多個(gè)產(chǎn)業(yè)場(chǎng)景的行業(yè)解決方案，共同服務(wù)千行百業(yè)。去年，生態(tài)伙伴收入占到騰訊云整體收入的三分之一，收入增速是騰訊云增速的4倍。在探索未來的道路上，騰訊愿與伙伴攜手共同探索大模型等全新行業(yè)機(jī)遇，持續(xù)拓展下沉市場(chǎng)。

　　自2018年至今，騰訊累計(jì)研發(fā)投入超過2300億元。

　　另據(jù)全國工商聯(lián)在9月12日發(fā)布的2023中國民營企業(yè)500強(qiáng)調(diào)研分析報(bào)告顯示，從研發(fā)費(fèi)用排名看，排名前十位的500強(qiáng)企業(yè)涉及互聯(lián)網(wǎng)和相關(guān)服務(wù)，汽車制造業(yè)，計(jì)算機(jī)、通信和其他電子設(shè)備制造業(yè)，電氣機(jī)械和器材制造業(yè)等4個(gè)行業(yè)。其中，榜單中研發(fā)投入排名前三的企業(yè)均來自互聯(lián)網(wǎng)行業(yè)，分別為騰訊、阿里巴巴和百度，在2022年度研發(fā)投入分別為614億元、538億元和233億元。

　　盤古智庫高級(jí)研究員江瀚認(rèn)為，部分企業(yè)首批通過備案意味著國產(chǎn)大模型已經(jīng)進(jìn)入了一個(gè)相對(duì)成熟的階段，政策縮緊可能會(huì)對(duì)一些模型的開發(fā)和應(yīng)用造成一定的影響，但是這并不意味著百模、千模大戰(zhàn)不會(huì)到來。隨著技術(shù)的不斷發(fā)展和應(yīng)用場(chǎng)景的不斷拓展，自然語言處理技術(shù)仍然有很大的發(fā)展空間和應(yīng)用前景，因此未來可能會(huì)出現(xiàn)更多的模型和競(jìng)爭(zhēng)。

　　DCCI互聯(lián)網(wǎng)研究院院長(zhǎng)、知名互聯(lián)網(wǎng)學(xué)者劉興亮表示，騰訊有場(chǎng)景方面的優(yōu)勢(shì)，有云計(jì)算基礎(chǔ)設(shè)施方面的加持，也有使用場(chǎng)景的資源，絕對(duì)是大模型的種子選手。大模型自研不僅可以提升技術(shù)實(shí)力，也在推動(dòng)創(chuàng)新和應(yīng)用，提升中國企業(yè)在國際市場(chǎng)上的競(jìng)爭(zhēng)力。國產(chǎn)大模型的長(zhǎng)期價(jià)值將通過多元化的應(yīng)用場(chǎng)景來體現(xiàn)。