全面超越LLaMA2，月下載量超三百萬，國產開源大模型如何成為新晉頂流？

　　本文來自于微信公眾號 機器之心(ID:almosthuman2014)，作者:蛋醬。

　　回想兩個月前，LLaMA2的開源，曾以一己之力改變了大模型領域的競爭格局。

　　相比于今年2月推出的第一代 LLaMA，LLaMA2在推理、編碼、精通性和知識測試等任務中都實現了性能的大幅提升，甚至可以在某些數據集上接近 GPT-3.5。由于其強大的性能和開源的特質，LLaMA2在發布后的一周內就接收到了超過15萬次的下載請求，并吸引了大量開發者進行「二創」。

　　但大模型技術的進化速度經常超乎預期。一覺醒來，發現大模型的性能上限被再次刷新，這在最近是經常發生的事情。

　　近期就有一位「選手」，在開源大模型社區的關注度不斷攀升，逐漸超越 LLaMA2成為了新晉頂流。

　　在 Huggingface 社區，「Baichuan」系列是過去一個月下載量全球最高的開源大模型，它來自一家成立僅五個月的中國公司 —— 百川智能。

　　在 ChatGPT 爆火之初，王小川即宣布入局大模型，并迅速組建起大模型技術團隊。自成立以來，這家公司保持了平均每月更新一款大模型的驚人節奏:6月15日，發布 Baichuan-7B;7月11日，發布 Baichuan-13B;這兩款免費可商用的中文開源大模型之后，8月8日，搜索增強大模型 Baichuan-53B 面世。

　　9月6日，百川智能又一次宣布了重量級更新:Baichuan2-7B、Baichuan2-13B 的 Base 和 Chat 版本同時開源，并提供了 Chat 版本的4bits 量化，且均為免費可商用。

　　平均28天發布一款大模型，這是國產開源大模型的迭代速度，也代表了中國開源力量迎頭趕上的決心。

　　迄今，Baichuan-7B 和 Baichuan-13B 這兩款開源大模型目前的下載量已經突破500萬，其中近一個月的下載量就有300多萬。除開發者之外，也有200多家企業申請部署開源大模型。

　　未來的大模型競爭格局中，誰能占據核心地位仍是未知。但不難想象的是，既已實現對 LLaMA2的超越，再加上驚人的迭代速度，國產開源大模型的黃金時代應該不遠了。

　　Baichuan2下載地址:https://github.com/baichuan-inc/Baichuan2

　　國產開源大模型，全面趕超 LLaMA2

　　讓整個領域感到驚訝的不只是「Baichuan」系列的更新速度，還有其迭代后的模型能力。

　　曾曝光 GPT-4技術細節的軟件開發者、Kaggle大神、 Deep trading 創始人 Yam Peleg 通讀了 Baichuan2的技術報告，直言這是一次相當重大的改進。

　　他特別提到一點:「就像 GPT-4的報告一樣，團隊在訓練開始前就預測了最終損失。為此，他們訓練了從1千萬到3億的小模型，并根據這些模型的損失預測了大模型的最終損失。據我所知，這是首個能夠復制這一程序的開源模型。」

　　基于上一代 Baichuan 大模型，Baichuan2保留了良好的生成與創作能力、流暢的多輪對話能力以及部署門檻較低等眾多特性，同時實現了數學、代碼、安全、邏輯推理、語義理解等能力的大幅提升。

　　根據公開的 Baichuan2技術報告，Baichuan2-7B-Base 和 Baichuan2-13B-Base 均基于2.6萬億高質量多語言數據進行訓練，數據來源十分廣泛:

　　同時，Baichuan2建立了一個可在數小時內對萬億規模的數據進行聚類和重復數據刪除的系統，提升了預訓練中數據采樣的質量。

　　此外，Tokenizer 需要平衡提高推理效率的高壓縮率以及適當大小的詞匯量，以確保每個詞嵌入的充分訓練。在 Baichuan2的訓練中，詞匯量從 Baichuan1的64，000個擴大到了125，696個。

　　這些方法，最終使得 Baichuan2在計算效率和模型性能之間取得了更好的平衡。

　　在 MMLU、CMMLU、GSM8K 等多項權威基準上，Baichuan2均以絕對優勢領先 LLaMA2。

　　如表5所示，在法律領域，Baichuan2-7B-Base 超越了 GPT-3.5Turbo、ChatGLM2-6B 和 LLaMA2-7B 等模型，僅次于 GPT-4，與 Baichuan1-7B 相比提高了近30%;在醫療領域，Baichuan2-7B-Base 的表現明顯優于 ChatGLM2-6B 和 LLaMA2-7B，與 Baichuan1-7B 相比也有顯著提高。同樣，在這兩個領域，Baichuan2-13B-Base 則超越了同尺寸所有模型。

　　如表6所示，在數學領域，Baichuan2-7B Base 超越了 LLaMA2-7B 等模型，Baichuan2-13B-Base 超越了所有相同規模的模型，接近 GPT-3.5Turbo 的水平;在代碼領域，Baichuan2-7B Base 超越了同等規模的 ChatGLM2-6B 等模型，Baichuan2-13B-Base 優于 LLaMA2-13B 和 XVERSE-13B 等模型。

　　盡管 GPT-4在多語言領域仍占主導地位，但開源模型正緊追不舍。如表7所示，在多語言場景的任務評估中，Baichuan2-7B-Base 在所有七項任務中都超過了所有同等規模的模型;Baichuan2-13B 在四項任務中的表現優于相同規模的模型，其中在 zh-en 和 zh-ja 任務上超過了 GPT3.5Turbo，達到了 GPT-4的水平。

　　更適合中國開發者的國產開源大模型

　　對于中國的眾多開發者來說，Baichuan2的開源是一個令人振奮的好消息。

　　這就要提到 LLaMA2的「開源爭議」。Meta 官宣的第二天，便有開發者拋出質疑:LLaMA2不屬于真正的「開源」，所謂的「可商用協議」本質上附加了許多限制。首先，Llama2的語料庫以英文(89.7%)為主，中文僅占據其中0.13%，因此在中文場景任務中并不占優勢。其次，Llama2在協議中明確禁止非英文場景的商用。

　　Baichuan2的能力完全可以與 LLaMA2相媲美，甚至超越。而且在「免費商用」這件事上，Baichuan2實踐得更加徹底，彌補了中國開源生態的短板，讓中國開發者用上了對中文場景更友好的開源大模型。Baichuan2-7B 和 Baichuan2-13B 不僅對學術研究完全開放，企業也僅需郵件申請獲得官方商用許可后，即可免費商用。

　　更具備長期價值的一點是，這次徹底的、完全的開源，能夠幫助大模型學術機構、開發者和企業用戶更深入的了解 Baichuan2的訓練過程，推動社區對大模型學術層面的深入研究。

　　從理論研究的角度，大模型訓練包含海量高質量數據獲取、大規模訓練集群穩定訓練、模型算法調優等多個環節。每個環節都需要大量人才、算力等資源的投入。由于大部分開源模型只能做到對外公開自身模型權重，卻很少提及訓練細節，所以企業、研究機構、開發者們只能自己摸索著訓練模型，或是在開源模型的基礎上做有限的微調，很難深入。LLaMA2也是一樣，最受關注的「數據處理」層面恰恰沒有開源，因此參考意義有限。

　　但在總共28頁的 Baichuan2技術報告中，團隊詳細介紹了 Baichuan2訓練的全過程，包括數據處理、模型結構優化、Scaling law、過程指標等關鍵細節。

　　本著協作和持續改進的精神，百川智能還公布了3000億到2.6萬億 Token 模型訓練的 checkponits，供社區研究使用:

　　就當前的開源生態來說，這種公布訓練模型過程的方式稱得上「首次」。

　　這些技術細節的開放，對于科研機構研究大模型訓練過程、模型繼續訓練和模型的價值觀對齊等極具價值，將極大推動國內大模型的科研進展。

　　「開源」與「閉源」:相互競爭，相互促進

　　在這場由 ChatGPT 打響的大模型競賽中，「開源」與「閉源」之爭已經上演。正如今年5月的一篇「谷歌內部文章」所說，「谷歌、OpenAI 沒有護城河」，由一兩家科技公司構建和維護的技術高墻總會被打破，開源的力量將使得大模型技術真正易用和可用。

　　而且這種競爭態勢將長期存在:今后的大模型格局中，「開源」與「閉源」最終會并駕齊驅，如同手機操作系統領域的 iOS 和 Android。不斷刷新的模型性能、率先實現「免費商用」、更加全面的社區生態，都是開源大模型能獲得更多開發者支持的優勢所在。

　　縱觀當前的開源大模型，達到 GPT3.5的水平已經不再是難題，大家正在探索的重點已經變為如何實現 GPT-4的水準。比如，前段時間1800億參數的阿聯酋大模型 Falcon 發布，迅速在 Hugging Face 開源大模型榜單上以68.74分超過 LLaMA2位列第一;傳聞中，Meta 也在加快開發新的大語言模型，各項能力對標 GPT-4，預計明年就會推出。

　　開源大模型的不斷進步、相互促進，對整個行業的影響是積極的。未來，開發者和中小企業可以以低成本調用先進的大模型，而不必被高昂的研發、采購成本拒之門外。

　　百川智能自成立之初，就將通過開源方式助力中國大模型生態繁榮作為公司的重要發展方向，并在激烈的競爭態勢中確立了自己的目標:2023年內還將發布千億參數大模型，并在明年一季度推出 「超級應用」。

　　基于行業領先的基礎大模型研發和創新能力，百川智能收獲了行業的高度認可:最新開源的兩款 Baichuan2大模型已經得到了上下游企業的積極響應，騰訊云、阿里云、火山方舟、華為、聯發科等眾多知名企業均與百川智能達成了合作。

　　前段時間，首批大模型公眾服務牌照正式落地。在今年創立的大模型公司中，百川智能也是唯一一家通過《生成式人工智能服務管理暫行辦法》備案，可以正式面向公眾提供服務的企業。

　　而 Baichuan 系列大模型的開源，將匯聚社區中更多的創新力量，加速技術的迭代與應用的拓展。

　　技術的進步只是第一階段，未來，大模型還需要走到產業中去，與各行各業的業務實踐相結合。如何讓大模型的能力與業務場景更好結合，同樣是當下每一家大模型提供商的重點課題，也需要科技公司、學術機構和開發者共同創造。