套殼的大模型，為何還活著？

　　國產大模型套殼，是個被吐槽已久的現象。

　　最近，前阿里巴巴副總裁、知名AI框架大牛賈揚清昨日發朋友圈，爆錘國內某大廠套殼大模型LLaMA。

　　大意是：要改就改吧，但別掩耳盜鈴了，免得小公司做一些多余的適配工作……

　　針對這條消息，業內不少人士紛紛猜測，賈揚清所說的那個“套殼大廠”，實際上就是前不久剛發布了Yi-34B大模型的零一萬物。

　　作為李開復AI團隊的*個大模型，Yi-34B有34B個參數，也是基于GPT的架構，且在Hugging Face和C-Eval的兩個開源模型排行榜上，都取得了*的成績。

　　然而，在模型發布后不久，Hugging Face社區就給零一萬物留了條消息，要求其修改模型張量。

　　理由是：除了兩個張量被重新命名外，Yi完全使用了Llama的架構。

　　看到這兒，不少業內人士紛紛皺眉：這是赤裸裸的“套殼”嗎?

　　如果是的話，為什么大模型浪潮都已經過去大半年了，這種“歪風邪氣”還是層出不窮呢?

　　01 怎樣才算“套殼”？

　　實際上，在該事件傳出后不久，零一萬物就做出了回應，他們承認Yi-34B的結構設計是基于GPT的成熟結構，借鑒了LLaMA的公開成果，但是這是為了與行業主流保持一致，更有利于適配和迭代。

　　不過，這種解釋涉及到了個很重要的問題，那就是：到底該怎樣涇渭分明地界定“套殼”和“借鑒”?

　　在開源模型的基礎上進行修改、調整，究竟算不算一種“套殼”行為?

　　從技術層面上來說，判斷一個項目是“借鑒”還是“套殼”，關鍵在于評估所做的改進或優化是否具有實質性和原創性。

　　在借鑒的過程中，開發者會在原有模型的基礎上做出顯著的增值，例如引入新的數據處理技術、優化算法性能，或者開發特定于某個行業或應用的功能。

　　同時，在借鑒時，開發者通常會明確指出，他們的改動是基于哪個開源模型，并說明他們所做的改進和創新。這種做法符合開源社區的原則和精神。

　　相反，如果改動僅限于表面層面，沒有提供任何新的技術見解或實質性的性能改進，則就可以被視為套殼。

　　那這次零一萬物的Yi-34B，算套殼嗎?

　　從已經公布的信息來看，零一萬物公司的做法似乎介于“套殼”和“借鑒”之間。

　　他們確實在一定程度上依賴了LLaMA的架構，但也在數據處理、訓練方法等方面進行了自己的工作和創新。

　　例如，其使用了自建的數據管線，從3PB原始數據中精選到3T token的高質量數據，以及在在網絡寬度和深度上測試了不同的Norm方法。

　　這些改進可能不那么容易從模型的架構或代碼直接觀察到，它們通常在模型的內部，而不是直接體現在模型的基礎架構上。

　　這種情況下，將其完全歸類為“套殼”可能有失公允。

　　但也不能完全視為獨立的“借鑒”，原因在于其模型架構與LLaMA架構的高度相似性。

　　當一個新模型在核心架構上，與現有的開源模型高度相似或幾乎一致時，即使在其他方面有所創新和改進，也很難被完全視為獨立的“借鑒”。

　　02 時間壓力

　　盡管零一萬物此次的意外，或許算不上完全的“套殼”，但國產大模型“套殼”的情況，確實由來已久。

　　國產大模型，為何屢屢“套殼”?

　　除了算力、人才和資金方面的短缺，讓部分團隊“另辟蹊徑”外，另一個重要的原因，就是當前大模型創業的時間窗口，已經收得越來越緊了。

　　畢竟，大模型這股熱潮，已經燃燒了大半年之久，該入局的玩家早已入局，整個行業的格局已經基本形成。

　　頭部大廠的地位撼動，國外同行又不斷推陳出新，留給模型層團隊的時間，真的不多了。

　　在市場上同類大模型越來越多的情況下，客戶為什么要偏偏苦守著一個研發緩慢，前途又不甚明朗的大模型?

　　市場對于快速解決方案的需求迫在眉睫。客戶的需求不能等。他們需要現在就能用的解決方案，而不是幾年后。

　　在這樣的壓力下，部分團隊做出了選擇：使用開源模型作為基礎，對其進行改進和定制，以適應市場的需求。

　　畢竟，即使擁有*人才，創新和自主研發的過程也是漫長且充滿不確定性的。因為人工智能領域正在快速發展和變化，市場和技術的不確定性意味著巨大的研發風險。

　　在今年10月之前，不少國內團隊，都將GPT-4當成“對標”的目標。然而，殊不知你在進，你的對手也在進。

　　9月底，OpenAI推出了DALL-E3，緊接著又推出了GPT-4V和語音交互功能，在多模態層面更上了一層樓。

　　而11月初開發者大會的一系列“王炸”更新，則用更長的文本長度、全新的 Assistants API、以及文本轉語音(TTS)技術，扼殺了想在“局部領域”進行突圍的國產模型。

　　在技術迭代迅速的情況下，許多團隊還在苦苦研發的大模型，也許還沒發布，就已經過時。

　　對于創業團隊來說，在保持技術創新的同時，也要考慮到商業模型的可行性和市場的接受度。

　　而有著成熟框架，且得到市場廣泛認可的開源大模型，無疑成了一種可靠的，可以馬上投入使用的方案。

　　并且，成熟的開源框架通常有一個龐大的社區支持，這意味著團隊在遇到問題時可以獲得更多的幫助。

　　同時，社區中的其他開發者可能已經解決了一些常見問題，團隊可以直接借鑒這些解決方案，避免重復勞動。

　　03 套殼大模型，能投嗎？

　　在國產大模型“套殼”已經成普遍現象，并且將來極有可能成為常態的情況下，所有投資人都不得不面對一個問題，那就是：

　　如果硬是要在這些“套殼”的大模型公司里，物色可投資的企業，那應該怎么選?

　　在考慮這個問題時，有一個非常重要的因素，即：

　　這些套殼的大模型公司，究竟是完全依賴于“套殼”，沒有任何自主研發的努力和計劃，還是以“套殼”作為妥協和過渡手段，但有明確的長期發展計劃，有創新的愿景，有能力最終轉向自主研發?

　　這兩種情況，需要區別對待。

　　在對這兩類企業進行考察時，一個十分重要的衡量標準，就是技術和產品路線圖。

　　因為一個清晰、具有前瞻性的技術和產品路線圖，直接反映了企業的長期戰略意圖和創新能力。它不僅顯示了企業是否有計劃從“套殼”轉向自主研發，還表明了企業未來技術發展的方向和潛在的市場競爭力。

　　實際上，以類似“套殼”的方式進入市場，最后卻依靠自研產品獲得用戶認可的案例，在商業上并不罕見。

　　例如移動互聯網時代的小米，就是一個明顯的例子。

　　起初，小米的智能手機在外界看來，似乎只是模仿了其他品牌(尤其是蘋果)的設計和功能。其早期產品被批評為缺乏創新，更多地依賴于現有的設計和操作系統(基于Android的MIUI系統)。

　　然而，小米后來展示了對自身技術和產品路線圖的長期堅持，其不僅在軟件上(MIUI系統)進行了大量的自主創新，還在硬件設計、功能創新以及用戶體驗上進行了顯著的研發。

　　例如其自主研發的手機芯片Surge S1，就標志著小米在手機核心技術領域的自主創新。

　　隨著時間的推移，小米憑借更多的創新技術，在市場上獲得了極高的評價和廣泛的用戶基礎。

　　同樣地，在當前“套殼”的國產大模型企業中，也不排除存在著一些有著長期技術路線的企業。

　　倘若以這樣的觀點來看，所謂的“套殼”，也并不意味著國產大模型黑暗的前景。

　　從產業的角度來說，只有更多具有創新潛力的企業，從AI浪潮初期的“大過濾器”中幸存了下來，未來更多的自主創新，才可能相繼出現。