谷歌內部文件顯示：鷸蚌相爭，開源得利

　　5月5日消息，曾幾何時，谷歌一度被業界認定為 AI 行業的領先者，其2017 年率先發布 Transformer 奠定了 大語言模型 LLM 的基石，2021 年聊天機器人 LaMDA 的亮相更是一度驚艷圈內。

　　不曾想，最終搶得先機的卻是 OpenAI 這匹“黑馬”，而谷歌反倒從 AI 領域的“老大哥”淪為了被動的“追趕者”。究竟誰會最終贏得這場 AI 大戰，是谷歌還是OpenAI?

　　近來在 Discord 群組由匿名人士泄露的一份谷歌內部文件給出了第三個可能：“我們沒有贏得這場競爭，OpenAI 也沒有。當我們還在爭吵時，第三個方已經悄悄地搶了我們的飯碗——開源。”

　　據CSDN報道，開源正在超越谷歌和 OpenAI，這兩家所認為的“主要開放問題”如今已經解決，并已投入使用。雖然兩家的模型當下在質量方面仍略勝一籌，但差距正在驚人地縮小。開源模型更快、更可定制、更私密，能力也更強大。

　　開源能用 100 美元和 13B 參數做到谷歌和 OpenAI 花費 1000 萬美元和 540B 參數都難以達成的事情。而且只需要幾周就能完成任務，而不是幾個月。

　　當免費、無限制的替代品在質量上相當時，人們不會為一個受限制的模式付費。谷歌應該考慮自己的附加值究竟在哪里。

　　從長遠來看，最好的模型是可以快速迭代改進的模型。現在，既然知道了 20B 參數范圍內可能實現什么，小變體就不應再被視為事后補救措施了。

　　3月初，開源社區得到了他們的第一個真正有能力的基礎模型——Meta 的 LLaMA 模型被意外泄露了。它沒有指令或對話調整，也沒有 RLHF (人類反饋強化學習)。

　　隨后，巨大的創新涌現出來，在短短不到一個月的時間里，已經出現了具備指令調整、量化、質量改進、人類評估、多模態和 RLHF 等變體，其中許多都是相互建立的。

　　最重要的是，開源社區解決了擴展問題，在一定程度上任何人都可以進行實驗。許多新想法來自普通人，培訓和實驗門檻從主要研究機構總產出降至一個人、一個晚上和一臺強大的筆記本電腦。

　　據了解，目前開源 LLM 的復興是緊隨圖像生成的復興而來的，許多人稱其為 LLM 的“Stable Diffusion(開源文本生成圖像模型) 時刻”。

　　在兩種情況下，低成本公共參與得以實現，原因是有了名為低秩適應(LoRA)的大幅度降價機制，并結合規模上的重大突破。在這兩種情況下，獲得足夠高質量模型啟動了世界各地個人和機構涌現出一系列想法和迭代。

　　這些貢獻在圖像生成領域非常關鍵，使 Stable Diffusion 走上了與 Dall-E (OpenAI基于Transformer的語言模型，可根據文本生成圖像)不同的道路，使其擁有一個開放的模式，導致了產品整合、市場、用戶界面和創新，而這些都是 Dall-E 沒有的。

　　其效果可想而知：文化影響力迅速占據主導地位，OpenAI 解決方案變得越來越無關緊要。同樣的事情是否會發生在 LLM 上還有待觀察，但廣泛的結構元素是相同的。

　　LoRA 更新非常便宜(約 100 美元)，這意味著幾乎任何有想法的人都可以生成并分發一個。訓練時間少于一天是正常的，在這種速度下，所有這些微調的累積效應不需要很長時間就可以克服開始時的劣勢。

　　事實上，就工程師時間而言，這些模型的改進速度遠遠超過了谷歌所能做到的，而且最好的模型已經與 ChatGPT 基本沒有區別了。專注于維護全球一些最大規模的模型實際上會使谷歌處于不利地位。

　　對此，得克薩斯大學奧斯汀分校教授Alex Dimakis認為，開源 AI 正在取得勝利，對于全世界來說這是件好事，對于構建一個有競爭力的生態系統來說也是好事。