ChatGPT限流 生成式大模型觸碰算力天花板？

　　作者:凱蒂

　　編輯：文刀

　　ChatGPT恢復了Plus付費購買，GPT-4又能“花錢”使用了。但有不少用戶發現，最近這個增長最快的對話機器人的響應速度變慢了不少，之前，它還出現過大規模封號和時常掉線的情況。

　　4月5日，ChatGPT Plus付費功能的停擺已經引發外界對AI算力供給不足的擔憂。當前，市面上已經不僅ChatGPT一個文本生成大模型的應用了，同類產品有谷歌的Bard、百度的文心一言，市面上還有圖片、音視頻、3D效果甚至App的生成式AI大模型。

　　多模態大模型井噴式出現，支撐它們的算力還夠嗎?

　　目前，供給主流AI大模型的高性價比芯片是英偉達的A100，從去年開始，英偉達就在向代工廠臺積電下急單，催產多種芯片，其中就包括A100，足見當前AI算力的緊俏。而OpenAI關于GPT-4.5、GPT-5的推出已經列出了時間表。

　　愛丁堡大學超級計算中心馬克·帕森斯的預言正在成真，“算力會成為AI大模型發展的阻礙”，除了高性能芯片量產的局限性之外，還有芯片帶寬的問題亟待解決。

　　ChatGPT暫停付費服務引發算力擔憂

　　“因為需求量太大，我們暫停了升級服務”，這是4月5日ChatGPT停止Plus付費購買功能時給出的理由，當時距離它開通Plus功能僅僅2個月。

　　一天后，ChatGPT又恢復了Plus的訂閱，人們又能以每月20美元的價格享受會員服務了，包括使用最新模型GPT-4、在高峰時段正常訪問、擁有更快的響應速度等等。當有會員用戶感覺，ChatGPT的響應速度變慢了，宕機時總是顯示“Oops”的遺憾聲的頁面越來越頻繁地出現，“服務器跟不上了?”

　　哪怕在停售Plus之前，ChatGPT突然無法使用的情況也大規模地發生過。3月20日，它曾全球性宕機12小時，付費用戶也未能幸免，官方公布的原因是“數據庫遷移”;到了3月30日，有大量亞洲用戶發現被封了號，“用訪問范圍門檻減少訪問量”的懷疑聲出現。

　　降低訪問量的確是ChatGPT研發方Open AI在做的事。近期，該公司多次下調付費用戶的訪問次數，起初，用戶可以每四小時和GPT-4對話100次;不久后，下降到每四小時50次;再之后，變成每三小時25次。但即便如此，社交網絡上仍然有不少人在反饋，ChatGPT掉線的頻率在增加。

　　隨著用戶量的增加，ChatGPT已經暴露出訪問響應速度跟不上的問題，而OpenAI似乎并不打算停止模型的升級。

　　日前，該公司公布了GPT未來版本的規劃，預計在今年9、10月推出GPT-4.5，在今年第四季度推出GPT-5。在種種爆料中，GPT-5的性能相較于GPT-4有著指數級別的進化，擁有在視頻、音頻中讀取信息等神奇能力。

　　人們在佩服OpenAI研發能力的同時，也在擔憂供給GPT模型的“能源”——算力能否跟上的問題。畢竟，需要算力研發AI大模型的，不只OpenAI，還有開發各種多模態大模型的其他公司。而一個文本生成都被ChatGPT限制訪問成那樣，將來音視頻生成，豈不是更費?

　　OpenAI自己也測算過，2012年以來，全球AI訓練的計算量呈指數級增長，每3.43個月就會翻一倍。那么，到底GPT會用掉多少算力?

　　英偉達A100成AI“石油”

　　算力，即計算機處理數據的能力，與數據、算法并成為人工智能的三大基石。而GPT這樣的大語言模型的建立需要大量的計算能力，GPU芯片是主要的算力產出工具。

　　據公開數據，GPT-3具有1750億個參數，45TB的訓練數據，有上萬枚英偉達的A100芯片支撐。如果缺乏足夠的高性能芯片，訓練的效率將大大降低。英偉達和微軟研究院的一篇論文這樣假設，“假設我們在單個GPU中擬合模型，所需的大量計算操作可能導致不實際的超長訓練時間”，而GPT-3在單個V100 英偉達 GPU上估計“需要288年的時間”。 2017年發布的V100顯然已經不夠高效，更具性價比的選擇是A100芯片，售價超1萬美元，性能確實V100的3.5倍。

　　OpenAI并沒有公布GPT-4 的參數規模，外界傳聞的“100萬億參數”已經被該公司CEO山姆·阿爾特曼(Sam Altman)否認，但從研究人員根據前代模型數據的推測和媒體從內部人士獲得的信息看，GPT-4的參數量至少在萬億級別。這也意味著，GPT-4的參數量是GPT-3的10倍以上，相應地，GPT-4的算力需求也在指數級上升。

　　GPT-4上線后，微軟就被傳出GPU數量告急的傳聞。有媒體報道，微軟內部需要用GPU做研究的團隊被告知，想用GPU必須經過特殊渠道申請，因為“公司的大量GPU需要用于支持Bing的最新AI功能和GPT的模型訓練”。

　　對此，微軟負責商業應用程序的副總裁查爾斯·拉馬納(Charles Lamanna)向媒體解釋，“沒有無限量的GPU，如果每個人在每次活動、每個會議上都使用它，那么可能就不夠用了，對吧?”

　　微軟不差錢，也不存在被芯片“卡脖子”的情況，為什么不砸錢“買買買”?事實上，全球芯片量產的種類雖多，OpenAI最需要一種——GPU，而這種芯片主要由英偉達供給。

　　而在GPU市場，英偉達長期占據主導地位。根據Verified Market Research的數據，英偉達在數據中心GPU市場占比超過80%，云端訓練市場占比超過90%，云端推理市場占比60%。

　　英偉達在2020年推出首款安培架構產品A100芯片，目前已經成為人工智能行業最關鍵的工具之一。A100可以同時執行許多簡單的計算，非常適用于進行“推理”或生成文本。無論是開發聊天機器人，還是圖像生成軟件，足夠多數量的英偉達A100都至關重要。

　　Stateof.ai去年發布人工智能發展報告估算了部分大公司和機構擁有的A100數量，其中，開發出AI繪圖軟件Stable Diffusion的的Stability AI擁有4000個A100。按照這個數據對比國內首個類 ChatGPT 模型MOSS，它只用了8個A100，難怪內測時被“擠崩”了。

　　這份報告不包括OpenAI的數據，不過，根據市場調查機構 TrendForce估算，ChatGPT在訓練階段需要2萬塊A100，而日常運營可能需要超過3萬塊。

　　A100儼然AI大模型研發圈的“搶手貨”，英偉達也有意普及，但到了量產環節，全球最大的芯片代工廠臺積電的產能有點跟不上。去年年底和今年一季度，英偉達都給臺積電下了急單，由于芯片的重要部件7nm晶圓片在臺積電的產量固定，因此，產能利用率提升還需要一個爬坡期。

　　B站科技UP主“動動槍”分析，考慮臺積電的生產線和產能相對固定，增開生產線沒那么容易，“英偉達在一段時間內會將主要產能放在專業級GPU上，來滿足企業、云服務商對高算力芯片的需求”。

　　除了算力 還得改善芯片帶寬

　　早在GPT-4發布前，愛丁堡大學超級計算中心EPCC主任馬克·帕森斯(Mark Parsons)已經預言過，算力會成為AI大模型發展的阻礙。

　　帕森斯指出，由于用于訓練系統的最大GPU的內存容量有限，所以需要多個處理器并行運行，但是使用并行運行的處理器也有局限性，因為當GPU超過一定數量，單個GPU的性能會受限制，同時成本也會增加。也就是說，AI芯片的算力會出現類似邊際效用遞減的情況，人們無法靠無限增加芯片來提升算力。

　　此外，帕森斯教授認為，當前AI芯片的帶寬也會成為AI發展的瓶頸，因為帶寬決定了AI芯片每秒鐘可以訪問的數量。

　　“在一個GPU上訓練了一個子集數據后，你必須將數據帶回、共享，并在所有GPU上進行另一次訓練，這需要大量的芯片帶寬”，帕森斯教授說道。而當前最大的挑戰就是“如何改善GPU服務器之間的數據傳輸”。

　　有人向新必應詢問為什么GPT會出現算力不足的現象，它和帕森斯所見略同，也強調了GPU帶寬的重要性：

　　GPT算力不足，主要是因為它的模型規模和數據量都在不斷增長，而現有的數據處理器性能和能效都難以滿足其需求。GPT使用的處理器主要是GPU(圖形處理器)和TPU(張量處理器)，這兩種處理器都是專門為深度學習而設計的，并且具有高度的并行性和矩陣運算能力。然而，隨著GPT模型參數數量的增加，GPU和TPU的內存容量和帶寬都成為了瓶頸，導致訓練效率下降。此外，GPU和TPU的功耗也很高，給電力和散熱帶來了挑戰。因此，GPT需要更高性能和更低功耗的處理器來支持其發展。

　　看上去，當前芯片數量和性能都在限制AI大模型的發展“資源”。而GPT模型的參數量仍在高速增長中，據悉，每18個月左右就會增加10倍，這無疑對全球的算力提出更高的要求。

　　如果ChatGPT真的是因為算力不足而出現限流、宕機的情況，那么，自然語言生成式大模型未來可能會集體觸碰AI發展的天花板。歸根結底，卷來卷去的大模型，最終還得看英偉達等芯片供應商的迭代能力。

　　你使用ChatGPT有發現它變慢了嗎?