黃仁勛：我從不在乎市場份額，英偉達唯一目標是創造新市場

　　“這是我聽過的黃仁勛最好的采訪!”

　　英偉達 CEO 黃仁勛的一場爐邊談話再次引起熱議：

　　英偉達從來沒有一天談論過市場份額。

　　我們所討論的只是：如何創造下一個東西?如何將過去需要一年才能完成的飛輪縮短到一個月?

　　面對 Azure 和 AWS 等正在自主構建 ASIC 芯片的云計算大客戶，老黃打了個比喻：

　　公司受到魚塘大小的限制，唯一的目標是用想象力擴大魚塘(指創造新市場)。

　　當然了，除了提及英偉達，老黃還討論了 AGI 的智能擴展、機器學習的加速、推理與訓練的重要性……

　　雖然時長感人(近 1 個半小時)，但一大波網友已經看完并交起了作業(開始卷了是吧!)

　　網友：學起來!學起來!

　　黃仁勛：未來推理的增長將遠大于訓練

　　鑒于視頻較長，量子位先直接給大家劃重點了，老黃的主要觀點包括(省流版)：

　　“口袋里的 AI 助理”將很快以某種形式出現，盡管最初可能會不完美;

　　英偉達的競爭優勢在于建立了從 GPU、CPU、網絡到軟件和庫的全棧平臺;

　　擴展人工智能的重點已從訓練前轉移到訓練后和推理;

　　推理(inference)時計算將作為一個全新的智能擴展向量;

　　未來推理的增長將遠大于訓練的增長;

　　閉源和開源將共存，開源模型可能用于創建特定領域的應用程序;

　　……

　　(以下為重點部分整理)

　　Q：關于個人 AI 助理的發展前景，您認為我們何時能在口袋里裝上一個無所不知的 AI 助理?

　　A：很快就會以某種形式出現。這個助理一開始可能不夠完美，但會隨著時間推移不斷改進，這是技術發展的必然規律。

　　Q：目前 AI 領域的發展變化速度是否是您見過最快的?

　　A：是的，這是因為我們重新發明了計算。在過去 10 年里，我們將計算的邊際成本降低了 10 萬倍，而按照摩爾定律可能只能降低 100 倍。

　　我們通過以下方式實現了這一點：

　　引入加速計算，將原本在 CPU 上效率不高的工作轉移到 GPU 上

　　發明新的數值精度

　　開發新架構 (如張量核心)

　　采用高速內存 (HBM)

　　通過 MVLink 和 InfiniBand 實現系統擴展

　　這種快速發展使我們從人工編程轉向了機器學習，整個技術棧都在快速創新和進步。

　　Q：模型規模擴展方面有哪些變化?

　　A：以前我們主要關注預訓練模型的擴展(重點在模型大小和數據規模)，這使得所需計算能力每年增加 4 倍。

　　現在我們看到后訓練 (post-training) 和推理階段也在擴展。人類的思維過程不可能是一次性完成的，而是需要快思維、慢思維、推理、反思、迭代和模擬等多個環節。

　　而且，以前人們認為預訓練難，推理簡單，但現在都很難了。

　　Q：與 3-4 年前相比，您認為 NVIDIA 今天的優勢是更大還是更小?

　　A：實際上更大了。過去人們認為芯片設計就是追求更多的 FLOPS 和性能指標，這種想法已經過時。

　　現在的關鍵在于整個機器學習系統的數據流水線 (flywheel)，因為機器學習不僅僅是軟件編程，而是涉及整個數據處理流程。從一開始的數據管理就需要 AI 參與。數據的收集、整理、訓練前的準備等每個環節都很復雜，需要大量處理工作。

　　Q：與 Intel 等公司相比，Nvidia 在芯片制造和設計方面有什么不同的策略?

　　A：Intel 的優勢在于制造和設計更快的 x86 串行處理芯片，而 Nvidia 采取不同策略：

　　在并行處理中，不需要每個晶體管都很出色

　　我們更傾向于使用更多但較慢的晶體管，而不是更少但更快的晶體管

　　寧愿有 10 倍數量、速度慢 20% 的晶體管，也不要數量少 10 倍、速度快 20% 的晶體管

　　Q：關于定制 ASIC (如 Meta 的推理加速器、亞馬遜的 Trainium、Google 的 TPU) 以及供應短缺的情況，這些是否會改變與 NVIDIA 的合作動態?

　　A：這些都是在做不同的事情。NVIDIA 致力于為這個新的機器學習、生成式 AI 和智能 Agent 世界構建計算平臺。

　　在過去 60 年里，我們重新發明了整個計算技術棧，從編程方式到處理器架構，從軟件應用到人工智能，每個層面都發生了變革。我們的目標是創建一個隨處可用的計算平臺。

　　Q：NVIDIA 作為一家公司的核心目的是什么?

　　A：構建一個無處不在的架構平臺。我們不是在爭奪市場份額，而是在創造市場。我們專注于創新和解決下一個問題，讓技術進步的速度更快。

　　Q：NVIDIA 對待競爭對手和合作伙伴的態度是什么?

　　A：我們對競爭很清醒，但這不會改變我們的使命。我們向 AWS、Azure 等合作伙伴提前分享路線圖，保持透明，即使他們在開發自己的芯片。對于開發者和 AI 初創公司，我們提供 CUDA 作為統一入口。

　　Q：對 OpenAI 的看法如何?如何看待它的崛起?

　　A： OpenAI 是我們這個時代最重要的公司之一。雖然 AGI 的具體定義和時間點并不是最重要的，但 AI 能力的發展路線圖將會非常壯觀。從生物學家到氣候研究者，從游戲設計師到制造工程師，AI 已經在革新各個領域的工作方式。

　　我非常欣賞 OpenAI 推進這一領域的速度和決心，并為可以資助下一代模型感到高興。

　　Q：您認為模型層是否正在走向商品化，以及這對模型公司的影響是什么?

　　A：模型層正在商品化，Llama 的出現使得構建模型變得更加便宜。這將導致模型公司的整合，只有那些擁有經濟引擎并能夠持續投資的公司才能生存。

　　Q：您如何看待 AI 模型的未來，以及模型與人工智能之間的區別?

　　A：模型是人工智能必不可少的組成部分，但人工智能是一種能力，需要應用于不同的領域。我們將看到模型層的發展，但更重要的是人工智能如何應用于各種不同的應用場景。

　　Q：您如何看待 X 公司，以及他們建立大型超級集群的成就?

　　A：他們在 19 天內(通常需要 3 年)建造了一個擁有 100,000 個 GPU 的超級計算機集群。這展示了我們的平臺的力量，以及我們能夠將整個生態系統集成在一起的能力。

　　Q：是否認為分布式計算和推理擴展將會發展到更大規模?

　　A：是的，我對此非常熱情和樂觀。推理時計算作為一個全新的智能擴展向量，與僅僅構建更大的模型截然不同。

　　Q：在人工智能中，是否很多事情只能在運行時完成?

　　A：是的，很多智能工作不能先驗地完成，很多事情需要在運行時完成。

　　Q：您如何看待人工智能的安全性?

　　A：我們必須構建安全的人工智能，并為此需要與政府機構合作。我們已經在建立許多系統來確保人工智能的安全性，并需要確保人工智能對人類是有益的。

　　Q：你們公司超過 40% 的收入來自推理，推理的重要性是否因為推理鏈而大大增加?

　　A：沒錯，推理鏈讓推理的能力提高了十億倍，這是我們正在經歷的工業革命。未來推理的增長將遠大于訓練的增長。

　　Q：你們如何看待開源和閉源人工智能模型的未來?

　　A：開源和閉源模型都將存在，它們對于不同的行業和應用都是必要的。開源模型有助于激活多個行業，而閉源模型則是經濟模型創新的引擎。

　　本文來自微信公眾號：量子位(ID：QbitAI)，作者：一水