IBM推出高效 LLM 基準測試方法，計算成本降低99%

　　IBM 研究發布了一項突破性的 LLM(大型語言模型)基準測試方法，承諾將計算成本降低高達99%。傳統的基準測試，如斯坦福的 HELM，需要耗費超過一天的時間，并且成本高達1萬美元，這對開發人員和研究人員來說是一個昂貴的過程。隨著 LLMs 能力的增強，基準測試的過程變得更加嚴格，需要大量的計算能力和時間。

　　IBM 的創新方法源自以色列的 IBM 研究實驗室，由 Leshem Choshen 領導的團隊開發了一種新方法，大幅降低基準測試的成本。他們并非運行全尺寸基準測試，而是設計了一個使用原始基準測試規模的1% 的 “微型” 版本。令人驚訝的是，這些微型基準測試已被證明幾乎同樣有效，可以在98% 的準確度內估計出全尺寸測試的性能。

　　該團隊利用人工智能從完整基準測試中選擇最具代表性的問題，包含在微小版本中。這種選擇性方法確保較小的基準測試仍然高度預測整體模型性能，消除了不貢獻有意義評估的冗余或無關緊要的問題。

　　IBM 的高效方法引起了 AI 社區的關注，尤其是在2023年 NeurIPS 的高效 LLM 比賽中。面臨使用有限計算資源評估大量模型的挑戰，組織者與 IBM 合作實施了一個名為 Flash HELM 的簡化基準測試。這種高效方法使他們能夠迅速淘汰表現較差的模型，并將計算資源集中在最有前途的候選模型上，從而進行及時和具有成本效益的評估。

　　Flash HELM 的成功展示了 IBM 高效基準測試方法的潛力，促使其在 IBM 的 watsonx 平臺上評估所有 LLMs。成本節約可觀;例如，在像 HELM 這樣的基準測試中評估 Granite13B 模型可能耗費高達1000個 GPU 小時，但使用高效基準測試方法顯著降低了這些成本。

　　高效基準測試不僅降低成本，還通過允許更快速地迭代和測試新算法來加速創新。IBM 研究人員，包括 Youssef Mroueh 在內，指出這些方法使得更快速、更經濟的評估成為可能，促進了更加靈活的發展過程。

　　這一概念已經超出了 IBM 的范疇。斯坦福實施了 Efficient-HELM，這是其傳統基準測試的簡化版本，為開發人員提供了選擇示例數量和希望分配的計算資源量的靈活性。這一做法強調了一個新興共識，即更大的基準測試不一定意味著更好的評估。

　　“大型基準測試不一定通過變得更大而增加價值，”Choshen 說。“這是我們的見解，我們希望它能夠引領更快速、更經濟的 LLM 性能評估方法。”

　　IBM 的高效基準測試方法代表了人工智能領域的重大進步，為評估先進語言模型所需的不斷增加的成本和資源需求提供了實際解決方案。