AI 的“心智理論”難題：Meta ExploreToM 探索突破之路

　　Meta 公司攜手華盛頓大學和卡內基梅隆大學，組建科研團隊，合作開發了 ExploreToM 框架，旨在更有效地評估和訓練大語言模型(LLM)的心智理論(Theory of Mind，ToM)能力。

　　心智理論

　　心智理論(Theory of Mind，ToM)是人類社會智能的基礎之一，能讓我們能夠理解他人的想法、意圖和信念。這種認知能力對于有效的溝通和協作至關重要，是復雜社交互動的支柱。

　　讓 AI 也具備 ToM 能力，對于創建能與人類無縫互動的智能體至關重要，只是當前大型語言模型(LLM)在 ToM 方面仍面臨巨大挑戰。

　　現有的基準通常缺乏復雜性和多樣性，導致高估模型能力。例如，許多基準測試基于簡單的預定義場景，無法復制人類用來推斷心理狀態的復雜推理。

　　ExploreToM 框架

　　ExploreToM 通過生成多樣化、可擴展的對抗性數據集，為提升 AI 的 ToM 能力奠定了堅實基礎。該研究強調了當前模型的局限性，以及高質量訓練數據對于彌合這些差距的潛力。

　　在數據集方面，ExploreToM 利用 A* 搜索算法和特定領域語言生成多樣化、高難度的測試數據集，模擬復雜的社會情景，挑戰 LLM 的認知極限。

　　ExploreToM 與現有基準測試不同，通過創建對抗性故事場景，旨在揭示 LLM 在 ToM 推理中的盲點。

　　此外該框架還引入了非對稱信念更新機制，可以模擬不同角色對同一情況持有不同觀點的復雜社交互動。

　　主流模型測試效果

　　GPT-4o 和 Llama-3.1-70B 模型在 ExploreToM 數據集上的準確率分別只有 9% 和 0%，凸顯了現有 LLM 在處理復雜 ToM 推理方面的不足。

　　在 ExploreToM 數據上進行微調后，模型在經典 ToMi 基準測試中的準確率提高了 27 個百分點，證明了該框架的有效性。