報告發現，許多人工智能治理工具存在“錯誤修復”

　　根據世界隱私論壇(World Privacy Forum)的一份新報告，對政府和多邊組織使用的18種人工智能治理工具的審查發現，超過三分之一(38%)的人工智能治理工具包括“錯誤的修復”。也就是說，用于評估和衡量人工智能系統的工具和技術，特別是公平性和可解釋性的工具和技術，被發現存在問題或無效。它們可能缺乏軟件中常見的質量保證機制，和/或包括在原始用例之外使用時“被證明不合適”的測量方法。

　　此外，其中一些工具和技術是由Microsoft，IBM和Google等公司開發或傳播的，這些公司反過來又開發了許多正在測量的人工智能系統。

　　例如，該報告發現，IBM的AI Fairness360工具被美國政府問責局吹捧為“在人工智能使用中納入公平、問責、透明和安全等道德原則的指南”的一個例子。但該報告還發現，構成AI Fairness360“Disparate Impact Remover算法”基礎的研究“在學術文獻中引起了尖銳的批評”。

　　報告的作者之一、世界隱私論壇的創始人兼執行主任帕姆·迪克森表示:“今天大多數使用的AI治理工具都在勉力維持。”她指出的一個主要問題是缺乏質量保證或評估的既定要求。例如，用于去偏巨型系統的AI治理工具可能沒有文檔:“關于它應該用于的上下文，甚至都沒有沖突利益通告的說明。”迪克森解釋道，為一個背景設計的工具可能在“極其不同的背景和‘離標簽使用’”中使用。

　　世界隱私論壇的副主任凱特·凱指出，在歐盟AI法案通過和拜登總統發布AI行政命令之后，現在是審視政府和其他組織開始發布治理工具集的適當時機。她表示:“盡管我們發現了一些問題，但現在是改進整個AI治理生態系統的絕佳時機。”她指出，與法規不同，這些工具是政府實施AI政策的方式，也將是未來實施AI法律和法規(如歐盟AI法案)的重要組成部分。

　　凱提到了一個例子，即即使是出于善意的AI治理努力，也可能因不適當的工具和技術而產生問題。在美國就業法中，四分之三或80%的規則用于評估選擇過程是否對任何特定群體產生不利影響，例如黑人女性與白人男性相比，被雇傭的數量。“它現在以一種去除了其中細微差別的方式被編碼和抽象化，而且在一些AI治理工具中被不適當地使用，”凱解釋道，并指出這一規則已經出現在新加坡、印度和其他國家的私營部門工具中。她強調說，問題在于將有問題的方法嵌入政策中，從而引入新問題。

　　迪克森和凱表示，他們對2024年AI治理工具的改進抱有希望。“經濟合作與發展組織(OECD)是AI治理工具的主要監管機構，”迪克森說。“他們已經表示愿意與我們合作，使情況變得更好，這是一個好兆頭。”此外，國家標準與技術研究院(NIST)也希望參與這項工作:“我們有興趣共同努力，創造一個基于證據的，進行嚴格測試和制定很好程序的評估環境。”

　　她強調說，這并不需要太長時間:“我們相信，通過集中的努力，甚至在六個月內，我們就可以看到AI治理工具領域的有意義的改進。”