工業(yè)和信息化部等十部門關于印發(fā)《人工智能科技倫理審查與服務辦法（試行）》的通知

　　工業(yè)和信息化部、國家發(fā)改委、教育部、科技部、農業(yè)農村部等十部門4月3日發(fā)布《人工智能科技倫理審查與服務辦法(試行)》。《服務辦法》提出，開展人工智能科技活動應將科技倫理要求貫穿全過程，確保可控可信的人工智能科技倫理原則。

　　人工智能科技倫理審查與服務辦法(試行)

　　第一章 總則

　　第一條 為規(guī)范人工智能科技活動倫理治理，促進公平、公正、和諧、安全和負責任創(chuàng)新，推動人工智能產(chǎn)業(yè)健康發(fā)展，依據(jù)《中華人民共和國科學技術進步法》《關于加強科技倫理治理的意見》《科技倫理審查辦法(試行)》(以下簡稱《倫理辦法》)等法律法規(guī)和相關規(guī)定，制定本辦法。

　　第二條 本辦法所適用的人工智能科技活動是在中華人民共和國境內開展的，可能在人的尊嚴、公共秩序、生命健康、生態(tài)環(huán)境、可持續(xù)發(fā)展等方面帶來科技倫理風險挑戰(zhàn)的人工智能科學研究、技術開發(fā)等活動，以及依據(jù)法律、行政法規(guī)和國家有關規(guī)定需進行人工智能科技倫理審查的其他科技活動。

　　第三條 開展人工智能科技活動應將科技倫理要求貫穿全過程，遵循增進人類福祉、尊重生命權利、堅持公平公正、合理控制風險、保持公開透明、保護隱私安全、確保可控可信的人工智能科技倫理原則，遵守我國憲法、法律法規(guī)和有關規(guī)定。

　　第二章 服務與促進

　　第四條 建立和完善人工智能科技倫理標準體系，推動制定相關國際標準、國家標準、行業(yè)標準、團體標準，支持搭建國際標準化交流合作平臺。鼓勵高等學校、科研機構、醫(yī)療衛(wèi)生機構、企業(yè)和科技類社會團體等參與人工智能科技倫理標準的制定、驗證與推廣。

　　第五條 推進人工智能科技倫理服務體系建設，強化人工智能科技倫理風險監(jiān)測預警、檢測評估、認證、咨詢等服務供給，提升企業(yè)技術研發(fā)和人工智能科技倫理風險防范能力，加大對中小微企業(yè)人工智能科技倫理審查的支持和服務力度，推進人工智能科技倫理國際交流合作。

　　第六條 鼓勵高等學校、科研機構、醫(yī)療衛(wèi)生機構、企業(yè)和科技類社會團體等開展人工智能科技倫理審查研究，支持人工智能科技倫理審查技術創(chuàng)新，強化以技術手段防范人工智能科技倫理風險;促進人工智能科技倫理審查高質量數(shù)據(jù)集有序開源開放，加強通用性風險管理、評估審計工具研發(fā)，探索基于應用場景的科技倫理風險評估評測;推廣符合科技倫理的人工智能產(chǎn)品和服務，保護科技倫理審查技術知識產(chǎn)權。

　　第七條 開展人工智能科技倫理宣傳教育，發(fā)揮科技類社會團體在人工智能科技倫理宣傳教育方面的作用，鼓勵公眾參與，促進實踐示范，提升公眾倫理意識和素養(yǎng)。引導大眾傳播媒介有針對性地進行人工智能科技倫理宣傳教育。

　　第八條 支持高等學校、科研機構、醫(yī)療衛(wèi)生機構、企業(yè)和科技類社會團體等開展人工智能科技倫理相關教育與培訓，推動職業(yè)體系和課程體系建設，采取多種方式培養(yǎng)人工智能科技倫理人才，促進人才交流。

　　第三章 實施主體

　　第九條 從事人工智能科技活動的高等學校、科研機構、醫(yī)療衛(wèi)生機構、企業(yè)等是本單位人工智能科技倫理審查管理的責任主體，應按照《倫理辦法》第四條有關要求，設立人工智能科技倫理委員會(以下簡稱委員會)。委員會應配備必要的工作人員、辦公場所和經(jīng)費等條件，采取有效措施保障委員會獨立開展工作。鼓勵有資質的相關單位開展人工智能科技倫理管理體系相關認證。

　　第十條 委員會章程、組成和委員職責、義務應依照《倫理辦法》第五條至第八條進行。委員會組成應包括人工智能技術、應用、倫理、法律等相應專業(yè)背景的專家。

　　第十一條 地方、相關主管部門可結合實際情況依托相關單位建立專業(yè)性人工智能科技倫理審查與服務中心(以下簡稱服務中心)。服務中心接受其他單位委托，提供人工智能科技活動倫理審查、復核、培訓、咨詢等服務。服務中心不得對同一人工智能科技活動同時提供審查和復核服務。服務中心應建立規(guī)范的管理制度和程序，配備具有人工智能科技倫理審查與服務能力的專職人員，接受地方或相關主管部門監(jiān)督。

　　第四章 工作程序

　　第一節(jié) 申請與受理

　　第十二條 對屬于本辦法第二條所列范圍人工智能科技活動的，人工智能科技活動負責人應向本單位委員會申請，單位未設立委員會或委員會無法勝任科技倫理審查工作要求，向本單位委托的服務中心申請開展科技倫理審查，無單位人員應委托符合要求的服務中心開展科技倫理審查。人工智能科技活動負責人應依照規(guī)定向委員會或服務中心提交申請材料。

　　申請材料主要包括：(一)人工智能科技活動方案，包括研究背景、目的和計劃，所涉及相關機構的合法資質材料、人員情況、經(jīng)費來源，擬采用的算法機制機理，數(shù)據(jù)來源與獲取方式、測試評估方法，擬形成的軟硬件產(chǎn)品，預期應用領域及適用人群等;(二)人工智能科技活動科技倫理風險評估情況、防控及應急處理預案，包括人工智能技術預期應用帶來的潛在科技倫理風險評估，對科技倫理風險的監(jiān)測預警措施，對可能產(chǎn)生科技倫理風險的防控計劃等;(三)遵守人工智能科技倫理和科研誠信等要求的承諾書。

　　第十三條 委員會或服務中心應根據(jù)申請材料決定是否受理申請并通知申請人，決定受理的，應根據(jù)科技倫理風險發(fā)生的可能性和程度、緊急情況等明確適用的一般、簡易或應急程序，根據(jù)不同程序要求采取線下、線上等形式開展科技倫理審查，材料不齊全的應一次性完整告知需補充的材料。

　　第二節(jié) 一般程序與簡易程序

　　第十四條 人工智能科技倫理審查會議由委員會主任委員或其指定的副主任委員主持，到會委員應不少于 5 人，且應包括本辦法第十條所列的不同類別的委員。服務中心可參考委員會的規(guī)定組織實施工作。

　　根據(jù)審查需要，可邀請相關領域不存在直接利益關系的顧問專家等提供咨詢意見。顧問專家不參與會議表決。

　　第十五條 委員會或服務中心開展人工智能科技倫理審查，重點關注以下方面：(一)在人類福祉方面，人工智能科技活動是否具有科學價值、社會價值;研究目標對增進人類福祉、實現(xiàn)社會可持續(xù)發(fā)展等是否具有積極作用;人工智能科技活動的風險是否受益合理。(二)在公平公正方面，訓練數(shù)據(jù)的選擇標準，算法、模型、系統(tǒng)的設計是否合理;是否采取措施防止偏見歧視、算法壓榨，保障資源分配、機會獲取、決策過程的客觀性與包容性。(三)在可控可信方面，是否能夠保障模型、系統(tǒng)的魯棒性，以應對開放環(huán)境、極端情況和干擾性因素;是否能夠保障使用者控制、指導和干預模型、系統(tǒng)的基本操作;是否制定持續(xù)監(jiān)測方案、突發(fā)狀況處理預案。(四)在透明可解釋方面，是否合理披露算法、模型、系統(tǒng)的用途、運行邏輯、交互方式說明、潛在風險等信息;是否采用有效技術手段提升算法、模型和系統(tǒng)的可解釋性。(五)在責任可追溯方面，是否具有日志管理等措施清楚記錄數(shù)據(jù)、算法、模型、系統(tǒng)各個環(huán)節(jié)的充分信息，保障全鏈路可追蹤和管理;科技人員資質是否符合相關要求。(六)在隱私保護方面，數(shù)據(jù)的收集、存儲、加工、使用等處理活動以及研究開發(fā)數(shù)據(jù)新技術等，是否采取充分措施確保隱私數(shù)據(jù)得到有效保護。

　　第十六條 委員會或服務中心應在申請受理后的 30 日內作出批準、修改后再審或不予批準等決定。情況復雜或需要補充、更正材料等特殊情況可適當延長并明確延長時限。

　　對于需要修改或不予批準的，委員會或服務中心應提出修改建議或說明理由。申請人有異議的，應在自決定送達之日起 3 個工作日內向委員會或服務中心提出申訴。申訴理由充分的，委員會或服務中心應在 7 個工作日內重新作出決定。

　　第十七條 人工智能科技活動負責人應及時識別科技倫理風險變化，并將相關變化情況向委員會或服務中心報告。委員會或服務中心依照《倫理辦法》第十九條規(guī)定對審查批準的人工智能科技活動開展跟蹤審查，及時掌握科技倫理風險變化情況，必要時可作出暫停或終止相關科技活動等決定。跟蹤審查間隔一般不超過 12 個月。

　　第十八條 多個單位合作開展人工智能科技活動，可根據(jù)實際情況開展單位間人工智能科技倫理審查結果互認。

　　第十九條 有下列情形之一的可以適用簡易程序：(一)人工智能科技活動倫理風險發(fā)生的可能性和程度不高于日常生活中遇到的常規(guī)風險;(二)對已批準的人工智能科技活動方案作較小修改且不增大風險受益比;(三)前期無重大調整的人工智能科技活動的跟蹤審查。

　　第二十條 委員會或服務中心應制定適用簡易程序審查的工作規(guī)程和跟蹤頻度。簡易程序審查由委員會主任委員指定兩名或兩名以上的委員承擔。服務中心可參考委員會的規(guī)定組織實施工作。

　　簡易程序審查過程中出現(xiàn)審查結果為否定性意見、對審查內容有疑義、委員間意見不一致等情形的，應調整適用一般程序。

　　第三節(jié) 專家復核程序

　　第二十一條 工業(yè)和信息化部、科技部會同有關部門制定發(fā)布 “需要開展科技倫理專家復核的人工智能科技活動清單”(以下簡稱復核清單)，根據(jù)工作需要進行動態(tài)調整。

　　第二十二條 開展納入復核清單的人工智能科技活動，通過委員會或服務中心的初步審查后，由本單位申請開展專家復核。多個單位參與的，由牽頭單位負責申請。中央企業(yè)，中央和國家機關直屬高等學校、科研機構、醫(yī)療衛(wèi)生機構等直接報請相關主管部門組織開展專家復核。其他單位報請地方開展專家復核。

　　第二十三條 人工智能科技活動承擔單位應依照《倫理辦法》第二十七條規(guī)定提交專家復核材料。

　　地方或相關主管部門應依照《倫理辦法》第二十八條至第三十條規(guī)定組織成立復核專家組，對初步審查意見的合規(guī)性、合理性等內容開展復核，在收到復核申請后 30 日內向申請單位反饋復核意見。

　　地方或相關主管部門可委托服務中心具體實施復核工作。

　　第二十四條 委員會或服務中心應根據(jù)專家復核意見作出科技倫理審查決定。

　　第二十五條 委員會或服務中心對納入復核清單的人工智能科技活動加強跟蹤審查，跟蹤審查間隔一般不超過 6 個月。

　　科技倫理風險發(fā)生重大變化的，應依照《倫理辦法》第二十條規(guī)定重新開展相關科技倫理審查并申請專家復核。

　　第二十六條 人工智能科技活動在深度合成、算法推薦、生成式人工智能服務管理等方面實行登記、備案、行政審批等監(jiān)管措施且將符合科技倫理要求作為審批條件、監(jiān)管內容的，可不再開展專家復核。

　　第四節(jié) 應急程序

　　第二十七條 委員會或服務中心應制定人工智能科技倫理應急審查制度，明確突發(fā)公共事件等緊急狀態(tài)下的應急審查流程和標準操作規(guī)程。應急審查一般在 72 小時內完成。對于適用專家復核程序的人工智能科技活動，專家復核前的審查一般在 36 小時內完成。

　　第二十八條 委員會或服務中心應保證科技倫理應急審查的質量與時效，加強跟蹤工作和過程監(jiān)督。必要時，可邀請相關領域顧問專家參會，提供咨詢意見。

　　第五章 監(jiān)督管理

　　第二十九條 科技部負責統(tǒng)籌指導全國科技倫理監(jiān)管工作，工業(yè)和信息化部會同有關部門負責人工智能科技倫理治理工作，加強應急倫理審查的協(xié)調指導。各部門依照職責權限負責本行業(yè)、本系統(tǒng)人工智能科技倫理審查的監(jiān)督管理工作，各地方依照職責權限負責本地區(qū)人工智能科技倫理審查的監(jiān)督管理工作。

　　第三十條 單位應依照《倫理辦法》第四十三條至第四十五條規(guī)定，將委員會相關情況、納入復核清單的人工智能科技活動通過國家科技倫理管理信息登記平臺進行登記，并提交上一年度委員會工作報告、納入復核清單的人工智能科技活動實施情況報告等相關材料。服務中心應依照上述規(guī)定登記并提交上一年度工作報告。

　　科技部與相關主管部門對人工智能科技倫理相關登記信息同步共享。

　　第三十一條 地方、相關主管部門、從事人工智能科技活動的單位應結合本行業(yè)、本系統(tǒng)、本單位的實際情況，暢通能夠反映人工智能科技倫理違法違規(guī)問題的渠道，并按照相關規(guī)定處理。

　　第三十二條 在人工智能科技活動或開展人工智能科技倫理相關工作的過程中，違反本辦法規(guī)定的，依照《中華人民共和國網(wǎng)絡安全法》《中華人民共和國數(shù)據(jù)安全法》《中華人民共和國個人信息保護法》《中華人民共和國科學技術進步法》等法律法規(guī)和相關規(guī)定，進行調查處理，給予相應處罰。

　　第六章 附則

　　第三十三條 本辦法涉及期限的規(guī)定，未標注為工作日的，均為自然日。

　　本辦法所稱 “地方” 是指省級人民政府確定的負責人工智能領域科技倫理審查和管理工作的省級管理部門，“相關主管部門” 是指國務院相關主管部門。

　　第三十四條 地方、相關主管部門可依照本辦法規(guī)定，結合實際情況制定或修訂本地方、本行業(yè)、本系統(tǒng)的人工智能科技倫理的審查與服務辦法、細則等制度規(guī)范。科技類社會團體可制定本領域的人工智能科技倫理審查與服務具體規(guī)范和指南。

　　第三十五條 相關主管部門對本行業(yè)、本系統(tǒng)人工智能科技倫理審查與服務有特殊規(guī)定且符合本辦法精神的，從其規(guī)定。本辦法未作規(guī)定的，依照《倫理辦法》及相關法律法規(guī)的規(guī)定執(zhí)行。

　　第三十六條 本辦法由工業(yè)和信息化部會同有關部門負責解釋。

　　第三十七條 本辦法自印發(fā)之日起施行。