《信息技術(shù)-人工智能-風(fēng)險管理指南》ISO∕IEC 23894-2023解讀

《信息技術(shù)-人工智能-風(fēng)險管理指南》ISO∕IEC23894-2023解讀人工智能的誕生和使用可能會徹底改變許多行業(yè)并改善我們的日常生活，但隨著人工智能的使用不斷擴(kuò)大，越來越需要有效的風(fēng)險管理來處理隨之而來的問題，例如算法失敗、決策偏見、道德問題等。風(fēng)險管理的目的在于創(chuàng)造和保護(hù)價值，進(jìn)行風(fēng)險管理有助于提高績效、鼓勵創(chuàng)新及支持目標(biāo)的實(shí)現(xiàn)。2023年2月14日，國際標(biāo)準(zhǔn)組織（InternationalOrganizationforStandardization，以下簡稱“ISO”）

和國際電工委員會（InternationalElectrotechnicalCommittee，以下簡稱“IEC”）聯(lián)合發(fā)布了國際標(biāo)準(zhǔn)《ISO/IEC23894：2023信息技術(shù)-人工智能-風(fēng)險管理指南》（ISO/IEC23894：2023InformationTechnology-ArtificialIntelligence-GuidanceonRiskManagement，以下簡稱“《指南》”），提供了一種全面和積極主動的方法來管理與人工智能相關(guān)的風(fēng)險?！吨改稀窞殚_發(fā)、生產(chǎn)、部署或使用人工智能的產(chǎn)品、系統(tǒng)和服務(wù)的組織如何管理與人工智能具體相關(guān)的風(fēng)險提供了指導(dǎo)，旨在協(xié)助各組織將風(fēng)險管理納入其與人工智能相關(guān)的活動和職能中。《指南》還描述了有效實(shí)施和整合人工智能風(fēng)險管理的流程，以供組織參考?！吨改稀沸枧c《ISO31000：2018風(fēng)險管理標(biāo)準(zhǔn)》（ISO31000：2018RiskManagement–Guidelines，以下簡稱“ISO31000：2018”）一起使用。ISO31000：2018為管理任何類型的風(fēng)險提供了通用方法，而不是僅限于某一行業(yè)或行業(yè)特定的。[1]《指南》則調(diào)整和發(fā)展了ISO31000：2018中所描述的風(fēng)險管理指南和一般原則，更加聚焦于企業(yè)在人工智能領(lǐng)域的風(fēng)險管理工作，描述了一個風(fēng)險管理框架，要求用戶建立背景，并識別、分析、評估、處理、監(jiān)測和審查風(fēng)險，使用戶能夠有效地管理風(fēng)險，以充分利用人工智能的潛力。《指南》主要內(nèi)容包括風(fēng)險管理的原則、框架和流程。此外，《指南》的三個附件還分別介紹了與人工智能相關(guān)的共同目標(biāo)、風(fēng)險來源以及風(fēng)險管理流程和人工智能系統(tǒng)生命周期之間的映射實(shí)例。本文對《指南》的主要內(nèi)容解讀如下[2]：一、風(fēng)險管理的原則《指南》繼續(xù)沿用了ISO31000：2018中關(guān)于風(fēng)險管理的幾個通用原則，并就如何在必要時應(yīng)用這些原則提供了進(jìn)一步的指導(dǎo)。具體而言，風(fēng)險管理原則包括以下八點(diǎn)：（一）整合的風(fēng)險管理是所有組織活動的組成部分。（二）結(jié)構(gòu)化和全面性結(jié)構(gòu)化和全面性的風(fēng)險管理辦法有助于取得一致的和可比較的結(jié)果。（三）定制化風(fēng)險管理框架和流程是根據(jù)本組織與其目標(biāo)相關(guān)的外部和內(nèi)部環(huán)境定制的，并與之相稱。（四）包容性人工智能系統(tǒng)的使用會引入更多的利益相關(guān)者，需要考慮利益相關(guān)者的適當(dāng)且及時的參與，融入他們的知識、觀點(diǎn)和看法，以此提高風(fēng)險意識和知情的風(fēng)險管理。例如利益相關(guān)者可以幫助識別有關(guān)數(shù)據(jù)收集、處理操作、數(shù)據(jù)來源和類型的風(fēng)險，以及在特定情況下或在數(shù)據(jù)主體可能異常的情況下使用數(shù)據(jù)的風(fēng)險；利益相關(guān)者可以幫助確定風(fēng)險管理的目標(biāo)，并為提高人工智能系統(tǒng)透明度和可解釋性提供方法；利益相關(guān)者可以幫助定義人工智能系統(tǒng)自動化決策的公平標(biāo)準(zhǔn)，也可以幫助確定人工智能系統(tǒng)工作中可能出現(xiàn)的偏見。（五）動態(tài)的隨著組織內(nèi)外部環(huán)境的變化，風(fēng)險可能出現(xiàn)、改變或消失。風(fēng)險管理會以適當(dāng)和及時的方式預(yù)測、監(jiān)控、掌握和響應(yīng)這止變化和事件。由于人工智能系統(tǒng)的本質(zhì)就是動態(tài)的——會不斷地學(xué)習(xí)、完善、評估和驗(yàn)證，與人工智能相關(guān)的法律法規(guī)和監(jiān)管要求也在隨之頻繁變化和更新，動態(tài)風(fēng)險管理對于人工智能系統(tǒng)就更加重要了。（六）最佳可用信息風(fēng)險管理的輸入是基于歷史和當(dāng)前的信息以及未來的預(yù)期。風(fēng)險管理應(yīng)明確考慮到與這些信息和預(yù)期相關(guān)的任何限制和不確定性。信息應(yīng)及時地、清晰地提供給相關(guān)的利益相關(guān)方。由于人工智能是一項(xiàng)新興技術(shù)并且在不斷發(fā)展，各組織應(yīng)考慮到歷史信息是非常有限的，未來的預(yù)期可能會迅速改變。各組織應(yīng)考慮人工智能系統(tǒng)的內(nèi)部使用，跟蹤客戶和外部用戶對人工智能系統(tǒng)的使用可能會受到知識產(chǎn)權(quán)、合同或特定市場的限制。（七）人文因素人類行為和文化在每個層次和階段都會對風(fēng)險管理的各個方面產(chǎn)生重大影響。從事人工智能系統(tǒng)設(shè)計、開發(fā)或部署的組織應(yīng)注意監(jiān)測它們所處的人類和文化環(huán)境，應(yīng)重點(diǎn)確定人工智能系統(tǒng)或組件如何與預(yù)先存在的社會模式相互作用，從而導(dǎo)致對公平結(jié)果、隱私、言論自由、公平、安全、保障、就業(yè)、環(huán)境和人權(quán)等方面產(chǎn)生廣泛影響。（八）持續(xù)改進(jìn)從事人工智能系統(tǒng)相關(guān)工作的組織應(yīng)該通過學(xué)習(xí)和經(jīng)驗(yàn)，不斷提高風(fēng)險管理水平。在持續(xù)改進(jìn)過程中，應(yīng)考慮識別與使用人工智能系統(tǒng)有關(guān)的先前未知的風(fēng)險，監(jiān)測人工智能生態(tài)系統(tǒng)的性能成效、缺點(diǎn)和經(jīng)驗(yàn)教訓(xùn)，并保持對新的人工智能研究發(fā)現(xiàn)和技術(shù)的認(rèn)識。二、風(fēng)險管理的框架風(fēng)險管理涉及為組織制定決策和處理風(fēng)險收集相關(guān)信息，而風(fēng)險管理框架的目的是協(xié)助組織將風(fēng)險管理整合到重大活動和職能中。風(fēng)險管理的有效性取決于它能否被整合到組織治理和決策當(dāng)中，這需要利益相關(guān)方，尤其是最高管理層的支持。風(fēng)險管理的框架一般圍繞整個組織中風(fēng)險管理的整合、設(shè)計、實(shí)施、評價和改進(jìn)而展開，具體包括：（一）領(lǐng)導(dǎo)力和承諾在適當(dāng)情況下，高級管理層和監(jiān)督機(jī)構(gòu)應(yīng)確保將風(fēng)險管理納入所有組織活動，并且要有針對性地設(shè)計和實(shí)現(xiàn)框架的所有要素，發(fā)布風(fēng)險管理的方法、計劃或行動方針的聲明或政策，確保為管理風(fēng)險分配必要的資源，在組織內(nèi)相應(yīng)的級別分配權(quán)限和職責(zé)。由于與人工智能的開發(fā)和使用有關(guān)的信任和責(zé)任特別重要，最高管理層應(yīng)考慮發(fā)布與其與人工智能風(fēng)險管理有關(guān)的政策和聲明，以增強(qiáng)其利益相關(guān)方對其使用人工智能的信心。最高管理者也應(yīng)該意識到管理人工智能風(fēng)險所需要的專門資源，并適當(dāng)?shù)胤峙溥@些資源。（二）整合風(fēng)險管理依賴于對組織結(jié)構(gòu)和環(huán)境的理解。結(jié)構(gòu)因組織的目標(biāo)和復(fù)雜性而異。組織結(jié)構(gòu)的每個部分都應(yīng)進(jìn)行風(fēng)險管理，組織中的每個人都有管理風(fēng)險的責(zé)任。組織治理意味著指導(dǎo)組織的發(fā)展過程，其外部和內(nèi)部關(guān)系，以及實(shí)現(xiàn)其目的所需的規(guī)則、流程和實(shí)踐。管理結(jié)構(gòu)將治理方向轉(zhuǎn)換為實(shí)現(xiàn)預(yù)期的可持續(xù)提高績效和長期生存能力所需的戰(zhàn)略和相關(guān)目標(biāo)。確定組織內(nèi)的風(fēng)險管理責(zé)任和監(jiān)督角色是組織治理的組成部分。將風(fēng)險管理集成到組織中是一個動態(tài)的迭代過程，應(yīng)該根據(jù)組織的需求和文化進(jìn)行定制。風(fēng)險管理應(yīng)該是組織目標(biāo)、治理、領(lǐng)導(dǎo)力和承諾、戰(zhàn)略、目標(biāo)和運(yùn)營的一部分，而不是與之相互分離的。（三）設(shè)計在設(shè)計風(fēng)險管理框架時，組織應(yīng)該做到：第一，了解組織本身及其背景，審查并理解其外部和內(nèi)部的環(huán)境。除了基本考量因素外，對于從事人工智能的組織而言，需要考慮的外部環(huán)境因素例如與人工智能相關(guān)的法律要求；政府相關(guān)團(tuán)體、監(jiān)管機(jī)構(gòu)、標(biāo)準(zhǔn)化機(jī)構(gòu)、民間社會、學(xué)術(shù)界和行業(yè)協(xié)會發(fā)布的人工智能和自動化系統(tǒng)道德使用和設(shè)計指南；人工智能各個領(lǐng)域的技術(shù)趨勢和進(jìn)展等。需要考慮的內(nèi)部環(huán)境因素例如組織的目標(biāo)、使命和價值觀；組織治理、結(jié)構(gòu)、角色和責(zé)任；組織戰(zhàn)略、目標(biāo)和政策；組織的文化等。第二，明確風(fēng)險管理承諾。在適當(dāng)?shù)那闆r下，高級管理層和監(jiān)督機(jī)構(gòu)應(yīng)以政策、聲明或其他形式明確地傳達(dá)組織的目標(biāo)和對風(fēng)險管理的持續(xù)承諾。第三，分配組織角色、權(quán)限和職責(zé)。在適當(dāng)?shù)那闆r下，高級管理層和監(jiān)督機(jī)構(gòu)應(yīng)確保在組織各級分配和傳達(dá)有關(guān)風(fēng)險管理的權(quán)限和職責(zé)，強(qiáng)調(diào)風(fēng)險管理是核心責(zé)任，確定有權(quán)處理人工智能風(fēng)險以及負(fù)責(zé)建立和監(jiān)測處理人工智能風(fēng)險的程序的人員。第四，分配資源。在適當(dāng)?shù)那闆r下，高級管理層和監(jiān)督機(jī)構(gòu)應(yīng)確保為風(fēng)險管理分配適當(dāng)資源，同時考慮現(xiàn)有資源的能力和限制。第五，建立溝通和咨詢渠道。為支持風(fēng)險管理的框架，并促進(jìn)風(fēng)險管理的有效應(yīng)用，組織應(yīng)建立溝通和咨詢的渠道。溝通包括與目標(biāo)受眾共享信息。咨詢包括參與者期望對決策或其他活動作出貢獻(xiàn)，以便更好地提供反饋信息。溝通和咨詢的方法和內(nèi)容應(yīng)反映相關(guān)利益相關(guān)方的期望。溝通和咨詢應(yīng)當(dāng)及時進(jìn)行，確保相關(guān)信息的收集、整理、匯總和共享，提供反饋意見并改進(jìn)。（四）實(shí)施組織實(shí)施風(fēng)險管理框架的方式如下：制定適當(dāng)?shù)挠媱?，包括時間計劃和資源配置計劃；確定整個組織在什么地點(diǎn)、什么時間、由誰進(jìn)行不同類型的決策：必要時修改決策流程以適用；確保組織的風(fēng)險管理安排被清楚地理解和實(shí)施。（五）評價組織應(yīng)該根據(jù)目標(biāo)、實(shí)施計劃、指標(biāo)和預(yù)期行為，定期衡量風(fēng)險管理框架的績效，評估風(fēng)險管理框架的有效性，確定它是否仍然適合支持本組織目標(biāo)的實(shí)現(xiàn)。（六）改進(jìn)組織應(yīng)持續(xù)監(jiān)控和調(diào)整風(fēng)險管理框架，以應(yīng)對內(nèi)外部的變化。組織應(yīng)不斷改進(jìn)風(fēng)險管理框架的適用性、充分性和有效性，以及風(fēng)險管理流程的整合方式．三、風(fēng)險管理的流程由于人工智能技術(shù)具有潛在復(fù)雜性、不可預(yù)測性以及缺乏透明度，應(yīng)特別考慮人工智能系統(tǒng)項(xiàng)目層面的風(fēng)險管理過程。項(xiàng)目級風(fēng)險管理過程的范圍、背景和標(biāo)準(zhǔn)直接受到項(xiàng)目范圍內(nèi)的人工智能系統(tǒng)生命周期的影響。一般而言，風(fēng)險管理流程包括系統(tǒng)地將政策、程序和實(shí)踐應(yīng)用于溝通和咨詢活動，建立環(huán)境和評估、處理、監(jiān)測、審查、記錄和報告風(fēng)險。在整個風(fēng)險管理流程中，都應(yīng)考慮到人類行為和文化的動態(tài)性和變化性，盡管風(fēng)險管理流程通常表現(xiàn)為有一定的順序性，但在實(shí)踐中流程步驟可以是循環(huán)反復(fù)的。（一）溝通和咨詢溝通和咨詢的目的是為了幫助利益相關(guān)方理解風(fēng)險、明確決策依據(jù)以及需要采取特定行動的原因。溝通旨在提高對風(fēng)險的認(rèn)識和理解，而咨詢涉及到獲得反饋和信息以支持決策，兩者之間的密切協(xié)調(diào)可以促成真實(shí)、及時、相關(guān)、準(zhǔn)確和可理解的信息交流，同時需要考慮到信息的保密性、完整性以及個人的隱私權(quán)。在風(fēng)險管理流程的所有步驟中以及整個過程中，應(yīng)與適當(dāng)?shù)耐獠亢蛢?nèi)部利益相關(guān)方進(jìn)行溝通和咨詢。（二）范圍、環(huán)境和標(biāo)準(zhǔn)確定范圍、環(huán)境和標(biāo)準(zhǔn)的目的是有針對性地設(shè)置風(fēng)險管理流程，從而實(shí)現(xiàn)有效的風(fēng)險評估和怡當(dāng)?shù)娘L(fēng)險應(yīng)對。范圍、環(huán)境和標(biāo)準(zhǔn)涉及到界定流程的范圍，以及對外部和內(nèi)部環(huán)境的理解。對于人工智能組織來說，人工智能風(fēng)險管理的范圍、風(fēng)險管理過程的背景還有評價風(fēng)險重要性以支持決策過程的標(biāo)準(zhǔn)應(yīng)擴(kuò)大到確定組織內(nèi)正在開發(fā)或使用人工智能系統(tǒng)的地方。這種人工智能開發(fā)和使用的清單應(yīng)被記錄下來，并納入組織的風(fēng)險管理過程。對人工智能組織而言，需要考慮的外內(nèi)部環(huán)境因素包括但不限于：人工智能系統(tǒng)是否會損害人類、剝奪基本服務(wù)（如果中斷，將危及生命、健康或人身安全）或侵犯人權(quán)（例如不公平和有偏見的自動決策）或助長環(huán)境損害；外部和內(nèi)部對本組織社會責(zé)任的期望；外部和內(nèi)部對組織環(huán)境責(zé)任的期望等。由于風(fēng)險管理系統(tǒng)潛在影響的巨大，組織在形成和建立風(fēng)險管理過程的背景時，應(yīng)特別注意其利益相關(guān)者的環(huán)境，應(yīng)注意考慮形成一份利益相關(guān)者名單。組織應(yīng)明確與目標(biāo)相關(guān)的可能發(fā)生或不發(fā)生的風(fēng)險的數(shù)量和類型，還應(yīng)該定義評估風(fēng)險重要性和支持決策過程的標(biāo)準(zhǔn)。風(fēng)險標(biāo)準(zhǔn)應(yīng)與風(fēng)險管理框架保持一致，并根據(jù)具體活動的具體目的和范圍進(jìn)行有針對性的設(shè)計。風(fēng)險標(biāo)準(zhǔn)應(yīng)反映組織的價值觀、目標(biāo)和資源，并與風(fēng)險管理的政策和聲明保持一致。風(fēng)險標(biāo)準(zhǔn)的定義應(yīng)該考慮到組織的義務(wù)和利益相關(guān)方的觀點(diǎn)。（三）風(fēng)險評估風(fēng)險評估是風(fēng)險識別、風(fēng)險分析和風(fēng)險評價的整個過程。風(fēng)險評估應(yīng)該借鑒利益相關(guān)方的知識和觀點(diǎn)，以系統(tǒng)、迭代且協(xié)作的方式開展，它應(yīng)使用現(xiàn)有的最佳資料，并在必要時輔以進(jìn)一步調(diào)查。風(fēng)險識別包括對資產(chǎn)及其價值、風(fēng)險源、潛在事件和結(jié)果、控制措施和后果的識別。風(fēng)險分析的目的是理解包括適當(dāng)?shù)娘L(fēng)險水平在內(nèi)的風(fēng)險性質(zhì)及其特征。風(fēng)險分析涉及對不確定性、風(fēng)險來源、后果、可能性、事件、場景、控制及其有效性的詳細(xì)考慮。風(fēng)險分析包括后果評估（包括業(yè)務(wù)影響評估、個人影響評估和社會影響評估）和可能性評估。風(fēng)險評價的目的是支持決策。風(fēng)險評價涉及將風(fēng)險