ISOIEC38507-2022信息技術(shù)-IT治理-組織使用人工智能的治理影響（中文版-雷澤佳譯2024）

ISO/IEC38507：2024引言本文件的目的是為正在使用或考慮使用人工智能（AI）的組織的治理機(jī)構(gòu)提供指導(dǎo)。本文件就治理機(jī)構(gòu)在其組織內(nèi)部使用人工智能的作用提供指導(dǎo)，并鼓勵(lì)各組織采用適當(dāng)?shù)臉?biāo)準(zhǔn)來(lái)支撐其對(duì)人工智能使用的治理。本文件在必要范圍內(nèi)闡述了人工智能的性質(zhì)和機(jī)制，以便理解其使用帶來(lái)的治理影響：使用人工智能會(huì)帶來(lái)哪些額外的機(jī)會(huì)、風(fēng)險(xiǎn)和責(zé)任？重點(diǎn)在于組織使用人工智能的治理（由人類(lèi)執(zhí)行），而不是構(gòu)成任何人工智能系統(tǒng)的技術(shù)。然而，這種治理需要對(duì)技術(shù)的影響有所了解。人工智能（AI）人工智能涵蓋了一系列技術(shù)，這些技術(shù)將計(jì)算能力、可擴(kuò)展性、網(wǎng)絡(luò)、連接設(shè)備和接口以及海量數(shù)據(jù)融為一體。本文件中提及的“人工智能”旨在指代一整套技術(shù)和方法，而不是任何特定的技術(shù)、方法或應(yīng)用。有關(guān)人工智能的概念和術(shù)語(yǔ)，參見(jiàn)ISO/IEC22989。人工智能的使用本文件中，“人工智能的使用”被定義為從最廣義上講，通過(guò)人工智能系統(tǒng)生命周期的任何部分開(kāi)發(fā)或應(yīng)用該系統(tǒng)，以實(shí)現(xiàn)目標(biāo)并為組織創(chuàng)造價(jià)值。這包括與提供或使用此類(lèi)系統(tǒng)的任何方的關(guān)系。使用人工智能的治理影響本文件的范圍涉及組織使用人工智能的影響。與任何強(qiáng)大的工具一樣，使用人工智能會(huì)帶來(lái)新的風(fēng)險(xiǎn)和責(zé)任，使用它的組織應(yīng)予以解決。人工智能本身并非“好”或“壞”“公平”或“有偏見(jiàn)”“符合道德”或“不符合道德”，盡管其使用可能是這樣或似乎是這樣。組織的宗旨、道德準(zhǔn)則和其他指導(dǎo)原則在其方針中得到了正式或非正式的體現(xiàn)。本文件對(duì)治理和組織方針及其應(yīng)用進(jìn)行了審查，并就如何調(diào)整這些方針和應(yīng)用以使用人工智能提供了指導(dǎo)。方針的運(yùn)營(yíng)方面由管理層實(shí)施。本文件提及了其他標(biāo)準(zhǔn)，其中詳細(xì)說(shuō)明了包括社會(huì)責(zé)任、可信度（如風(fēng)險(xiǎn)管理、偏見(jiàn)管理和質(zhì)量）以及合規(guī)管理等在內(nèi)的相關(guān)主題。信息技術(shù)-信息技術(shù)治理-組織使用人工智能的治理影響范圍本文件為組織的治理機(jī)構(gòu)成員提供指導(dǎo)，以啟用和治理人工智能（AI）的使用，從而確保其在組織內(nèi)部得到有效、高效和可接受的應(yīng)用。本文件還為更廣泛的群體提供指導(dǎo)，包括：高級(jí)管理人員；外部企業(yè)或技術(shù)專(zhuān)家，如法律或會(huì)計(jì)專(zhuān)家、零售或工業(yè)協(xié)會(huì)或?qū)I(yè)機(jī)構(gòu)；公共當(dāng)局和政策制定者；內(nèi)部和外部服務(wù)提供商（包括顧問(wèn)）；評(píng)估人員和審核人員。本文件適用于當(dāng)前和未來(lái)人工智能使用的治理，以及此類(lèi)使用對(duì)組織本身的影響。本文件適用于任何組織，包括公共和私營(yíng)公司、政府實(shí)體和非營(yíng)利組織。本文件適用于任何規(guī)模的組織，無(wú)論其是否依賴(lài)于數(shù)據(jù)或信息技術(shù)。規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅注日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。ISO/IEC22989:2022信息技術(shù)人工智能人工智能概念和術(shù)語(yǔ)ISO/IEC38500:2015信息技術(shù)—組織的IT治理術(shù)語(yǔ)和定義本文件采用ISO/IEC22989和ISO/IEC38500中給出的術(shù)語(yǔ)和定義。ISO和IEC在以下地址維護(hù)用于標(biāo)準(zhǔn)化的術(shù)語(yǔ)數(shù)據(jù)庫(kù)：ISO在線(xiàn)瀏覽平臺(tái)：/obrIEC在線(xiàn)電工術(shù)語(yǔ)庫(kù)：/與人工智能相關(guān)的術(shù)語(yǔ)人工智能的使用useofAI通過(guò)人工智能系統(tǒng)生命周期的任何部分開(kāi)發(fā)或應(yīng)用該系統(tǒng)，以實(shí)現(xiàn)組織的目標(biāo)。此術(shù)語(yǔ)的范圍限定于與人工智能相關(guān)的任何可能具有治理影響的行動(dòng)或活動(dòng)。與治理相關(guān)的術(shù)語(yǔ)監(jiān)督oversight監(jiān)視組織方針和治理方針的實(shí)施情況，并管理組織設(shè)定的相關(guān)任務(wù)、服務(wù)和產(chǎn)品，以適應(yīng)內(nèi)部或外部環(huán)境的變化。有效的監(jiān)督需要對(duì)情況有全面的了解。監(jiān)督是ISO37000:2021，6.4中深入探討的“治理原則”之一。風(fēng)險(xiǎn)risk不確定性對(duì)目標(biāo)的影響。影響是指偏離預(yù)期，可以是正面的和/或負(fù)面的，可能帶來(lái)機(jī)會(huì)（3.3.23）和威脅（3.3.13)。目標(biāo)可有不同維度和類(lèi)型，可應(yīng)用在不同層級(jí)。 通常風(fēng)險(xiǎn)可以用風(fēng)險(xiǎn)源、潛在事件及其后果和可能性來(lái)表示。[來(lái)源：ISO31000:2018,3.1]風(fēng)險(xiǎn)偏好組織愿意追求或保留的風(fēng)險(xiǎn)（3.2.2）的數(shù)量和類(lèi)型。[來(lái)源：ISO導(dǎo)則73:2009，]合規(guī)義務(wù)complianceobligations組織強(qiáng)制性地必須遵守的要求，以及組織自愿選擇遵守的要求。[來(lái)源：ISO37301:2021,3.25]合規(guī)compliance履行組織的全部合規(guī)義務(wù)（3.2.4）。[來(lái)源：ISO37301:2021,3.26]組織使用人工智能的治理影響總則組織的治理是通過(guò)應(yīng)用一系列原則來(lái)實(shí)現(xiàn)的，這些原則有助于組織實(shí)現(xiàn)其組織宗旨，并在此過(guò)程中為組織及其相關(guān)方創(chuàng)造價(jià)值。根據(jù)ISO31000:2018中5.3，治理引導(dǎo)著組織的發(fā)展方向、其外部和內(nèi)部關(guān)系，以及實(shí)現(xiàn)其宗旨所需的規(guī)則、過(guò)程和做法。管理結(jié)構(gòu)將治理方向轉(zhuǎn)化為實(shí)現(xiàn)可持續(xù)績(jī)效和長(zhǎng)期活力所需達(dá)到的預(yù)期水平的戰(zhàn)略和相關(guān)目標(biāo)。附錄A概述了應(yīng)遵循的治理和組織決策的概念（尤其是對(duì)現(xiàn)有標(biāo)準(zhǔn)的引用）。治理機(jī)構(gòu)在傳統(tǒng)環(huán)境下設(shè)定目標(biāo)的責(zé)任既包括財(cái)務(wù)目標(biāo)，也包括非財(cái)務(wù)成果，包括文化、價(jià)值觀(guān)和道德成果。組織和治理方針通常是通過(guò)一系列控制措施、業(yè)務(wù)計(jì)劃、戰(zhàn)略、職位描述、專(zhuān)業(yè)學(xué)科公認(rèn)做法、法規(guī)、培訓(xùn)、關(guān)鍵績(jī)效指標(biāo)以及各種高管溝通相結(jié)合的方式制定和實(shí)施的。治理機(jī)構(gòu)對(duì)組織的所有活動(dòng)負(fù)責(zé)。這種責(zé)任不可委托。組織的治理機(jī)構(gòu)有責(zé)任持續(xù)考慮任何新工具、技術(shù)或技術(shù)的引入對(duì)組織的影響。治理機(jī)構(gòu)的成員應(yīng)確保自己，并能夠向相關(guān)方證明，他們的政策（以及這些政策的實(shí)施）對(duì)于組織、其產(chǎn)品和相互作用，以及組織使用的人力資源、過(guò)程和技術(shù)而言是充分的。在這方面，引入人工智能所帶來(lái)的責(zé)任和結(jié)果并不是新的。然而，人工智能有潛力實(shí)現(xiàn)新的組織目標(biāo)，并實(shí)現(xiàn)或擴(kuò)展現(xiàn)有的目標(biāo)，而且能夠以更有效、更高效的方式實(shí)現(xiàn)。引入人工智能時(shí)保持治理治理機(jī)構(gòu)設(shè)定組織的宗旨，并批準(zhǔn)實(shí)現(xiàn)該目的所需的戰(zhàn)略。然而，當(dāng)組織內(nèi)部使用人工智能時(shí)，現(xiàn)有的治理可能不再適合其宗旨。具體工具的選擇，如人工智能系統(tǒng)，應(yīng)是由管理層做出的決策，并應(yīng)根據(jù)治理機(jī)構(gòu)的指導(dǎo)進(jìn)行。為了制定這樣的指導(dǎo)，治理機(jī)構(gòu)應(yīng)大致了解人工智能，因?yàn)槠涫褂每梢詭?lái)：對(duì)組織具有重大的戰(zhàn)略利益；給組織帶來(lái)重大風(fēng)險(xiǎn)，并可能對(duì)其相關(guān)方造成傷害；給組織帶來(lái)額外的義務(wù)。治理機(jī)構(gòu)應(yīng)將其打算使用的人工智能作為其風(fēng)險(xiǎn)偏好的一部分進(jìn)行評(píng)估。風(fēng)險(xiǎn)可能會(huì)迅速變化。新的見(jiàn)解和主動(dòng)的方法為組織提供了應(yīng)對(duì)風(fēng)險(xiǎn)的手段。因此，組織應(yīng)表現(xiàn)出在必要時(shí)修改或中止項(xiàng)目的意愿。有關(guān)進(jìn)一步的指導(dǎo)，請(qǐng)參見(jiàn)ISO/IEC38506。使用人工智能會(huì)產(chǎn)生新的影響，包括但不限于：在獲取數(shù)據(jù)和保證數(shù)據(jù)質(zhì)量方面對(duì)技術(shù)和系統(tǒng)的依賴(lài)增加；當(dāng)使用部分或完全自動(dòng)化系統(tǒng)來(lái)處理以前由人類(lèi)執(zhí)行的任務(wù)和問(wèn)題（如信用評(píng)分）時(shí)，人工智能系統(tǒng)的透明度和可解釋性（包括對(duì)其中包含的目標(biāo)、假設(shè)和規(guī)則的了解），以及修改和更新這些算法的適當(dāng)過(guò)程；現(xiàn)有的指導(dǎo)和控制措施可能不適合確保所需的結(jié)果（并降低不良后果的風(fēng)險(xiǎn)），甚至可能受到損害。這是由于在委托給人類(lèi)時(shí)與使用或獲取人工智能的支持時(shí)所做的假設(shè)存在差異?！臼纠?】“將信貸還款推遲到假期后”這一指令對(duì)于另一個(gè)人類(lèi)操作員來(lái)說(shuō)足夠清晰，但對(duì)于人工智能系統(tǒng)來(lái)說(shuō)卻不夠精確，無(wú)法正確執(zhí)行。由于組織不使用人工智能而導(dǎo)致的銷(xiāo)售和運(yùn)營(yíng)方面的競(jìng)爭(zhēng)壓力；在沒(méi)有意識(shí)到或考慮潛在偏見(jiàn)、錯(cuò)誤或傷害的情況下接受使用人工智能系統(tǒng)，或沒(méi)有考慮將人工智能嵌入現(xiàn)有復(fù)雜系統(tǒng)中的影響；自動(dòng)化學(xué)習(xí)系統(tǒng)的變化速度與相應(yīng)的人類(lèi)合規(guī)控制之間的差距不斷擴(kuò)大；人工智能對(duì)工作隊(duì)伍的影響，包括對(duì)歧視的擔(dān)憂(yōu)、對(duì)工人基本權(quán)利的侵害、由于自動(dòng)化而導(dǎo)致的冗余或技能降級(jí)和升級(jí)，以及可能喪失的組織知識(shí)，但也要利用人工智能來(lái)提高人類(lèi)的創(chuàng)造力，通過(guò)將重復(fù)性、瑣碎或危險(xiǎn)的任務(wù)委托給人工智能系統(tǒng)來(lái)提高工作質(zhì)量；對(duì)商業(yè)運(yùn)營(yíng)和品牌聲譽(yù)的影響。使用人工智能還可以減少或消除某些現(xiàn)有風(fēng)險(xiǎn)，治理機(jī)構(gòu)應(yīng)相應(yīng)地審查和調(diào)整其風(fēng)險(xiǎn)評(píng)估。【示例2】人工智能系統(tǒng)可以減少在執(zhí)行重復(fù)性任務(wù)時(shí)輔助人類(lèi)或要求人類(lèi)持續(xù)監(jiān)視系統(tǒng)以尋找罕見(jiàn)異常（如保安人員）時(shí)出錯(cuò)的風(fēng)險(xiǎn)。在引入人工智能時(shí)保持可追究責(zé)任治理機(jī)構(gòu)的成員負(fù)責(zé)監(jiān)督組織的成果以及實(shí)現(xiàn)這些成果所需的系統(tǒng)和做法。他們對(duì)整個(gè)組織所做的決策負(fù)責(zé)，包括那些通過(guò)使用人工智能做出的決策，以及在部署人工智能時(shí)治理和控制的充分性。因此，他們對(duì)組織認(rèn)為可接受的人工智能使用負(fù)責(zé)。治理機(jī)構(gòu)應(yīng)承擔(dān)使用人工智能的責(zé)任，而不是將責(zé)任歸咎于人工智能系統(tǒng)本身。治理機(jī)構(gòu)的成員應(yīng)負(fù)責(zé)了解使用人工智能系統(tǒng)所帶來(lái)的可能性和風(fēng)險(xiǎn)。他們應(yīng)意識(shí)到將人類(lèi)特性（如思考、情感、判斷、道德化）不適當(dāng)?shù)貧w因于人工智能系統(tǒng)的風(fēng)險(xiǎn)，這種歸因可能超出比例或以不適當(dāng)?shù)姆绞竭M(jìn)行，超出了為理解人工智能使用所扮演的角色而必要的程度。在組織內(nèi)部因缺乏應(yīng)有的勤勉、謹(jǐn)慎、指導(dǎo)、培訓(xùn)、監(jiān)督和執(zhí)行而導(dǎo)致問(wèn)題出現(xiàn)時(shí)，治理機(jī)構(gòu)的成員應(yīng)對(duì)組織的不當(dāng)行為負(fù)責(zé)。這種責(zé)任可以由治理機(jī)構(gòu)本身確保，或由相關(guān)方通過(guò)其他方式施加。治理機(jī)構(gòu)的成員可能會(huì)面臨處罰、免職或法律追究。因此，治理機(jī)構(gòu)應(yīng)確保其做法適合組織內(nèi)部人工智能的具體用途。這可能包括審查和在必要時(shí)增強(qiáng)：指導(dǎo)：通過(guò)政策、戰(zhàn)略、資源配置、道德準(zhǔn)則、價(jià)值觀(guān)聲明、目的或其他與組織內(nèi)人工智能使用相關(guān)的工具；監(jiān)督：通過(guò)對(duì)人工智能的評(píng)估、其在組織中的價(jià)值評(píng)估和組織的風(fēng)險(xiǎn)承受能力，以及確保實(shí)施、監(jiān)測(cè)、衡量、決策保證和與組織內(nèi)人工智能使用相關(guān)的其他機(jī)制；評(píng)估：考慮不同的因素，例如與組織相關(guān)的內(nèi)部和外部因素、當(dāng)前和未來(lái)的威脅和機(jī)遇、實(shí)現(xiàn)的成果、現(xiàn)有治理機(jī)制的有效性和效率，以及對(duì)所做決策和選擇的判斷。報(bào)告：向相關(guān)方證明人工智能的使用正在得到有效治理（與ISO/IEC38500:2015,4.2中的“評(píng)估”“指導(dǎo)”和“監(jiān)督”任務(wù)相比）。治理機(jī)構(gòu)還應(yīng)確保其具備處理人工智能使用所帶來(lái)的影響的能力。為此可采取的行動(dòng)包括：提高其成員在人工智能方面的技能；增加對(duì)組織使用信息技術(shù)和特別是人工智能的評(píng)審頻率；審查和更新用于監(jiān)測(cè)內(nèi)部和外部環(huán)境的標(biāo)準(zhǔn)；確保員工利益和關(guān)切（如工作場(chǎng)所安全、員工培訓(xùn)、工作質(zhì)量）得到體現(xiàn)；通過(guò)設(shè)立或加強(qiáng)處理戰(zhàn)略、風(fēng)險(xiǎn)評(píng)估或?qū)徍艘约皞惱韱?wèn)題的小組委員會(huì)來(lái)加強(qiáng)監(jiān)督。治理機(jī)構(gòu)的責(zé)任應(yīng)在人工智能的預(yù)期或?qū)嶋H使用的所有方面得到確立，并以足以確保預(yù)期成果的方式確立，特別是：在考慮使用人工智能的潛在影響時(shí)；在制定納入人工智能使用的業(yè)務(wù)戰(zhàn)略時(shí)；在人工智能系統(tǒng)的整個(gè)生命周期中的采購(gòu)、實(shí)施、配置、部署、測(cè)試和其他項(xiàng)目階段；人工智能所處的環(huán)境發(fā)生變化時(shí)，以及人工智能系統(tǒng)的學(xué)習(xí)、行動(dòng)、決策和輸出，及其對(duì)相關(guān)方的影響；確保有適當(dāng)?shù)陌踩刂拼胧﹣?lái)保護(hù)組織、其相關(guān)方和其數(shù)據(jù)；在停用時(shí)，包括人工智能系統(tǒng)中所包含的知識(shí)和數(shù)據(jù)。除了與人工智能本身相關(guān)的問(wèn)題外，還有其他與新引入的技術(shù)相關(guān)的問(wèn)題可能影響組織及其相關(guān)方，包括：誤解技術(shù)的性質(zhì)；做出不適當(dāng)?shù)闹卫頉Q策；忽略對(duì)人工智能的適當(dāng)治理監(jiān)督；未將人工智能納入現(xiàn)有治理的范圍；在不具備特定情境意識(shí)、適當(dāng)規(guī)劃、政策或培訓(xùn)的情況下不適當(dāng)?shù)鼗蚱毡榈貞?yīng)用技術(shù)；未能保護(hù)信息和資產(chǎn)免受使用人工智能識(shí)別漏洞的自動(dòng)化攻擊；未能解決人類(lèi)與人工智能系統(tǒng)之間新興關(guān)系的影響。人工智能和人工智能系統(tǒng)概述總則人工智能系統(tǒng)形式多樣，治理機(jī)構(gòu)對(duì)其監(jiān)督程度也各不相同。因此，治理機(jī)構(gòu)應(yīng)了解“使用人工智能”的含義，以及在使用的哪個(gè)階段治理機(jī)構(gòu)應(yīng)直接或通過(guò)適當(dāng)?shù)闹卫頇C(jī)制參與其中。人工智能系統(tǒng)建立在現(xiàn)有的信息技術(shù)能力之上，包括網(wǎng)絡(luò)技術(shù)、物聯(lián)網(wǎng)設(shè)備（如傳感器和執(zhí)行器）、大數(shù)據(jù)和云計(jì)算。人工智能技術(shù)領(lǐng)域最近的大多數(shù)進(jìn)展都與機(jī)器學(xué)習(xí)（ML）領(lǐng)域有關(guān)。機(jī)器學(xué)習(xí)是一種人工智能技術(shù)，它使計(jì)算機(jī)能夠在沒(méi)有明確編程的情況下“學(xué)習(xí)”。數(shù)據(jù)是關(guān)鍵：它們可以表示文本、數(shù)字、圖片、符號(hào)、公式、圖表、圖像、語(yǔ)音、聲音或視頻等。創(chuàng)建現(xiàn)有數(shù)據(jù)集的模型并將其應(yīng)用于新數(shù)據(jù)，以解決特定問(wèn)題、預(yù)測(cè)結(jié)果或?qū)π碌妮斎霐?shù)據(jù)進(jìn)行分類(lèi)?；跈C(jī)器學(xué)習(xí)的人工智能系統(tǒng)的性質(zhì)，包括其使用目的、算法選擇、數(shù)據(jù)驅(qū)動(dòng)方法、訓(xùn)練方法和基于概率的輸出，都可能給組織帶來(lái)額外的風(fēng)險(xiǎn)和機(jī)遇（另見(jiàn)6.7）。人工智能系統(tǒng)可以通過(guò)分析數(shù)據(jù)來(lái)自動(dòng)化決策，提供潛在的概率結(jié)果，并在許多情況下根據(jù)該結(jié)果采取行動(dòng)。人工智能系統(tǒng)可以改變產(chǎn)品、過(guò)程和關(guān)系的性質(zhì)，以及組織的運(yùn)營(yíng)方式。這可能對(duì)大多數(shù)行業(yè)產(chǎn)生重大影響。與任何帶來(lái)益處的強(qiáng)大工具一樣，也存在造成傷害的潛在風(fēng)險(xiǎn)。因此，人工智能的使用應(yīng)納入組織的風(fēng)險(xiǎn)評(píng)估中。人工智能的使用可能給組織帶來(lái)新的義務(wù)。這些可能是法律要求，或是采用自愿性實(shí)踐準(zhǔn)則的結(jié)果，無(wú)論是直接在人工智能系統(tǒng)自動(dòng)化決策過(guò)程中，還是間接通過(guò)其使用數(shù)據(jù)或其他資源或過(guò)程。人工智能系統(tǒng)跨越提供行動(dòng)選項(xiàng)和執(zhí)行行動(dòng)本身之間的界限（無(wú)人類(lèi)參與）的可能性，應(yīng)是治理機(jī)構(gòu)重點(diǎn)考慮的問(wèn)題。從治理影響的角度來(lái)看，人工智能與其他技術(shù)的區(qū)別在于：具有決策自動(dòng)化的能力；使用數(shù)據(jù)分析、洞察和學(xué)習(xí)來(lái)解決問(wèn)題，而不是使用明確的人類(lèi)編碼邏輯；隨著人工智能系統(tǒng)環(huán)境的變化而適應(yīng)，這些變化并非明確編碼且不一定事先已知。這三個(gè)要素對(duì)組織及其治理具有廣泛的影響。人工智能系統(tǒng)與其他信息技術(shù)的差異決策自動(dòng)化人工智能系統(tǒng)通常根據(jù)為特定任務(wù)選擇的歷史和當(dāng)前數(shù)據(jù)來(lái)創(chuàng)建輸出。在現(xiàn)代人工智能系統(tǒng)中，特別是基于機(jī)器學(xué)習(xí)的系統(tǒng)，所得預(yù)測(cè)通常表示為概率。例如：該部件不符合質(zhì)量要求的可能性為97%；走這條路線(xiàn)將是最快的可能性為92%；攝像頭前的人臉屬于“BarryJones”的可能性為98%?；谶@些概率，人工智能系統(tǒng)可以采取不同的行動(dòng)方案（由于再訓(xùn)練，這些行動(dòng)方案可能會(huì)隨時(shí)間而改變）。在某些情況下，可以在幾分之一秒內(nèi)做出自動(dòng)化決策。這種決策的速度是人工智能系統(tǒng)的關(guān)鍵要素，使它們成為組織使用的強(qiáng)大工具。自動(dòng)化決策的范圍可能涉及大量且多種多樣的輸入數(shù)據(jù)。數(shù)據(jù)驅(qū)動(dòng)的問(wèn)題解決人工智能系統(tǒng)，特別是基于機(jī)器學(xué)習(xí)的系統(tǒng)，通常會(huì)檢查大量數(shù)據(jù)，并識(shí)別和精煉數(shù)據(jù)中發(fā)現(xiàn)的模式。這種能力使這些系統(tǒng)能夠解決某些類(lèi)型的問(wèn)題，這些問(wèn)題對(duì)人類(lèi)來(lái)說(shuō)太難或太耗時(shí)，無(wú)法獨(dú)自解決或使用經(jīng)典的編程技術(shù)解決。在這個(gè)過(guò)程中，數(shù)據(jù)驅(qū)動(dòng)著進(jìn)程，而不是人類(lèi)驅(qū)動(dòng)每個(gè)邏輯步驟并編寫(xiě)代碼來(lái)解決問(wèn)題。例如：識(shí)別面部是人類(lèi)非常擅長(zhǎng)的事情，但準(zhǔn)確描述如何實(shí)現(xiàn)這一點(diǎn)卻非常困難。人工智能系統(tǒng)通過(guò)檢查數(shù)千張面部圖像，學(xué)習(xí)這些數(shù)據(jù)中的模式，并將這些模式應(yīng)用于新的面部圖像來(lái)實(shí)現(xiàn)這一點(diǎn)；在數(shù)百萬(wàn)個(gè)健康細(xì)胞中找到癌細(xì)胞的過(guò)程非常困難，但事實(shí)證明，用于圖像識(shí)別的機(jī)器學(xué)習(xí)技術(shù)適用于癌癥診斷。機(jī)器學(xué)習(xí)的使用不斷增加，再加上不斷變化的數(shù)據(jù)（在系統(tǒng)由于再訓(xùn)練和持續(xù)學(xué)習(xí)而發(fā)展的情況下），極大地加速了問(wèn)題解決的速度，并帶來(lái)了巨大的潛力以及治理挑戰(zhàn)。自適應(yīng)系統(tǒng)一些人工智能系統(tǒng)在其運(yùn)行階段會(huì)進(jìn)行再訓(xùn)練或持續(xù)訓(xùn)練。人工智能系統(tǒng)利用運(yùn)行過(guò)程中感知到的輸入數(shù)據(jù)來(lái)改進(jìn)和優(yōu)化其內(nèi)部模型。因此，隨著時(shí)間的推移，這類(lèi)人工智能系統(tǒng)可能會(huì)從相同的輸入中產(chǎn)生不同的輸出。這種適應(yīng)性可以作為對(duì)外部刺激的反應(yīng)而發(fā)展，如環(huán)境變化或到達(dá)人工智能系統(tǒng)的反饋。例如，考慮一個(gè)推薦系統(tǒng)，它監(jiān)視用戶(hù)對(duì)推薦的反應(yīng)并進(jìn)行適應(yīng)以提高接受率。這就是“持續(xù)學(xué)習(xí)”（ISO/IEC22989：—，3.1.10）。適應(yīng)性也可以源于自我改進(jìn)，例如在象棋人工智能系統(tǒng)中，它僅通過(guò)與自己對(duì)戰(zhàn)就能學(xué)習(xí)。這種自適應(yīng)系統(tǒng)對(duì)治理也有影響：可能需要人工智能系統(tǒng)具備提供其功能洞察的能力，例如在評(píng)估或?qū)徍饲闆r下；隨著人工智能系統(tǒng)的功能隨時(shí)間變化，確保系統(tǒng)仍在可接受的范圍內(nèi)運(yùn)行可能需要進(jìn)一步的評(píng)估或其他控制機(jī)制；人工智能系統(tǒng)的適應(yīng)性可以提高組織的敏捷性，并為其提供戰(zhàn)略?xún)?yōu)勢(shì)；人工智能系統(tǒng)可能會(huì)無(wú)意中繞過(guò)現(xiàn)有的治理控制。管理層應(yīng)確保人工智能系統(tǒng)明確遵守現(xiàn)有的治理控制。人工智能生態(tài)系統(tǒng)要了解人工智能系統(tǒng)的眾多組件以及這些組件如何與組織相關(guān)聯(lián)，需要對(duì)人工智能生態(tài)系統(tǒng)采取分層的方法。如圖1所示，人工智能生態(tài)系統(tǒng)非常廣泛，包括一系列不同的技術(shù)。該圖的更詳細(xì)版本可在ISO/IEC22989：—的圖6中找到，其中描述了有關(guān)機(jī)器學(xué)習(xí)元素和計(jì)算資源的更多細(xì)節(jié)。如果使用人工智能技術(shù)，此生態(tài)系統(tǒng)中的其他一些組件將成為整個(gè)人工智能系統(tǒng)的功能部分，并且應(yīng)從治理的角度將其視為如此。云計(jì)算與邊緣計(jì)算+大數(shù)據(jù)與數(shù)據(jù)源資源池（計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、資源管理與配置）其他技術(shù)（例如：進(jìn)化計(jì)算、群體智能）工程（模型開(kāi)發(fā)與使用、工具）機(jī)器學(xué)習(xí)（模型開(kāi)發(fā)與使用、工具、機(jī)器學(xué)習(xí)數(shù)據(jù)）AI服務(wù)云計(jì)算與邊緣計(jì)算+大數(shù)據(jù)與數(shù)據(jù)源資源池（計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、資源管理與配置）其他技術(shù)（例如：進(jìn)化計(jì)算、群體智能）工程（模型開(kāi)發(fā)與使用、工具）機(jī)器學(xué)習(xí)（模型開(kāi)發(fā)與使用、工具、機(jī)器學(xué)習(xí)數(shù)據(jù)）AI服務(wù)AI系統(tǒng)垂直產(chǎn)業(yè)和研究圖1：來(lái)自ISO/IEC22989：—，圖6的人工智能生態(tài)系統(tǒng)簡(jiǎn)化版這種分層的人工智能生態(tài)系統(tǒng)表示方法有助于根據(jù)組織在生態(tài)系統(tǒng)中的角色以及治理機(jī)構(gòu)適當(dāng)?shù)呢?zé)任水平來(lái)劃定責(zé)任的程度和范圍。人工智能生態(tài)系統(tǒng)的復(fù)雜性意味著，監(jiān)督的范圍將基于多個(gè)因素而有很大差異，這些因素包括：人工智能系統(tǒng)的預(yù)期目的；所使用的人工智能類(lèi)型；所使用的人工智能生態(tài)系統(tǒng)的功能層；人工智能系統(tǒng)將帶來(lái)的潛在利益；人工智能系統(tǒng)可能帶來(lái)的新風(fēng)險(xiǎn)；人工智能系統(tǒng)的實(shí)施階段；組織在人工智能價(jià)值鏈中扮演的角色（例如，作為人工智能提供者、生產(chǎn)者、客戶(hù)的角色）。見(jiàn)ISO/IEC22989：—，5.17。這些因素受到組織目的和目標(biāo)的影響，以及選擇使用人工智能系統(tǒng)而非其他信息技術(shù)的決策影響。這些因素大多在人工智能系統(tǒng)的開(kāi)發(fā)和部署初期就予以考慮。然而，在整個(gè)生命周期中，還應(yīng)考慮其他組織因素。圖2展示了從創(chuàng)立到退役的人工智能系統(tǒng)生命周期。一旦組織決定使用人工智能，這可以幫助治理機(jī)構(gòu)確定可能出現(xiàn)關(guān)鍵治理問(wèn)題并由治理機(jī)構(gòu)解決的“節(jié)點(diǎn)”或“關(guān)卡”。考慮到人工智能系統(tǒng)的生命周期，組織可以開(kāi)始了解如何發(fā)展其現(xiàn)有的治理機(jī)制。鑒于人工智能系統(tǒng)對(duì)數(shù)據(jù)的依賴(lài)，生命周期可以幫助確定在哪些方面需要額外的治理。數(shù)據(jù)的治理在ISO/IEC38505系列中有所涉及。生命周期還可以幫助治理機(jī)構(gòu)在每個(gè)階段識(shí)別組織可能面臨的額外風(fēng)險(xiǎn)，并就如何管理這些風(fēng)險(xiǎn)做出決策。在5.4和5.5中，將進(jìn)一步描述使用人工智能產(chǎn)生的其他治理考慮因素。使用人工智能的益處治理機(jī)構(gòu)可以考慮部署人工智能以追求組織已確定的具體機(jī)會(huì)，包括組織的未來(lái)增長(zhǎng)或更好地實(shí)現(xiàn)組織的目的和目標(biāo)。在這種情況下，治理機(jī)構(gòu)需要對(duì)這些機(jī)會(huì)進(jìn)行權(quán)衡，考慮其風(fēng)險(xiǎn)和使用帶來(lái)的其他影響。它應(yīng)確保存在監(jiān)督機(jī)制，并用于審查部署是否仍符合組織的戰(zhàn)略意圖、目的和價(jià)值觀(guān)。人工智能可以用于實(shí)現(xiàn)目標(biāo)并為組織創(chuàng)造價(jià)值。這可以帶來(lái)以下結(jié)果：降低運(yùn)營(yíng)成本；開(kāi)發(fā)新產(chǎn)品和服務(wù)，加速對(duì)現(xiàn)有業(yè)務(wù)的商業(yè)顛覆；轉(zhuǎn)變政府組織或非營(yíng)利組織等機(jī)構(gòu)。組織可能已經(jīng)在日常運(yùn)營(yíng)中使用人工智能。在組織日常運(yùn)營(yíng)中使用人工智能的例子包括：使用基于衛(wèi)星的導(dǎo)航系統(tǒng)為卡車(chē)運(yùn)輸找到最高效的路線(xiàn)；大多數(shù)互聯(lián)網(wǎng)搜索都使用人工智能來(lái)回答問(wèn)題、查找相似的圖片或文檔；生產(chǎn)率應(yīng)用程序使用人工智能來(lái)為演示文稿中的幻燈片提供更好的設(shè)計(jì)建議或改進(jìn)文檔中的語(yǔ)法。可以在各種領(lǐng)域（如農(nóng)業(yè)、國(guó)防、教育、醫(yī)療、制造業(yè)、交通）中找到更多的應(yīng)用，并使用各種部署模型（如云服務(wù)或本地系統(tǒng)、信息物理系統(tǒng)）。ISO/IECTR24030中包含了一個(gè)廣泛的用例集合，涵蓋了這些和其他領(lǐng)域以及部署模型。例如，人工智能系統(tǒng)可以：改變產(chǎn)品、過(guò)程和服務(wù)的性質(zhì)；自動(dòng)化反饋收集、比較、翻譯、數(shù)據(jù)審查或分析，將增值活動(dòng)留給人類(lèi)（如得出結(jié)論或做出決策）；提高客戶(hù)服務(wù)、生產(chǎn)率和產(chǎn)品質(zhì)量；使用智能代理（如聊天機(jī)器人）收集相關(guān)信息、對(duì)請(qǐng)求進(jìn)行分類(lèi)和路由、幫助解決產(chǎn)品、服務(wù)或計(jì)費(fèi)問(wèn)題或解決問(wèn)題，從而改變與客戶(hù)和供應(yīng)商的關(guān)系（以及員工、客戶(hù)和供應(yīng)鏈之間的關(guān)系）；通過(guò)從“自動(dòng)化輔助”轉(zhuǎn)變?yōu)椤叭詣?dòng)化”，提高制造業(yè)和農(nóng)業(yè)的效率；根據(jù)口語(yǔ)樣本識(shí)別說(shuō)話(huà)者最可能的意圖；根據(jù)類(lèi)似疾病爆發(fā)的歷史數(shù)據(jù)預(yù)測(cè)疾病的傳播；根據(jù)細(xì)胞檢查建議可能的癌癥病例；建議授予或拒絕貸款。這種使用人工智能可以為組織帶來(lái)益處，但也可能帶來(lái)新的或更嚴(yán)峻的挑戰(zhàn)，例如額外的風(fēng)險(xiǎn)或偏見(jiàn)，這些問(wèn)題在第6章中進(jìn)行了更詳細(xì)的討論。配備人工智能的組織可以重塑其戰(zhàn)略，并應(yīng)用適合其行業(yè)的模型。它可以改變?yōu)橄嚓P(guān)方創(chuàng)造價(jià)值的方式以及捕捉這種價(jià)值的方式。使用人工智能也為勞動(dòng)力創(chuàng)造了機(jī)會(huì)，例如通過(guò)使用人工智能激發(fā)更大的創(chuàng)造力、提高競(jìng)爭(zhēng)力和消除重復(fù)性、瑣碎或不安全任務(wù)的不同工作機(jī)會(huì)。這樣，人工智能技術(shù)可以為組織帶來(lái)深刻的變革。治理機(jī)構(gòu)應(yīng)該了解人工智能為組織帶來(lái)的機(jī)會(huì)，并在適當(dāng)?shù)臅r(shí)候推動(dòng)其采用。通過(guò)使用人工智能來(lái)處理這些任務(wù)的過(guò)程負(fù)擔(dān)，組織可以將精力和資源集中在那些由無(wú)法自動(dòng)化或復(fù)制的人類(lèi)努力帶來(lái)的增值任務(wù)上。對(duì)使用人工智能的約束盡管組織可以輕易地識(shí)別出使用人工智能（AI）帶來(lái)的好處，但治理機(jī)構(gòu)應(yīng)了解這種使用對(duì)組織產(chǎn)生的約束和義務(wù)。為了充分管理這些約束和義務(wù)，組織應(yīng)采取以下一些行動(dòng)：加強(qiáng)合規(guī)監(jiān)督：沒(méi)有適當(dāng)?shù)谋O(jiān)督，人工智能的使用可能會(huì)自動(dòng)化流程，產(chǎn)生頻繁變化的結(jié)果，這些結(jié)果可能難以解釋或與組織政策相沖突（見(jiàn)6.6）。處理使用范圍問(wèn)題：確保自動(dòng)化的范圍受到治理機(jī)構(gòu)的監(jiān)督，并由經(jīng)過(guò)適當(dāng)授權(quán)和具備技能的人員實(shí)施（見(jiàn)6.3）。治理機(jī)構(gòu)應(yīng)確保維持必要的權(quán)威、責(zé)任和問(wèn)責(zé)制，并在實(shí)施前審查和理解這種自動(dòng)化可能帶來(lái)的后果。評(píng)估和應(yīng)對(duì)對(duì)相關(guān)方的影響：雖然一些決策會(huì)對(duì)相關(guān)方產(chǎn)生負(fù)面影響（例如拒絕向客戶(hù)提供銀行貸款），但組織應(yīng)確保這種影響不會(huì)因使用人工智能而加劇。現(xiàn)有的風(fēng)險(xiǎn)和影響評(píng)估，以及緩解過(guò)程（例如保留法律權(quán)利或確保法律確定性）應(yīng)保持有效（見(jiàn)6.7）。確定使用此類(lèi)技術(shù)的法律要求或義務(wù)：使用人工智能和相關(guān)解決方案（例如面部識(shí)別或自動(dòng)駕駛車(chē)輛移動(dòng)）越來(lái)越可能受到質(zhì)疑，并可能成為新法律要求的主題。治理機(jī)構(gòu)應(yīng)展示如何滿(mǎn)足這些義務(wù)，并確保它們符合要求，并在需要時(shí)作出適當(dāng)解釋。使人工智能的使用與組織目標(biāo)保持一致：新技術(shù)的創(chuàng)新使用對(duì)許多組織的生存和健康至關(guān)重要，在這些情況下，治理將鼓勵(lì)這種創(chuàng)新。并非每個(gè)項(xiàng)目都具有戰(zhàn)略重要性（例如，有些項(xiàng)目?jī)H旨在降低成本），但總體而言，人工智能的使用應(yīng)有助于組織實(shí)現(xiàn)其目標(biāo)。使人工智能的使用與組織文化和價(jià)值觀(guān)保持一致：人工智能系統(tǒng)提出的決策應(yīng)考慮組織的政策、期望（包括使用的影響）和道德。確保解決問(wèn)題時(shí)充分考慮環(huán)境。組織需要確保不會(huì)遺漏或省略對(duì)其用于解決問(wèn)題的數(shù)據(jù)中至關(guān)重要的環(huán)境元素，這些元素對(duì)于理解行為、價(jià)值觀(guān)和文化至關(guān)重要。審查使用人工智能可能給組織帶來(lái)的額外風(fēng)險(xiǎn)：通過(guò)審查組織的目的和目標(biāo)，并考慮其決定使用人工智能時(shí)可能確定的風(fēng)險(xiǎn)來(lái)源，以及處理這些風(fēng)險(xiǎn)的措施，組織應(yīng)保持在其風(fēng)險(xiǎn)承受范圍內(nèi)（見(jiàn)6.Z）。除了組織使用人工智能的這些廣泛約束（以及適用于組織或其相關(guān)方的任何其他約束）外，人工智能系統(tǒng)本身也存在技術(shù)約束。治理機(jī)構(gòu)還應(yīng)尋求管理層的保證，以確保這些約束得到充分管理。針對(duì)使用人工智能的方針總則人工智能系統(tǒng)使用數(shù)據(jù)來(lái)構(gòu)建模型、進(jìn)行預(yù)測(cè)，并可能自動(dòng)化決策和行動(dòng)。與管理人力資源、過(guò)程或技術(shù)的任何使用一樣，治理機(jī)構(gòu)仍需對(duì)這些決策和行動(dòng)負(fù)責(zé)。人工智能的某些使用可能會(huì)無(wú)意中導(dǎo)致政策不合規(guī)，或產(chǎn)生現(xiàn)有政策未預(yù)見(jiàn)的結(jié)果。對(duì)于不使用人工智能的組織而言，其指定的方向和控制措施可能是適當(dāng)?shù)?，但?duì)于使用人工智能的組織而言，則可能并不適當(dāng)。為了繼續(xù)進(jìn)行有效的治理，需要審查并可能加強(qiáng)現(xiàn)有的治理機(jī)制和控制措施，以確保它們穩(wěn)健、明確且適當(dāng)，能夠涵蓋人工智能系統(tǒng)給組織及其相關(guān)方帶來(lái)的額外治理考慮因素（以及對(duì)管理層的指導(dǎo)）。在整個(gè)組織實(shí)施人工智能系統(tǒng)的過(guò)程中，治理機(jī)構(gòu)和管理者應(yīng)通過(guò)信息、咨詢(xún)和參與程序，進(jìn)一步讓可能受到人工智能系統(tǒng)影響的相關(guān)方（如員工及其代表）參與其中。本條款的指導(dǎo)旨在幫助治理機(jī)構(gòu)理解和修訂其應(yīng)考慮的政策，以減少組織使用人工智能時(shí)可避免和意外后果的發(fā)生。然而，這些指導(dǎo)并不是也不可能是全面的。根據(jù)ISO/IECTR38502:2017,4.1.3，管理者負(fù)責(zé)確保在治理機(jī)構(gòu)制定的戰(zhàn)略和政策范圍內(nèi)實(shí)現(xiàn)組織的目標(biāo)。治理任務(wù)是由治理機(jī)構(gòu)和管理者密切合作完成的，如圖3所示。圖3：使用人工智能的治理影響圖3基于并修改了ISO/IEC38500:2015中的“信息技術(shù)治理模型”（見(jiàn)圖A.1）。無(wú)論使用何種技術(shù)，治理機(jī)構(gòu)都應(yīng)設(shè)定并監(jiān)督與其原則相一致的成果的實(shí)現(xiàn)。這些原則可以產(chǎn)生于內(nèi)部，也可以由外部組織提出或強(qiáng)加（例如，通過(guò)法律、行業(yè)標(biāo)準(zhǔn)或國(guó)際規(guī)范）。技術(shù)創(chuàng)新的速度和不斷變化的法律要求應(yīng)鼓勵(lì)組織積極維護(hù)一套關(guān)于使用人工智能的原則，并確保這些原則對(duì)于組織使用人工智能的情況仍然適用。對(duì)人工智能的治理監(jiān)督治理機(jī)構(gòu)應(yīng)確保為人工智能建立監(jiān)督安排，并且這些安排要與組織使用人工智能所帶來(lái)的風(fēng)險(xiǎn)相適應(yīng)。基于組織設(shè)定的政策，治理監(jiān)督應(yīng)確定責(zé)任鏈中的個(gè)人和集體責(zé)任。良好的治理監(jiān)督應(yīng)基于對(duì)系統(tǒng)使用（和使用環(huán)境）的一般理解。參見(jiàn)ISO/IEC23894:2017的6.3.33和ISO31000:2018的6.3.3中的“外部和內(nèi)部環(huán)境”。作為其對(duì)人工智能的治理監(jiān)督的一部分，治理機(jī)構(gòu)應(yīng)確保：已制定政策以確保人工智能的適當(dāng)使用；在組織內(nèi)部以及適用時(shí)在任何價(jià)值鏈中的不同方之間，都明確界定并商定了責(zé)任、責(zé)任鏈、可追究責(zé)任、權(quán)限以及可能的權(quán)限委托；在使用人工智能時(shí)，有充分的人工監(jiān)督；任何使用人工智能或?qū)θ斯ぶ悄艿氖褂秘?fù)責(zé)的人：對(duì)所使用的人工智能系統(tǒng)有適當(dāng)?shù)睦斫?；得到了適當(dāng)?shù)耐ㄖ团嘤?xùn)，包括知道如何以及向誰(shuí)提出任何關(guān)切；有權(quán)做出決策（或知道向誰(shuí)請(qǐng)求做出決策）并知道向誰(shuí)報(bào)告；對(duì)人工智能系統(tǒng)有足夠的控制權(quán)，包括在必要時(shí)進(jìn)行干預(yù)的可能性。決策治理決策治理是組織整體治理的一部分。為了分擔(dān)工作負(fù)擔(dān)和決策責(zé)任，組織會(huì)將權(quán)力和責(zé)任委托給各個(gè)成員。無(wú)論這種委托的權(quán)力或責(zé)任存在于何處，所有工作和決策的責(zé)任仍然由治理機(jī)構(gòu)承擔(dān)（見(jiàn)4.3）。其中一些決策和工作可以越來(lái)越多地由人工智能系統(tǒng)做出和執(zhí)行，但治理機(jī)構(gòu)仍需以與人類(lèi)決策和工作相同的方式承擔(dān)責(zé)任。修訂關(guān)于使用人工智能的決策政策，旨在確保人類(lèi)或人類(lèi)群體對(duì)其已委托權(quán)力和責(zé)任的決策保持明確的責(zé)任，無(wú)論該決策是部分還是完全自動(dòng)化。治理機(jī)構(gòu)應(yīng)監(jiān)視自動(dòng)化系統(tǒng)生成的決策和輸出，并指導(dǎo)管理層確保通過(guò)實(shí)施適當(dāng)?shù)目刂?，使這些系統(tǒng)在可接受的范圍內(nèi)運(yùn)行。這些控制應(yīng)使治理機(jī)構(gòu)能夠適當(dāng)?shù)亓私鉀Q策是否符合組織政策，以及任何例外情況。治理機(jī)構(gòu)應(yīng)確保將對(duì)此類(lèi)控制的積極監(jiān)督委托給擁有適當(dāng)資源的工作人員，該工作人員應(yīng)有權(quán)對(duì)發(fā)現(xiàn)的問(wèn)題做出反應(yīng)或發(fā)起反應(yīng)。由人工智能系統(tǒng)提供的自動(dòng)化決策的使用，并不改變治理機(jī)構(gòu)（或任何委托權(quán)力）對(duì)此類(lèi)決策的責(zé)任。與組織內(nèi)決策相關(guān)的重要因素包括：與目標(biāo)的一致性。決策應(yīng)與組織目標(biāo)保持一致，同時(shí)保持在組織分配的資源、定義的風(fēng)險(xiǎn)和其他控制范圍內(nèi)。責(zé)任水平。確保決策水平與授予的權(quán)力和與決策相關(guān)的責(zé)任相匹配，是良好治理的關(guān)鍵要素。定義可能決策的范圍和影響，并將其與責(zé)任水平相匹配，對(duì)于授權(quán)員工采取適當(dāng)行動(dòng)，從而使整個(gè)組織更加敏捷是必要的。對(duì)于人工智能系統(tǒng)執(zhí)行的動(dòng)作和決策，人類(lèi)責(zé)任應(yīng)明確定義，并分配給具有適當(dāng)權(quán)力和工具來(lái)執(zhí)行任務(wù)的工作人員（例如，可見(jiàn)性、監(jiān)督、質(zhì)量控制），并在發(fā)現(xiàn)問(wèn)題時(shí)采取足夠的糾正措施。決策能力。決策者應(yīng)具備其負(fù)責(zé)決策所需的技能和培訓(xùn)。應(yīng)實(shí)施控制，以確保人工智能系統(tǒng)適合其被設(shè)定的任務(wù)。參見(jiàn)ISO/IECTR24028。決策過(guò)程。相關(guān)方越來(lái)越要求決策過(guò)程的透明度。這種透明度包括報(bào)告要求、戰(zhàn)略方向和與所有內(nèi)部和外部用戶(hù)的互動(dòng)。隨著透明度的提高，決策中的預(yù)期參與程度和謹(jǐn)慎程度也在增加。因此，決策過(guò)程（以及為減輕錯(cuò)誤決策后果而需采取的行動(dòng)）是一個(gè)重要的治理機(jī)制，并且隨著人工智能的使用增加，其重要性將越來(lái)越高。決策監(jiān)督。治理機(jī)構(gòu)應(yīng)確保有足夠的監(jiān)督，實(shí)施控制以確保有效的決策能力，并且決策符合組織政策以及任何例外的情況都應(yīng)有適當(dāng)?shù)目梢?jiàn)性。對(duì)于決策中的合規(guī)例外，應(yīng)確定是否需要額外的透明度和責(zé)任。應(yīng)向所有相關(guān)方提供適當(dāng)?shù)氖侄?，以識(shí)別和報(bào)告不合規(guī)行為或決策結(jié)果（無(wú)論是否涉及人工智能系統(tǒng)），并應(yīng)給予有意義、及時(shí)和充分的回應(yīng)。數(shù)據(jù)使用的治理一些人工智能系統(tǒng)依賴(lài)于數(shù)據(jù)來(lái)構(gòu)建和訓(xùn)練模型，因此，數(shù)據(jù)使用的治理對(duì)于人工智能的負(fù)責(zé)任使用至關(guān)重要。治理機(jī)構(gòu)應(yīng)在早期階段確保現(xiàn)有的治理和管理措施足以滿(mǎn)足數(shù)據(jù)使用的目的，并確保敏感數(shù)據(jù)得到保護(hù)和安全（見(jiàn)ISO/IEC38505-1）。這包括，例如，記錄組織如何履行其在采購(gòu)和銷(xiāo)售、隱私和安全、數(shù)據(jù)保留和處置等方面的義務(wù)，并監(jiān)督其自身關(guān)于數(shù)據(jù)管理的政策（另見(jiàn)6.7.4）。在使用數(shù)據(jù)的人工智能系統(tǒng)中，額外的治理考慮包括：為人工智能系統(tǒng)做出的相關(guān)設(shè)計(jì)選擇；數(shù)據(jù)收集；相關(guān)的數(shù)據(jù)準(zhǔn)備和處理操作，例如注釋、標(biāo)記、清理、豐富和聚合；制定相關(guān)假設(shè)，特別是關(guān)于數(shù)據(jù)應(yīng)該衡量和表示的信息；事先評(píng)估數(shù)據(jù)的可用性、質(zhì)量、數(shù)量和適用性；檢查可能存在的偏差；識(shí)別任何可能的數(shù)據(jù)缺口或不足，以及如何解決這些缺口和不足。人工智能系統(tǒng)（特別是涉及機(jī)器學(xué)習(xí)的系統(tǒng)）與其他IT系統(tǒng)之間的一個(gè)主要區(qū)別是，它們依賴(lài)于數(shù)據(jù)推斷來(lái)產(chǎn)生具有一定置信度的結(jié)果。第二個(gè)主要差異是訓(xùn)練數(shù)據(jù)的存在和使用，其質(zhì)量可以提高或降低任何結(jié)果的質(zhì)量。這與軟件開(kāi)發(fā)不同，軟件開(kāi)發(fā)依賴(lài)于人類(lèi)構(gòu)思和編程產(chǎn)生結(jié)果所需的具體邏輯步驟。子條款5.2.2和5.2.3概述了這些系統(tǒng)之間的差異。由于數(shù)據(jù)質(zhì)量對(duì)人工智能系統(tǒng)的性能至關(guān)重要，因此治理機(jī)構(gòu)應(yīng)向管理層尋求保證，確保數(shù)據(jù)對(duì)于其在人工智能系統(tǒng)中的預(yù)期用途具有必要的質(zhì)量。根據(jù)應(yīng)用程序的不同，使用歷史數(shù)據(jù)來(lái)訓(xùn)練人工智能系統(tǒng)可能會(huì)導(dǎo)致：重復(fù)之前的錯(cuò)誤；做出與數(shù)據(jù)中未記錄的結(jié)果相關(guān)的“不合理”決策；做出與人類(lèi)難以理解的新情況或數(shù)據(jù)組合相關(guān)的決策，例如將不同且明顯不相關(guān)的數(shù)據(jù)集聯(lián)系起來(lái)；監(jiān)視和行為信息并非自愿披露。這些結(jié)果最好被理解為由于使用不完整、錯(cuò)誤或不適當(dāng)?shù)臄?shù)據(jù)而引入的錯(cuò)誤或失誤。這有時(shí)（且經(jīng)常錯(cuò)誤地）被稱(chēng)為“人工智能偏差”。然而，偏差是由人類(lèi)引入或加強(qiáng)的，而不是由人工智能系統(tǒng)本身引入的（另見(jiàn)6.7.4）。當(dāng)數(shù)據(jù)在人工智能系統(tǒng)中使用時(shí)，應(yīng)審查現(xiàn)有數(shù)據(jù)使用的治理和數(shù)據(jù)管理實(shí)踐。此外，對(duì)于行業(yè)分析等共享人工智能系統(tǒng)，可能需要額外的治理政策和管理控制。其他技術(shù)資產(chǎn)（例如算法、神經(jīng)網(wǎng)絡(luò)和自然語(yǔ)言處理系統(tǒng)）也可能需要對(duì)現(xiàn)有組織和治理政策進(jìn)行類(lèi)似的增強(qiáng)。組織應(yīng)考慮將ISO/IEC38505-1中與數(shù)據(jù)使用相關(guān)的規(guī)定應(yīng)用于人工智能使用治理的以下方面：價(jià)值：數(shù)據(jù)的質(zhì)量和數(shù)量、及時(shí)性、使用環(huán)境和成本；風(fēng)險(xiǎn)：數(shù)據(jù)安全、濫用和隱私，以及不利用數(shù)據(jù)所涉及的競(jìng)爭(zhēng)風(fēng)險(xiǎn)；約束：法律要求、合同義務(wù)、版權(quán)或商業(yè)利益。另見(jiàn)A.3關(guān)于數(shù)據(jù)使用的治理。數(shù)據(jù)及其在組織中的使用對(duì)于所有組織及其相關(guān)方來(lái)說(shuō)都是一個(gè)日益重要的問(wèn)題。根據(jù)ISO/IEC38505-1中概述的治理原則、模型和數(shù)據(jù)特定方面，治理機(jī)構(gòu)應(yīng)采取行動(dòng)，確保組織數(shù)據(jù)使用的有效治理和投資，并處理其中涉及的風(fēng)險(xiǎn)。這包括確保為正確的目的使用正確的數(shù)據(jù)。文化與價(jià)值觀(guān)治理機(jī)構(gòu)負(fù)責(zé)根據(jù)相關(guān)方、市場(chǎng)和監(jiān)管機(jī)構(gòu)的要求，以及社會(huì)對(duì)組織運(yùn)營(yíng)和影響的期望變化，來(lái)定義組織所期望的文化和價(jià)值觀(guān)。治理機(jī)構(gòu)應(yīng)當(dāng)了解《世界人權(quán)宣言》《約翰內(nèi)斯堡可持續(xù)發(fā)展宣言》及其他文書(shū)所反映的新興指導(dǎo)和國(guó)際行為準(zhǔn)則。更多細(xì)節(jié)參見(jiàn)ISO26000:2010，3.3.2。組織的任何決策或行動(dòng)都應(yīng)與其文化和價(jià)值觀(guān)保持一致。然而，組織的許多文化和價(jià)值觀(guān)都隱含在其員工的行為和過(guò)程中。人工智能系統(tǒng)沒(méi)有人類(lèi)的理解能力，無(wú)法理解語(yǔ)境、常識(shí)、道德或知識(shí)來(lái)指導(dǎo)其輸出。相反，人工智能系統(tǒng)依靠模型、算法或訓(xùn)練數(shù)據(jù)來(lái)實(shí)現(xiàn)類(lèi)似的結(jié)果。出于這些原因，治理機(jī)構(gòu)應(yīng)當(dāng)明確其文化和價(jià)值觀(guān)，并擁有適當(dāng)?shù)闹卫頇C(jī)制和政策，以確保在需要時(shí)可以監(jiān)視和糾正人工智能系統(tǒng)的行為。在某些情況下，應(yīng)當(dāng)限制人工智能系統(tǒng)的范圍和影響，并通過(guò)人類(lèi)行動(dòng)加以增強(qiáng)，以確保治理政策得以實(shí)施。實(shí)現(xiàn)這一目標(biāo)的方式將因情況而異。同樣，人工智能系統(tǒng)可以幫助識(shí)別人類(lèi)決策中的缺陷（例如，由于不適當(dāng)?shù)钠?jiàn)或歧視，或由于推理或推斷不當(dāng)），從而為治理機(jī)構(gòu)隨后可以解決的問(wèn)題提供對(duì)組織的見(jiàn)解。這給組織的治理帶來(lái)了未來(lái)的挑戰(zhàn)。根據(jù)打算使用的人工智能系統(tǒng)的性質(zhì)和目的，組織可能需要明確監(jiān)督這些系統(tǒng)，以確保它們符合組織的文化和價(jià)值觀(guān)。治理機(jī)制可以采取“文化與價(jià)值觀(guān)委員會(huì)”或“倫理審查委員會(huì)”的形式。監(jiān)督可以包括在批準(zhǔn)敏感或高風(fēng)險(xiǎn)的人工智能系統(tǒng)項(xiàng)目之前進(jìn)行審查，或滿(mǎn)足某些升級(jí)標(biāo)準(zhǔn)。該領(lǐng)域的其他組織政策可以要求在人工智能系統(tǒng)中使用技術(shù)控制，以協(xié)助遵守這些方針。有關(guān)人工智能使用的倫理和社會(huì)問(wèn)題的更多信息，請(qǐng)參閱ISO/IECTR243684。合規(guī)合規(guī)義務(wù)為確保組織履行其合規(guī)義務(wù)，組織應(yīng)建立持續(xù)的合規(guī)過(guò)程。為了有效實(shí)施，合規(guī)過(guò)程應(yīng)由組織領(lǐng)導(dǎo)層塑造，并融入組織文化中。如ISO37301中所述，合規(guī)管理體系滿(mǎn)足這些要求，并幫助組織展示其履行義務(wù)和滿(mǎn)足相關(guān)方期望的承諾。治理機(jī)構(gòu)應(yīng)尋求保證，管理層配置和維護(hù)組織使用的任何人工智能系統(tǒng)，以滿(mǎn)足組織的合規(guī)義務(wù)并避免違規(guī)行為。違規(guī)行為的例子包括違反反壟斷法律要求的定價(jià)機(jī)制，或使用侵犯公民權(quán)利或具有歧視性的數(shù)據(jù)進(jìn)行訓(xùn)練。合規(guī)性關(guān)注運(yùn)營(yíng)人員的行為。在某些情況下，人工智能可以減少人類(lèi)行為的影響，從而降低因人類(lèi)行為而導(dǎo)致的不合規(guī)風(fēng)險(xiǎn)。因此，人為因素現(xiàn)在被提升或轉(zhuǎn)向那些設(shè)計(jì)、開(kāi)發(fā)和實(shí)施人工智能系統(tǒng)的人員。這種轉(zhuǎn)變?cè)谝庾R(shí)、培訓(xùn)和監(jiān)視方面帶來(lái)了全新的挑戰(zhàn)。在審查人工智能在組織及其合規(guī)義務(wù)中的作用時(shí)，治理機(jī)構(gòu)應(yīng)解決以下事項(xiàng)：相關(guān)方對(duì)人工智能使用和影響的期望（確保它們與現(xiàn)有方針和合規(guī)義務(wù)相一致）；人工智能在組織內(nèi)使用的文化影響，例如人工智能系統(tǒng)的日益復(fù)雜化可能導(dǎo)致員工認(rèn)為其無(wú)錯(cuò)誤。組織應(yīng)建立適當(dāng)?shù)倪^(guò)程來(lái)驗(yàn)證人工智能系統(tǒng)的輸出；組織使用人工智能的程度；人工智能對(duì)組織合規(guī)要求的影響；使用人工智能導(dǎo)致的組織風(fēng)險(xiǎn)偏好的變化；現(xiàn)有監(jiān)督過(guò)程、結(jié)構(gòu)和控制解決人工智能特定方面的程度；使用人工智能對(duì)組織內(nèi)問(wèn)責(zé)結(jié)構(gòu)的影響；應(yīng)根據(jù)人工智能使用所帶來(lái)的影響（例如，設(shè)計(jì)和解決方案可能難以解釋并經(jīng)常發(fā)生變化）評(píng)估現(xiàn)有的合規(guī)管理體系，這可能包括例如擴(kuò)展合規(guī)方針，或擴(kuò)大定期風(fēng)險(xiǎn)評(píng)估；個(gè)人是否受到受法律或組織方針約束的人工智能系統(tǒng)使用或創(chuàng)建的個(gè)人數(shù)據(jù)的影響。合規(guī)管理采用合規(guī)管理體系標(biāo)準(zhǔn)，組織可以以一種綜合的方式將其特定的管理要求（例如安全、質(zhì)量和隱私）疊加到其管理體系上。這使得由于使用人工智能而向管理體系中添加額外的合規(guī)措施變得更加容易。在合規(guī)管理層面，應(yīng)特別注意以下幾點(diǎn)：擴(kuò)展合規(guī)過(guò)程，以適應(yīng)人工智能系統(tǒng)的速度、范圍或復(fù)雜性（例如，提高監(jiān)視水平或頻率）；要求對(duì)人工智能系統(tǒng)做出的決策進(jìn)行人工重新評(píng)估；增設(shè)控制措施，以確保人工智能系統(tǒng)保持在所需的合規(guī)條件下；確保用于模型構(gòu)建或訓(xùn)練的數(shù)據(jù)使用符合方針；使用人工智能來(lái)監(jiān)視其他人工智能系統(tǒng)，以及可能需要的額外監(jiān)視或警報(bào)。組織應(yīng)使用合規(guī)管理體系來(lái)評(píng)估任何計(jì)劃使用的人工智能的影響。管理體系內(nèi)人工智能的可能用途應(yīng)成為此評(píng)估的一部分。風(fēng)險(xiǎn)風(fēng)險(xiǎn)偏好與管理無(wú)論以何種方式執(zhí)行，組織的治理都包括定義組織的目的和目標(biāo)，以及實(shí)現(xiàn)這些目的和目標(biāo)的策略。在考慮其策略時(shí)，組織的治理機(jī)構(gòu)會(huì)決定為追求其目標(biāo)而愿意承受的風(fēng)險(xiǎn)程度（即風(fēng)險(xiǎn)偏好）。為了保持在這一風(fēng)險(xiǎn)偏好之內(nèi)，并協(xié)助治理機(jī)構(gòu)就風(fēng)險(xiǎn)偏好做出決策，組織會(huì)建立風(fēng)險(xiǎn)管理過(guò)程。風(fēng)險(xiǎn)管理涉及為組織匯集相關(guān)信息以做出決策并應(yīng)對(duì)風(fēng)險(xiǎn)。雖然治理機(jī)構(gòu)會(huì)定義總體風(fēng)險(xiǎn)偏好和組織目標(biāo)，但它會(huì)將識(shí)別、評(píng)估和處理風(fēng)險(xiǎn)的決策過(guò)程委托給組織內(nèi)的管理層。治理和管理在應(yīng)對(duì)風(fēng)險(xiǎn)方面的不同角色將在以下文件中進(jìn)行討論：本文件，其中描述了組織在開(kāi)發(fā)、采購(gòu)或使用人工智能系統(tǒng)方面需要考慮的其他治理因素。這些因素包括新機(jī)遇、風(fēng)險(xiǎn)偏好的潛在變化，以及確保組織負(fù)責(zé)任地使用人工智能系統(tǒng)的新治理政策；ISO/IEC23894，其中描述了組織內(nèi)應(yīng)執(zhí)行的管理過(guò)程，以應(yīng)對(duì)引入人工智能系統(tǒng)給組織帶來(lái)的額外風(fēng)險(xiǎn)。處理風(fēng)險(xiǎn)既涉及治理機(jī)構(gòu)（它確定風(fēng)險(xiǎn)偏好并對(duì)此負(fù)責(zé)），也涉及管理層（它致力于將風(fēng)險(xiǎn)保持在商定的風(fēng)險(xiǎn)偏好范圍內(nèi)）。對(duì)當(dāng)前風(fēng)險(xiǎn)管理過(guò)程的審查應(yīng)特別檢查決策、數(shù)據(jù)使用、文化和價(jià)值觀(guān)以及合規(guī)性方面的風(fēng)險(xiǎn)是否得到了充分理解和管理。這樣，就可以明確人工智能系統(tǒng)給組織帶來(lái)的額外風(fēng)險(xiǎn)的背景。一旦確定了這些額外風(fēng)險(xiǎn)，治理機(jī)構(gòu)就更有可能：在設(shè)定組織目標(biāo)時(shí)充分考慮風(fēng)險(xiǎn)；了解組織在追求其目標(biāo)過(guò)程中面臨的風(fēng)險(xiǎn)；確保實(shí)施并有效運(yùn)行管理此類(lèi)風(fēng)險(xiǎn)的系統(tǒng)；確保此類(lèi)風(fēng)險(xiǎn)在組織的風(fēng)險(xiǎn)偏好之內(nèi)；確保有效傳達(dá)有關(guān)此類(lèi)風(fēng)險(xiǎn)及其管理的信息（例如，使用ISO31000:2018,5.2）。風(fēng)險(xiǎn)管理風(fēng)險(xiǎn)管理是組織所有活動(dòng)的核心部分。盡管人工智能系統(tǒng)可以為組織帶來(lái)益處，但組織在決策、數(shù)據(jù)使用以及組織所期望的文化和價(jià)值觀(guān)方面的良好治理目標(biāo)應(yīng)進(jìn)行修訂，以考慮使用人工智能可能帶來(lái)的影響。組織努力保護(hù)其原則和價(jià)值觀(guān)、身份和聲譽(yù)、相關(guān)方、市場(chǎng)、環(huán)境，并進(jìn)一步保護(hù)其行動(dòng)自由，以取得成功。為了應(yīng)對(duì)人工智能帶來(lái)的風(fēng)險(xiǎn)，治理機(jī)構(gòu)應(yīng)制定：適當(dāng)?shù)膬?nèi)部規(guī)則和方針；適當(dāng)?shù)奶囟ㄗ咏M織、過(guò)程和工具，旨在保證或強(qiáng)制執(zhí)行良好治理所依賴(lài)的價(jià)值觀(guān)、原則和內(nèi)部控制。此外，治理機(jī)構(gòu)應(yīng)確保組織的承包商和分包商遵守相同的實(shí)踐準(zhǔn)則和政策。這些措施為任何相關(guān)方提供了識(shí)別和報(bào)告與不合規(guī)的人工智能系統(tǒng)相關(guān)的行為的手段，并獲得有意義和充分的回應(yīng)。在涉及復(fù)雜的供應(yīng)鏈以及聲譽(yù)、財(cái)務(wù)或其他風(fēng)險(xiǎn)可能累積到主要承包商或采購(gòu)者的情況下，這些措施尤為重要。組織應(yīng)清晰了解在不同組織的風(fēng)險(xiǎn)承受度發(fā)揮作用的合同關(guān)系中使用人工智能的影響。圖4展示了以下方面的示例：組織正在追求的目標(biāo)（如保護(hù)其聲譽(yù)）；使用人工智能可能給組織帶來(lái)的額外風(fēng)險(xiǎn)源；可用于處理風(fēng)險(xiǎn)的一些技術(shù)和組織控制措施。目標(biāo)組織希望通過(guò)風(fēng)險(xiǎn)管理過(guò)程保護(hù)的目標(biāo)不僅包括資產(chǎn)（如數(shù)據(jù)、信息系統(tǒng)、應(yīng)用程序代碼、算法和設(shè)備）的保護(hù)，還包括其應(yīng)盡的職責(zé)、文化和價(jià)值觀(guān)、聲譽(yù)以及戰(zhàn)略。圖4展示了組織正在追求的目標(biāo)的示例：可說(shuō)明性與責(zé)任性。治理機(jī)構(gòu)應(yīng)保持其對(duì)組織內(nèi)部和外部使用人工智能的責(zé)任的可說(shuō)明性與監(jiān)督。聲譽(yù)與信任。此處考慮的風(fēng)險(xiǎn)視角是針對(duì)組織本身的。然而，組織并非孤立存在，因此應(yīng)考慮其相關(guān)方和運(yùn)營(yíng)環(huán)境。影響相關(guān)方（如客戶(hù)和供應(yīng)商）的風(fēng)險(xiǎn)的后果和可能性應(yīng)是組織風(fēng)險(xiǎn)方面的關(guān)鍵考慮因素。盡責(zé)義務(wù)。組織對(duì)其內(nèi)部和外部相關(guān)方負(fù)有責(zé)任，并可能負(fù)有法律上的盡責(zé)義務(wù)。這可能涉及確保所有相關(guān)方的福祉和保護(hù)其權(quán)利的義務(wù)（例如，獲得重要的金融、健康或住房服務(wù)，以及人權(quán)，包括行動(dòng)自由或隱私權(quán)），這取決于司法管轄區(qū)，并可能產(chǎn)生監(jiān)管或法律后果。在盡責(zé)義務(wù)存在重大風(fēng)險(xiǎn)的情況下，治理機(jī)構(gòu)應(yīng)要求采取額外的組織控制措施，以有效處理此類(lèi)風(fēng)險(xiǎn)，并確保它們不超過(guò)組織的風(fēng)險(xiǎn)承受度（參見(jiàn)6.7.5中的示例）。安全性。當(dāng)使用人工智能系統(tǒng)存在重大的人身或情感傷害風(fēng)險(xiǎn)時(shí)，組織應(yīng)特別警惕這種傷害的性質(zhì)和后果。必要時(shí)，組織應(yīng)建立適當(dāng)?shù)南到y(tǒng)，以持續(xù)管理安全性，并考慮如何使用人工智能減少人類(lèi)接觸危險(xiǎn)活動(dòng)的風(fēng)險(xiǎn)。安全與隱私。組織應(yīng)確保其運(yùn)營(yíng)的安全性，尤其是在需要保密和個(gè)人隱私重要的情況下。使用人工智能不應(yīng)改變這些目標(biāo)，特別是考慮到人工智能系統(tǒng)能夠從數(shù)據(jù)模式中推斷出新信息的能力。數(shù)據(jù)。數(shù)據(jù)是組織的重要資源，其保護(hù)和完整性應(yīng)成為組織的目標(biāo)。透明度。組織決策的透明度可能是治理機(jī)構(gòu)希望維持的目標(biāo)。相關(guān)方期望至少了解解釋組織如何做出決策的一些重要輸入和變量，而無(wú)論做出該決策時(shí)使用了多少自動(dòng)化。其中一些目標(biāo)在ISO/IECTR24368、ISO/IECTR24028以及ISO31050中進(jìn)行了深入探討。風(fēng)險(xiǎn)來(lái)源組織應(yīng)預(yù)期，根據(jù)人工智能系統(tǒng)應(yīng)用的領(lǐng)域范圍和性質(zhì)以及部署的人工智能系統(tǒng)類(lèi)型，會(huì)有額外的風(fēng)險(xiǎn)來(lái)源。人工智能的某些用途將是受限和可控的，給組織帶來(lái)很少或沒(méi)有額外的風(fēng)險(xiǎn)。而其他用途則會(huì)帶來(lái)組織中以前未曾出現(xiàn)過(guò)的重大風(fēng)險(xiǎn)。此外，如ISO/IEC23894所述，用于人工智能系統(tǒng)開(kāi)發(fā)和應(yīng)用的較不成熟技術(shù)可能會(huì)給組織帶來(lái)未知或難以評(píng)估的風(fēng)險(xiǎn)。另一方面，對(duì)于成熟技術(shù)，可以獲得更多種類(lèi)的經(jīng)驗(yàn)數(shù)據(jù)，從而使風(fēng)險(xiǎn)更易于識(shí)別和評(píng)估。一套表征人工智能系統(tǒng)成熟度的“就緒水平”可用于評(píng)估和監(jiān)測(cè)風(fēng)險(xiǎn)。由于這些項(xiàng)目中的任何一個(gè)都可能影響任何其他項(xiàng)目，因此無(wú)法直接將資產(chǎn)、價(jià)值觀(guān)和目標(biāo)映射到風(fēng)險(xiǎn)來(lái)源或風(fēng)險(xiǎn)控制上。圖4中所示的風(fēng)險(xiǎn)來(lái)源示例與人工智能的使用有關(guān)，盡管這些來(lái)源也適用于許多其他技術(shù)或過(guò)程。組織應(yīng)預(yù)期，根據(jù)所使用的人工智能系統(tǒng)的范圍和性質(zhì)，會(huì)有額外的風(fēng)險(xiǎn)來(lái)源。所示示例包括：數(shù)據(jù)來(lái)源。由于數(shù)據(jù)用于構(gòu)建和訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)中的模型，因此數(shù)據(jù)的質(zhì)量和適用性至關(guān)重要，并應(yīng)與系統(tǒng)的預(yù)期用途和目標(biāo)相一致。操縱數(shù)據(jù)可能允許進(jìn)行對(duì)抗性攻擊，從而導(dǎo)致模型中毒和錯(cuò)誤分類(lèi)。不明確的規(guī)格。在傳統(tǒng)的軟件開(kāi)發(fā)中，問(wèn)題的性質(zhì)及其解決方案是緊密相關(guān)的，因?yàn)橄嚓P(guān)人員對(duì)兩者都使用類(lèi)似的方法。然而，人工智能系統(tǒng)可以在系統(tǒng)最初設(shè)計(jì)和開(kāi)發(fā)之后的很長(zhǎng)時(shí)間內(nèi)以非常不同的方式到達(dá)解決方案，因此問(wèn)題規(guī)格、系統(tǒng)要求、設(shè)計(jì)系統(tǒng)目標(biāo)和包含的行為邊界的準(zhǔn)確性、清晰度和范圍都可能發(fā)揮重要作用。價(jià)值鏈。人工智能系統(tǒng)的供應(yīng)和分銷(xiāo)可能包括風(fēng)險(xiǎn)，如組織外部人員使用人工智能系統(tǒng)。價(jià)值鏈中不同方之間的責(zé)任應(yīng)明確定義并達(dá)成一致。不必要的偏見(jiàn)。人工智能系統(tǒng)中使用的算法、訓(xùn)練和測(cè)試數(shù)據(jù)以及機(jī)器學(xué)習(xí)模型通常旨在反映和預(yù)測(cè)現(xiàn)實(shí)世界的情況。由于其性質(zhì)，這些系統(tǒng)只是一個(gè)小樣本或視角，并可能產(chǎn)生反映樣本而非現(xiàn)實(shí)世界的結(jié)果。這可能導(dǎo)致不必要的偏見(jiàn)被放大。參見(jiàn)ISO/IECTR24027:—6）。缺乏機(jī)器學(xué)習(xí)可解釋性。風(fēng)險(xiǎn)源于人工智能系統(tǒng)的復(fù)雜性。這可能使得很難解釋人工智能系統(tǒng)是如何得出特定結(jié)論的。這與傳統(tǒng)IT系統(tǒng)不同，在傳統(tǒng)IT系統(tǒng)中，人類(lèi)定義了確定答案的算法程序?？梢詫?duì)人類(lèi)進(jìn)行質(zhì)詢(xún)、復(fù)核、根據(jù)其地位和聲譽(yù)進(jìn)行評(píng)估并要求其負(fù)責(zé)，并且可以對(duì)任何代碼進(jìn)行測(cè)試，以確保其產(chǎn)生了預(yù)測(cè)的響應(yīng)。缺乏人工智能專(zhuān)業(yè)知識(shí)。使用人工智能需要不同于傳統(tǒng)軟件開(kāi)發(fā)的技能，盡管也需要那些技能。額外的技能包括對(duì)數(shù)據(jù)分析和統(tǒng)計(jì)學(xué)、建模和算法設(shè)計(jì)以及測(cè)試的理解，以及倫理和同理心等人類(lèi)技能。網(wǎng)絡(luò)威脅。一些人工智能系統(tǒng)的實(shí)施可能容易受到特定且難以識(shí)別的網(wǎng)絡(luò)威脅的攻擊，這些威脅幾乎不會(huì)留下任何可見(jiàn)的痕跡。其他風(fēng)險(xiǎn)來(lái)源與人工智能的使用及其對(duì)人類(lèi)的間接影響有關(guān)。例如：技能空洞化。人工智能在常規(guī)決策角色中的使用增加意味著人類(lèi)隨著時(shí)間的推移越來(lái)越少地接觸經(jīng)驗(yàn)。員工經(jīng)驗(yàn)的減少（“代理萎縮”）將消除加強(qiáng)人類(lèi)技能、決策能力和專(zhuān)業(yè)知識(shí)的機(jī)會(huì)。這種人類(lèi)技能發(fā)展的空洞化對(duì)組織和整個(gè)社會(huì)來(lái)說(shuō)都是一個(gè)風(fēng)險(xiǎn)。合同問(wèn)題。治理機(jī)構(gòu)應(yīng)確保在使用人工智能系統(tǒng)時(shí)，適用的合同、法律和最佳實(shí)踐仍然有效。在許多人工智能應(yīng)用中，系統(tǒng)最初并且可能持續(xù)地從其宿主組織的數(shù)據(jù)和實(shí)踐中學(xué)習(xí)。這獨(dú)特地使人工智能系統(tǒng)以其服務(wù)組織的方式反映出來(lái)，這種方式可能會(huì)影響合同、法律和最佳實(shí)踐的適用性。環(huán)境問(wèn)題。治理機(jī)構(gòu)應(yīng)考慮由于人工智能訓(xùn)練和數(shù)據(jù)處理導(dǎo)致的能源消耗所帶來(lái)的碳排放風(fēng)險(xiǎn)。它還應(yīng)考慮由于加速淘汰硬件以支持更新的具備人工智能能力的云和邊緣設(shè)備而導(dǎo)致的污染和資源枯竭風(fēng)險(xiǎn)。個(gè)人自主權(quán)。人工智能的使用越來(lái)越多地決定著個(gè)人在新聞、娛樂(lè)、互動(dòng)、產(chǎn)品和服務(wù)方面遇到的選擇范圍。盡管單獨(dú)來(lái)看很小，但這些決定的頻率和普及程度的增加意味著治理機(jī)構(gòu)應(yīng)考慮人工智能使用對(duì)人類(lèi)自主權(quán)的影響，無(wú)論是對(duì)個(gè)人還是社區(qū)。錯(cuò)失的機(jī)會(huì)。治理機(jī)構(gòu)有時(shí)過(guò)于保守，無(wú)法利用新的機(jī)會(huì)。如果治理機(jī)構(gòu)不抓住人工智能提供的機(jī)會(huì)，組織可能會(huì)面臨來(lái)自抓住這些機(jī)會(huì)的組織的更大競(jìng)爭(zhēng)。控制措施控制措施旨在維持或修改風(fēng)險(xiǎn)，以確保其保持在組織風(fēng)險(xiǎn)承受范圍之內(nèi)。這些控制措施可以是組織控制措施，如通過(guò)管理結(jié)構(gòu)、審查委員會(huì)或管理過(guò)程實(shí)施的控制措施，也可以是技術(shù)控制措施，如通過(guò)數(shù)據(jù)庫(kù)訪(fǎng)問(wèn)限制、軟件代碼或數(shù)據(jù)過(guò)濾等措施實(shí)施的控制措施。圖4所示的控制措施只是與人工智能系統(tǒng)相關(guān)的控制措施的一小部分。圖4展示了以下風(fēng)險(xiǎn)控制措施的示例：適用性。對(duì)人工智能系統(tǒng)的描述，包括其算法、數(shù)據(jù)和模型等，應(yīng)足夠透明，以確保其適用于預(yù)期用途；倫理審查委員會(huì)。對(duì)于組織確定的高風(fēng)險(xiǎn)、高相關(guān)方影響或其他閾值的應(yīng)用程序，常見(jiàn)的風(fēng)險(xiǎn)控制措施是使用倫理審查委員會(huì)，以確保與組織的文化和價(jià)值觀(guān)保持一致；管理過(guò)程。設(shè)計(jì)和實(shí)施管理過(guò)程是一種常見(jiàn)做法，用于滿(mǎn)足質(zhì)量、安全、隱私和合規(guī)性等要求?？梢詾榕c人工智能系統(tǒng)相關(guān)的要求構(gòu)建類(lèi)似的過(guò)程；技術(shù)控制。嵌入在軟件中的技術(shù)控制可以實(shí)施行動(dòng)，以幫助處理一些風(fēng)險(xiǎn)。例如，參見(jiàn)ISO/IECTR24029-1；教育與培訓(xùn)。參與人工智能使用所有階段的人員都應(yīng)接受充分的培訓(xùn)，以確保他們獲得并部署所需的技能。（規(guī)范性）：治理和組織決策相關(guān)治理標(biāo)準(zhǔn)概述總則ISO37000將組織的治理描述為一套系統(tǒng)，通過(guò)該系統(tǒng)，組織得以被指導(dǎo)、監(jiān)督和問(wèn)責(zé)，以實(shí)現(xiàn)其既定目標(biāo)。其基礎(chǔ)包括：設(shè)定組織的宗旨、使命、愿景、組織精神、組織價(jià)值觀(guān)和文化，為組織指明方向；引導(dǎo)戰(zhàn)略并適當(dāng)平衡資源以實(shí)現(xiàn)該宗旨；監(jiān)督組織的績(jī)效，確保合規(guī)性和可行性；與相關(guān)方互動(dòng)并向其報(bào)告。在信息技術(shù)領(lǐng)域，“治理”在ISO/IEC38500:2015中被定義為“指導(dǎo)和控制系統(tǒng)的”，即通過(guò)評(píng)估、指導(dǎo)和監(jiān)視信息技術(shù)的使用這三個(gè)主要任務(wù)來(lái)指導(dǎo)和控制組織。指導(dǎo)ISO/IEC38500:2015為治理機(jī)構(gòu)提供了指導(dǎo)，以便其在制定信息技術(shù)投資方向和信息技術(shù)應(yīng)實(shí)現(xiàn)的目標(biāo)方面的戰(zhàn)略和政策時(shí)分配責(zé)任。他們應(yīng)在其組織中鼓勵(lì)形成良好的信息技術(shù)治理文化，并指導(dǎo)提交提案以供批準(zhǔn)，以解決已確定的需求（見(jiàn)圖A.1）。責(zé)任組織的治理機(jī)構(gòu)負(fù)責(zé)整個(gè)組織的決策、行動(dòng)和不作為，并對(duì)組織的相關(guān)方負(fù)責(zé)。這種問(wèn)責(zé)制不可委托他人。組織利用人員、過(guò)程和技術(shù)來(lái)實(shí)現(xiàn)其目標(biāo)，并且無(wú)論利用何種資源，治理機(jī)構(gòu)都要對(duì)組織的結(jié)果負(fù)責(zé)。例如，如果組織內(nèi)部缺乏足夠的指導(dǎo)、培訓(xùn)、監(jiān)督和執(zhí)行來(lái)防止濫用行為的發(fā)生，那么治理機(jī)構(gòu)可以對(duì)工作人員濫用信息技術(shù)設(shè)備的行為負(fù)責(zé)并承擔(dān)相應(yīng)責(zé)任。同樣，由于對(duì)人工智能使用的治理不足，治理機(jī)構(gòu)也可能面臨風(fēng)險(xiǎn)?！叭斯ぶ悄艿目山邮苁褂谩笔怯山M織在其運(yùn)營(yíng)的各種環(huán)境中確定的，并且這種“可接受使用”可能會(huì)因環(huán)境而異。正是通過(guò)與相關(guān)方的互動(dòng)過(guò)程，組織才能理解“可接受使用”的含義，并將這些要求轉(zhuǎn)化為組織政策。這些政策將不僅反映適用的法律要求，還反映社會(huì)期望。與相關(guān)方互動(dòng)是組織治理的一項(xiàng)關(guān)鍵原則，它要求組織與相關(guān)方保持合理的互動(dòng)，以確保組織能夠隨著時(shí)間的推移創(chuàng)造利益，并且以相關(guān)方可接受的方式這樣做。這種關(guān)系可能要求法律或道德義務(wù)，以及符合組織運(yùn)營(yíng)所在社會(huì)、經(jīng)濟(jì)和環(huán)境中的規(guī)范或預(yù)期行為。監(jiān)督ISO37000:2021中6.4.1規(guī)定，治理機(jī)構(gòu)應(yīng)監(jiān)督組織的績(jī)效，以確保其符合治理機(jī)構(gòu)對(duì)組織的意圖和期望，以及其道德行為和合規(guī)義務(wù)。組織政策反映了適用的法律和社會(huì)義務(wù)。它們還包括與組織目標(biāo)相一致并推動(dòng)組織實(shí)現(xiàn)這些目標(biāo)的政策。為了對(duì)其相關(guān)方負(fù)責(zé)，治理機(jī)構(gòu)將遵守組織政策作為保持對(duì)組織有效控制的一種手段。治理機(jī)構(gòu)還負(fù)責(zé)確定組織在實(shí)現(xiàn)其目標(biāo)過(guò)程中準(zhǔn)備面臨的風(fēng)險(xiǎn)的性質(zhì)和程度。一旦確定了這種風(fēng)險(xiǎn)承受能力，它就會(huì)監(jiān)督對(duì)該風(fēng)險(xiǎn)