ISO∕IEC 42001-2023《信息技術(shù)-人工智能-管理體系》之15：“9績效評價(jià)”解讀和應(yīng)用指導(dǎo)材料（雷澤佳編制-2024A0）

ISO/IEC42001-2023《信息技術(shù)-人工智能-管理體系》之15“9績效評價(jià)”解讀和應(yīng)用指導(dǎo)材料ISO/IEC42001-2023《信息技術(shù)-人工智能-管理體系》之15“9績效評價(jià)”解讀和應(yīng)用指導(dǎo)材料ISO/IEC42001-2023《信息技術(shù)-人工智能-管理體系》ISO/IEC42001-2023《信息技術(shù)-人工智能-管理體系》9績效評價(jià)9.1監(jiān)視、測量、分析和評價(jià)組織應(yīng)確定：——需要監(jiān)視和測量什么；——需要用什么方法進(jìn)行監(jiān)視、測量、分析和評價(jià)，以確保結(jié)果有效；——何時(shí)實(shí)施監(jiān)視和測量；——何時(shí)對監(jiān)視和測量的結(jié)果進(jìn)行分析和評價(jià)。成文信息應(yīng)作為結(jié)果證據(jù)可獲取。組織應(yīng)評價(jià)人工智能管理體系的績效和有效性。9績效評價(jià)9.1監(jiān)視、測量、分析和評價(jià)監(jiān)視、測量、分析和評價(jià)有關(guān)的術(shù)語績效：可測量的結(jié)果?？冃У亩x：可測量的結(jié)果。這一定義明確了績效是可量化或可評估的結(jié)果，是評價(jià)組織活動(dòng)、過程、產(chǎn)品或服務(wù)效果的重要指標(biāo)；績效的特性：定量與定性結(jié)果：績效可能涉及定量的結(jié)果（如具體的數(shù)值或百分比），也可能涉及定性的結(jié)果（如客戶反饋或滿意度）；多維度相關(guān)性：績效可能與組織的各種活動(dòng)、過程、產(chǎn)品、服務(wù)、體系或組織整體的管理有關(guān)，是一個(gè)多維度的評價(jià)指標(biāo)?？冃г谌斯ぶ悄芄芾眢w系中的應(yīng)用；人工智能系統(tǒng)績效：績效既指使用人工智能系統(tǒng)取得的結(jié)果，這包括人工智能系統(tǒng)在實(shí)際應(yīng)用中的效能、效率以及達(dá)到預(yù)期目標(biāo)的情況；管理體系績效：績效也指與人工智能管理體系相關(guān)的結(jié)果，這涵蓋了管理體系的有效性、持續(xù)改進(jìn)的效果以及對人工智能系統(tǒng)管理和使用過程的監(jiān)控結(jié)果?？冃ПO(jiān)視與測量的重要性：績效的監(jiān)視、測量、分析和評價(jià)是人工智能管理體系中不可或缺的一部分。通過持續(xù)監(jiān)視和測量績效，組織可以了解人工智能系統(tǒng)的運(yùn)行情況，評估管理體系的有效性，并根據(jù)評估結(jié)果進(jìn)行必要的調(diào)整和改進(jìn)。這對于確保人工智能系統(tǒng)的穩(wěn)定運(yùn)行、優(yōu)化資源配置、提升組織的競爭力具有重要意義。測量：確定數(shù)值的過程。測量的定義；測量是一個(gè)過程，這個(gè)過程的目標(biāo)是得出一個(gè)或多個(gè)具體的數(shù)值；這些數(shù)值通常是對某種特性、性能、狀態(tài)或結(jié)果的量化表達(dá)，它涉及對各種指標(biāo)、性能參數(shù)、風(fēng)險(xiǎn)等進(jìn)行量化和賦值的過程。測量的重要性；在人工智能管理體系中，測量是評估、監(jiān)控和改進(jìn)人工智能系統(tǒng)性能的基礎(chǔ)；通過測量獲得的數(shù)值數(shù)據(jù)，組織可以客觀地了解人工智能系統(tǒng)的運(yùn)行狀態(tài)、效率和效果。測量的應(yīng)用范圍。測量可以應(yīng)用于人工智能系統(tǒng)的各個(gè)方面，如模型的準(zhǔn)確性、處理速度、資源消耗等；它還涉及對管理體系自身性能的測量，如流程效率、風(fēng)險(xiǎn)控制效果等。監(jiān)視：確定體系、過程或活動(dòng)的狀態(tài)。監(jiān)視的目的：監(jiān)視的主要目的是確定人工智能管理體系、過程或活動(dòng)的狀態(tài)，以確保它們按照既定的標(biāo)準(zhǔn)、目標(biāo)和期望進(jìn)行；監(jiān)視的范圍：監(jiān)視的范圍包括整個(gè)組織范圍內(nèi)的人工智能管理體系，以及與之相關(guān)的過程和活動(dòng)。這涵蓋了從人工智能系統(tǒng)的開發(fā)、部署、使用到持續(xù)改進(jìn)的整個(gè)生命周期；監(jiān)視的重要性：由于人工智能系統(tǒng)可能會(huì)持續(xù)學(xué)習(xí)和改變其行為，監(jiān)視對于確保系統(tǒng)持續(xù)可靠、透明和公平地運(yùn)行至關(guān)重要。通過持續(xù)監(jiān)視，組織可以及時(shí)發(fā)現(xiàn)潛在的問題，并采取必要的措施進(jìn)行糾正；監(jiān)視的內(nèi)容：監(jiān)視的內(nèi)容可能包括但不限于系統(tǒng)的性能、數(shù)據(jù)質(zhì)量、安全性、公平性、透明度以及整個(gè)生命周期的質(zhì)量。此外，還需要監(jiān)視供方、合作伙伴和第三方提供或開發(fā)人工智能系統(tǒng)的活動(dòng)，以確保它們符合組織的標(biāo)準(zhǔn)和期望；確定狀態(tài)的方法：確定狀態(tài)可能需要進(jìn)行檢查、監(jiān)督或嚴(yán)格觀察。這包括了對體系、過程或活動(dòng)的各個(gè)方面進(jìn)行觀察和評估，以確保它們按照預(yù)期運(yùn)行并達(dá)到設(shè)定的標(biāo)準(zhǔn)或要求。監(jiān)視、測量、分析和評價(jià)的策劃；組織應(yīng)確定監(jiān)視和測量的內(nèi)容；組織應(yīng)明確哪些是需要監(jiān)視和測量的關(guān)鍵領(lǐng)域或要素，這些可能包括人工智能系統(tǒng)的性能、準(zhǔn)確性、安全性、合規(guī)性、用戶滿意度等方面。人工智能系統(tǒng)性能監(jiān)視：組織需要監(jiān)視人工智能系統(tǒng)的性能，確保其按照預(yù)期運(yùn)行并提供準(zhǔn)確結(jié)果。這可能涉及系統(tǒng)的響應(yīng)時(shí)間、處理速度、預(yù)測準(zhǔn)確性等指標(biāo)；準(zhǔn)確性驗(yàn)證：對于依賴人工智能系統(tǒng)做出決策或提供服務(wù)的組織，確保系統(tǒng)輸出結(jié)果的準(zhǔn)確性至關(guān)重要。組織應(yīng)定期驗(yàn)證系統(tǒng)準(zhǔn)確性，以評估系統(tǒng)性能并識別潛在的改進(jìn)領(lǐng)域；安全性評估：由于人工智能系統(tǒng)可能涉及敏感數(shù)據(jù)或影響關(guān)鍵業(yè)務(wù)決策，因此組織需要對其安全性進(jìn)行持續(xù)評估。這包括識別潛在的安全漏洞、實(shí)施適當(dāng)?shù)姆雷o(hù)措施以及監(jiān)控未經(jīng)授權(quán)的訪問或修改嘗試。合規(guī)性檢查：隨著數(shù)據(jù)保護(hù)法規(guī)的不斷發(fā)展和完善，組織需要確保其人工智能系統(tǒng)的運(yùn)行符合相關(guān)法規(guī)要求。這可能涉及用戶隱私、數(shù)據(jù)保護(hù)、算法公平性等方面的合規(guī)性檢查；用戶滿意度監(jiān)測：人工智能系統(tǒng)的最終目的是為用戶提供有價(jià)值的服務(wù)或支持決策過程。因此，組織應(yīng)定期監(jiān)測用戶滿意度，以了解系統(tǒng)是否滿足用戶期望，并根據(jù)反饋進(jìn)行必要的調(diào)整和改進(jìn)。確定監(jiān)視和測量的方法：制定適當(dāng)?shù)谋O(jiān)視和測量方法：組織應(yīng)依據(jù)其人工智能管理體系的特點(diǎn)和需求，制定合適的監(jiān)視和測量方法。這些方法應(yīng)確保能夠準(zhǔn)確、有效地收集和分析所需的數(shù)據(jù)，從而支持對人工智能系統(tǒng)性能、合規(guī)性和風(fēng)險(xiǎn)等方面的持續(xù)監(jiān)視和評估；典型監(jiān)視和測量方法的示例：雖然文檔中沒有直接列出典型的監(jiān)視和測量方法，但根據(jù)人工智能系統(tǒng)的特性和管理需求，可能的示例包括：性能監(jiān)控工具、日志分析工具、風(fēng)險(xiǎn)評估框架、審計(jì)流程等。這些方法和工具可以幫助組織實(shí)時(shí)跟蹤人工智能系統(tǒng)的運(yùn)行狀態(tài)，分析潛在的風(fēng)險(xiǎn)和問題，并基于分析結(jié)果制定改進(jìn)措施；使用特定的工具、技術(shù)或流程：為實(shí)現(xiàn)上述目標(biāo)，組織可能需要采用特定的工具、技術(shù)或流程來收集、處理和分析數(shù)據(jù)。這些工具和技術(shù)可以是專門用于監(jiān)視人工智能系統(tǒng)性能和行為的軟件、硬件或云服務(wù)，也可以是通用的數(shù)據(jù)分析工具或方法。同時(shí)，組織也可能需要設(shè)計(jì)或?qū)嵤┮惶琢鞒蹋_保數(shù)據(jù)收集、處理和分析的連貫性和一致性。確定監(jiān)視和測量的實(shí)施時(shí)機(jī)（時(shí)間）：實(shí)施時(shí)機(jī)：組織需要明確何時(shí)進(jìn)行監(jiān)視和測量活動(dòng)。這不僅僅是一個(gè)固定的時(shí)間點(diǎn)，而可能基于一系列靈活的考慮因素，如預(yù)定的時(shí)間表、特定事件的觸發(fā)，或是其他設(shè)定的標(biāo)準(zhǔn)；預(yù)定時(shí)間表：組織可能設(shè)定了周期性的監(jiān)視和測量時(shí)間表，如每日、每周、每月或年度的檢查，以確保人工智能系統(tǒng)的持續(xù)性能和穩(wěn)定性；事件觸發(fā)：除了預(yù)定的時(shí)間表外，某些特定事件或條件的發(fā)生也可能觸發(fā)監(jiān)視和測量活動(dòng)。例如，當(dāng)系統(tǒng)出現(xiàn)故障、性能下降或發(fā)生安全事件時(shí)，組織可能需要立即進(jìn)行監(jiān)視和測量以評估系統(tǒng)狀態(tài)；其他標(biāo)準(zhǔn)：除了預(yù)定時(shí)間表和事件觸發(fā)外，組織還可以根據(jù)其他標(biāo)準(zhǔn)確定監(jiān)視和測量的實(shí)施時(shí)機(jī)。這可能包括業(yè)務(wù)需求、法規(guī)要求、客戶反饋等，以確保在關(guān)鍵時(shí)刻獲得關(guān)鍵數(shù)據(jù)。確定分析和評價(jià)監(jiān)視和測量結(jié)果的時(shí)機(jī)（時(shí)間）：分析評價(jià)時(shí)機(jī)的規(guī)定：組織應(yīng)明確規(guī)定對監(jiān)視和測量結(jié)果進(jìn)行分析和評價(jià)的時(shí)機(jī)；定期分析和評價(jià)：這可能包括定期（如每季度、每年）審查監(jiān)視和測量得到的數(shù)據(jù)，以識別長期趨勢或模式；即時(shí)分析和評價(jià)：在特定事件或情況下，組織也需要進(jìn)行即時(shí)分析和評價(jià)，如系統(tǒng)故障、用戶反饋異?；蛐阅芟陆禃r(shí)，以便迅速識別問題并采取相應(yīng)措施；識別趨勢和問題：通過定期和即時(shí)的分析和評價(jià)，組織可以識別出潛在的趨勢、問題或改進(jìn)機(jī)會(huì)，這有助于組織持續(xù)改進(jìn)其人工智能管理體系。監(jiān)視、測量、分析和評價(jià)成文信息應(yīng)作為結(jié)果證據(jù)可獲取。保留監(jiān)視、測量、分析和評價(jià)的成文信息：所有與監(jiān)視、測量、分析和評價(jià)活動(dòng)相關(guān)的成文信息都應(yīng)被妥善保留，這些信息是管理體系有效運(yùn)行的證據(jù)，也是進(jìn)行內(nèi)部審核和管理評審的重要依據(jù)；確保信息的可獲取性：成文信息應(yīng)易于獲取，以便在需要時(shí)能夠快速查閱和使用，支持管理體系的持續(xù)改進(jìn)和優(yōu)化。組織應(yīng)評價(jià)人工智能管理體系的績效和有效性。績效與有效性評價(jià)的重要性；績效和有效性評價(jià)是組織在人工智能管理體系中不可或缺的環(huán)節(jié)；通過評價(jià)，組織可以了解人工智能管理體系的運(yùn)作情況，識別潛在問題，并采取相應(yīng)的改進(jìn)措施。評價(jià)的具體內(nèi)容；組織應(yīng)評價(jià)人工智能管理體系的績效，這涉及對人工智能系統(tǒng)使用結(jié)果的量化或定性評估；組織應(yīng)評價(jià)人工智能管理體系的有效性，即完成策劃的活動(dòng)和實(shí)現(xiàn)策劃的結(jié)果的程度。評價(jià)的目的：評價(jià)的目的是確保人工智能管理體系能夠滿足組織的目標(biāo)和需求，并持續(xù)改進(jìn)以適應(yīng)不斷變化的人工智能技術(shù)和應(yīng)用場景；評價(jià)的方法；組織可以采用適當(dāng)?shù)谋O(jiān)視、測量、分析和評價(jià)方法，如定期審計(jì)、績效評估工具、數(shù)據(jù)分析等；評價(jià)結(jié)果的運(yùn)用：組織應(yīng)根據(jù)評價(jià)結(jié)果制定相應(yīng)的改進(jìn)措施，以提高人工智能管理體系的績效和有效性；評價(jià)結(jié)果也可以作為組織決策的重要依據(jù)，幫助組織優(yōu)化人工智能技術(shù)的使用和管理。ISO/IEC42001-2023《信息技術(shù)-人工智能-管理體系》ISO/IEC42001-2023《信息技術(shù)-人工智能-管理體系》9.2內(nèi)部審核9.2.1總則組織應(yīng)按計(jì)劃的時(shí)間間隔進(jìn)行內(nèi)部審核，以提供人工智能管理體系是否：a）符合：1）組織自身對人工智能管理體系的要求；2）本文件的要求；b）有效地實(shí)施和保持。9.2.2內(nèi)部審核程序組織應(yīng)策劃、建立、實(shí)施和保持審核方案，包括審核頻率、方法、職責(zé)、策劃要求和報(bào)告。在制定內(nèi)部審核方案時(shí)，組織應(yīng)考慮相關(guān)過程的重要性和以往審核的結(jié)果。組織應(yīng)：a）確定每次審核的審核目標(biāo)、準(zhǔn)則和范圍；b）選擇審核員并實(shí)施審核，確保審核過程的客觀性和公正性；c)確保將審核結(jié)果報(bào)告給相關(guān)管理者。應(yīng)提供成文信息，作為審核方案實(shí)施和審核結(jié)果的證據(jù)。9.2內(nèi)部審核9.2.1總則審核頻率：組織應(yīng)依據(jù)預(yù)先確定的時(shí)間間隔進(jìn)行人工智能管理體系的內(nèi)部審核。審核目的與范圍：內(nèi)部審核旨在提供以下關(guān)鍵信息，以評估人工智能管理體系的運(yùn)行情況：符合性評價(jià)：人工智能管理體系是否符合組織自身的規(guī)定要求，包括但不限于人工智能方針、特定程序、因設(shè)定人工智能目標(biāo)而產(chǎn)生的要求。人工智能管理體系是否滿足ISO∕IEC42001標(biāo)準(zhǔn)的要求人工智能管理體系是否滿足適用的法律法規(guī)和合同要求。有效性評價(jià)：內(nèi)部審核應(yīng)檢查人工智能管理體系是否在實(shí)際操作中得到了有效實(shí)施和持續(xù)保持；向管理層提供保證：通過內(nèi)部審核，為組織的最高管理層提供人工智能管理體系當(dāng)前狀態(tài)的可靠保證。審核原則：進(jìn)行審核時(shí)應(yīng)遵循以下原則，確保審核的質(zhì)量和公正性。完整性：審核應(yīng)全面覆蓋人工智能管理體系的所有關(guān)鍵方面，包括人工智能方針、目標(biāo)、過程、資源以及績效等；公正性：審核發(fā)現(xiàn)和結(jié)論應(yīng)基于客觀事實(shí)，不受任何偏見影響；專業(yè)性：審核員應(yīng)具備人工智能管理和審核的專業(yè)知識和技能；保密性：審核過程中獲取的所有信息應(yīng)得到妥善保護(hù)，僅用于審核目的；獨(dú)立性：審核員應(yīng)保持獨(dú)立，避免任何可能影響其判斷公正性的因素；證據(jù)基礎(chǔ)：所有審核結(jié)論和建議都應(yīng)基于可核實(shí)和可靠的證據(jù)。9.2.2內(nèi)部審核程序概述；審核方案的策劃與制定：組織應(yīng)針對其人工智能管理體系的需求，精心策劃并制定一個(gè)或多個(gè)內(nèi)部審核方案。這些方案需涵蓋審核的頻次、具體采用的審核方法、參與人員的職責(zé)分配、詳盡的策劃要求以及審核報(bào)告的機(jī)制；方案制定時(shí)的考慮因素：在制定內(nèi)部審核方案時(shí)，組織應(yīng)重點(diǎn)關(guān)注人工智能管理體系中相關(guān)過程的重要性，并考慮歷史審核結(jié)果，以合理確定審核的重點(diǎn)區(qū)域和范圍，確保審核活動(dòng)的高效和精準(zhǔn)；審核的具體要求；明確審核準(zhǔn)則與范圍：每次內(nèi)部審核之前，組織需明確設(shè)定審核的準(zhǔn)則和標(biāo)準(zhǔn)，以及具體的審核范圍，確保審核活動(dòng)有明確的目標(biāo)和方向；選擇資質(zhì)審核員：組織應(yīng)選擇具備專業(yè)知識和資質(zhì)的審核員進(jìn)行內(nèi)部審核工作，同時(shí)采取措施確保審核過程的客觀性和公正性，防止利益沖突和偏見；及時(shí)準(zhǔn)確報(bào)告結(jié)果：審核完成后，組織必須確保將審核結(jié)果及時(shí)、準(zhǔn)確地報(bào)告給相關(guān)的管理層，以便于其根據(jù)審核發(fā)現(xiàn)做出適時(shí)的決策和改進(jìn)措施。參考標(biāo)準(zhǔn)：組織在策劃和實(shí)施人工智能管理體系的內(nèi)部審核時(shí)，可參考ISO19011標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)提供了一套關(guān)于管理體系審核的通用指南和建議，有助于組織優(yōu)化內(nèi)部審核流程，提升審核的效率和有效性。內(nèi)部審核的范圍與內(nèi)容；內(nèi)部審核的范圍：內(nèi)部審核的范圍應(yīng)覆蓋人工智能管理體系的各個(gè)關(guān)鍵組成部分，包括但不限于組織對人工智能系統(tǒng)使用的策略、流程、數(shù)據(jù)、資源以及涉及人工智能的決策過程。范圍的確定應(yīng)確保審核能夠全面覆蓋人工智能管理體系的關(guān)鍵要素，同時(shí)針對具體的應(yīng)用場景和業(yè)務(wù)需求進(jìn)行有針對性地審查；內(nèi)部審核的頻次：內(nèi)部審核的頻次應(yīng)根據(jù)組織的具體情況和需求進(jìn)行設(shè)定。這包括組織的人工智能系統(tǒng)使用的廣泛性、復(fù)雜性，以及人工智能管理體系的成熟度和變更頻率等因素。頻次的合理性對于及時(shí)發(fā)現(xiàn)和糾正人工智能管理體系中的問題，確保人工智能系統(tǒng)的安全和合規(guī)性至關(guān)重要；影響范圍和頻次的因素：組織的規(guī)模和性質(zhì)：大型、多領(lǐng)域應(yīng)用人工智能的組織可能需要更頻繁、更全面的內(nèi)部審核，以確保人工智能管理體系的各個(gè)環(huán)節(jié)都得到有效管理。相比之下，規(guī)模較小、人工智能應(yīng)用較為有限的組織可以適當(dāng)調(diào)整審核頻次和范圍；人工智能管理體系的性質(zhì)、復(fù)雜性和成熟度：對于高度復(fù)雜、功能多樣的人工智能管理體系，內(nèi)部審核需要更細(xì)致、更深入地審查，以確保各個(gè)組成部分協(xié)同工作、滿足預(yù)期的人工智能管理效果。而對于新建的或處于轉(zhuǎn)型期的人工智能管理體系，審核應(yīng)側(cè)重于關(guān)鍵領(lǐng)域和潛在風(fēng)險(xiǎn)，以促進(jìn)體系的持續(xù)改進(jìn)和完善。審核方案的制定與要求；審核方案的定義與核心目標(biāo)；審核方案是圍繞特定時(shí)間段和明確目標(biāo)構(gòu)建的一套系統(tǒng)性審核框架；它不同于審核計(jì)劃，審核計(jì)劃更側(cè)重于具體審核活動(dòng)的細(xì)節(jié)和日程安排；審核準(zhǔn)則，即進(jìn)行審核時(shí)所依據(jù)的標(biāo)準(zhǔn)、政策或要求，構(gòu)成了評判審核證據(jù)的基礎(chǔ)。審核方案的規(guī)劃與實(shí)施職責(zé)：審核方案清晰地界定了規(guī)劃、執(zhí)行、報(bào)告及后續(xù)跟進(jìn)審核活動(dòng)的整體結(jié)構(gòu)和相關(guān)職責(zé)；必須確保所執(zhí)行的審核活動(dòng)既適當(dāng)又精確，對組織運(yùn)營的影響應(yīng)降至最低，同時(shí)維持審核的必要質(zhì)量。審核方案設(shè)計(jì)的考量因素：在規(guī)劃審核方案時(shí)，應(yīng)特別考慮那些已經(jīng)運(yùn)行一段時(shí)間的過程和控制措施，以便能夠評估和檢驗(yàn)相應(yīng)的證據(jù)。審核方案中應(yīng)包含的成文信息：審核方案必須詳細(xì)記錄審核準(zhǔn)則、采用的審核方法以及審核組的選擇標(biāo)準(zhǔn)等關(guān)鍵信息；審核方案還應(yīng)涵蓋保密處理程序、信息安全規(guī)定以及審核人員的健康和安全規(guī)范等其他重要事項(xiàng)，確保審核活動(dòng)的全面性和規(guī)范性。審核過程與實(shí)施；內(nèi)部審核的核心目的；內(nèi)部審核的主要目標(biāo)是發(fā)現(xiàn)和識別出與人工智能管理體系要求不符的項(xiàng)目、潛在風(fēng)險(xiǎn)以及改進(jìn)的機(jī)會(huì)。對于審核中發(fā)現(xiàn)的不符合項(xiàng)，組織應(yīng)按照人工智能管理體系中糾正和預(yù)防措施的要求（如標(biāo)準(zhǔn)中的10.1章節(jié)）進(jìn)行管理，確保及時(shí)整改并防止問題再次發(fā)生。審核過程中識別出的風(fēng)險(xiǎn)和機(jī)會(huì)，應(yīng)根據(jù)風(fēng)險(xiǎn)管理和機(jī)遇把握的原則（參考標(biāo)準(zhǔn)中的4.1和6.1章節(jié)）進(jìn)行妥善處理。審核范圍與控制的有效性檢查；在進(jìn)行內(nèi)部審核時(shí)，應(yīng)全面檢查已實(shí)施的控制措施是否有效，確保這些控制措施能夠降低人工智能系統(tǒng)的風(fēng)險(xiǎn)并提升績效；審核方案的設(shè)計(jì)應(yīng)確保覆蓋到所有關(guān)鍵的控制措施，同時(shí)，要定期評估這些控制措施的有效性，以確保其適應(yīng)性和持續(xù)改進(jìn)。審核員的選擇與能力要求；組織應(yīng)明確人工智能管理體系審核員的專業(yè)能力和技能要求，選擇具備相應(yīng)資質(zhì)和經(jīng)驗(yàn)的內(nèi)部或外部審核員進(jìn)行審核工作；應(yīng)建立有效的監(jiān)督機(jī)制來評估審核員和審核組的工作績效，確保其能夠客觀、公正地完成審核任務(wù)；審核組中應(yīng)包含具有特定行業(yè)知識和信息安全知識的專業(yè)人員，以確保審核的深度和廣度；在選擇審核員時(shí)，應(yīng)綜合考慮其專業(yè)能力、獨(dú)立性和培訓(xùn)背景，確保審核的準(zhǔn)確性和可靠性；對于資源有限的小型組織，可以考慮聘請外部審核員進(jìn)行協(xié)助。在使用外部審核員時(shí)，應(yīng)確保其充分了解組織的運(yùn)營環(huán)境和人工智能管理體系的具體情況；在組建審核組時(shí)，應(yīng)綜合考慮內(nèi)部和外部審核員的優(yōu)勢和不足，以達(dá)到最佳的審核效果。審核的實(shí)施與評審過程。在實(shí)施審核時(shí)，審核組長應(yīng)參考以往的審核結(jié)果，并跟蹤處理之前報(bào)告中提到的不符合項(xiàng)和高風(fēng)險(xiǎn)項(xiàng)，以此為基礎(chǔ)來制定詳細(xì)的審核計(jì)劃；審核組應(yīng)對人工智能管理體系的過程和控制的充分性和有效性進(jìn)行全面的評審，包括但不限于人工智能目標(biāo)的實(shí)現(xiàn)情況、與ISO∕IEC42001符合性、組織自身人工智能管理要求的達(dá)成情況、適用性聲明與人工智能風(fēng)險(xiǎn)處理結(jié)果的一致性，以及管理評審的輸入輸出內(nèi)容的相關(guān)性等。通過綜合評估，確保人工智能管理體系的全面性和有效性。審核結(jié)果的處理與跟進(jìn)；審核結(jié)果對控制有效性的影響評估；當(dāng)內(nèi)部審核方法被驗(yàn)證為有效時(shí)，人工智能管理體系對控制有效性的監(jiān)測和驗(yàn)證能力將顯著提升。這能夠成為審核員評估控制有效性時(shí)的有力支撐，降低個(gè)人評估的主觀性和工作量；一個(gè)有效運(yùn)作的人工智能管理體系能夠?yàn)閷徍诉^程提供準(zhǔn)確的數(shù)據(jù)和實(shí)證，幫助審核員更加客觀地評估控制措施是否達(dá)到預(yù)期效果，并針對性地提出改進(jìn)建議。不符合項(xiàng)的處理；若在內(nèi)部審核過程中發(fā)現(xiàn)不符合人工智能管理體系要求的情況，受審部門應(yīng)立即針對每一個(gè)不符合項(xiàng)制定詳細(xì)的糾正措施計(jì)劃，并與審核團(tuán)隊(duì)進(jìn)行溝通和確認(rèn)，確保計(jì)劃的可行性和有效性；糾正措施計(jì)劃應(yīng)明確責(zé)任人、時(shí)間表和具體措施，以確保不符合項(xiàng)能夠得到及時(shí)有效地糾正；包含不符合項(xiàng)及其糾正措施計(jì)劃的審核報(bào)告應(yīng)提交給組織的管理層，以便管理層全面了解人工智能管理體系的運(yùn)行狀況，并對不符合項(xiàng)的處理情況進(jìn)行跟蹤和監(jiān)督。審核方案的調(diào)整與優(yōu)化。組織應(yīng)定期對內(nèi)部審核結(jié)果進(jìn)行評審，并根據(jù)評審結(jié)果對人工智能管理體系的審核方案進(jìn)行調(diào)整和優(yōu)化；調(diào)整的目的是更好地關(guān)注那些存在較高風(fēng)險(xiǎn)或不符合項(xiàng)頻發(fā)的領(lǐng)域，加大對這些領(lǐng)域的審核力度，確保人工智能管理體系的符合性和有效性。組織應(yīng)保留以下成文信息作為內(nèi)部審核實(shí)施和結(jié)果的證據(jù)：審核計(jì)劃：應(yīng)詳細(xì)規(guī)定內(nèi)部審核的目的、范圍、執(zhí)行的時(shí)間表以及用于審核的資源分配；審核檢查表：應(yīng)列出內(nèi)部審核中將要檢查的具體項(xiàng)目或問題，以及對應(yīng)的審核標(biāo)準(zhǔn)或要求，確保審核的全面性和針對性；審核記錄：應(yīng)記錄內(nèi)部審核過程中的所有發(fā)現(xiàn)，包括符合和不符合人工智能管理體系要求的觀察結(jié)果，并附上相關(guān)的證據(jù)和詳細(xì)信息；不符合項(xiàng)報(bào)告：對于在審核過程中發(fā)現(xiàn)的不符合項(xiàng)，應(yīng)詳細(xì)描述其性質(zhì)、產(chǎn)生原因、具體位置以及對組織可能產(chǎn)生的影響；同時(shí)，報(bào)告中還應(yīng)包括建議的糾正措施以及預(yù)計(jì)完成糾正措施的期限；審核結(jié)論報(bào)告：總結(jié)內(nèi)部審核的主要發(fā)現(xiàn)，包括人工智能管理體系整體的符合性情況、發(fā)現(xiàn)的主要不符合項(xiàng)以及針對不符合項(xiàng)提出的改進(jìn)建議；報(bào)告還應(yīng)指出任何需要組織管理層特別關(guān)注的問題；糾正措施跟蹤記錄：對于發(fā)現(xiàn)的不符合項(xiàng)，應(yīng)記錄所采取的糾正措施，并跟蹤這些措施的實(shí)施情況，確保糾正措施的有效性；記錄還應(yīng)包括驗(yàn)證糾正措施有效性的結(jié)果；審核員資格和培訓(xùn)記錄：應(yīng)保留證明內(nèi)部審核員具備執(zhí)行審核工作所需資格和能力的文件，如審核員的資格證明、培訓(xùn)證書以及相關(guān)的培訓(xùn)記錄；這些文件證明了審核員的專業(yè)性和可靠性，確保內(nèi)部審核的質(zhì)量。ISO/IEC42001-2023《信息技術(shù)-人工智能-管理體系》ISO/IEC42001-2023《信息技術(shù)-人工智能-管理體系》9.3管理評審9.3.1總則最高管理者應(yīng)在策劃的時(shí)間間隔內(nèi)對組織的人工智能管理體系進(jìn)行評審，以確保人工智能管理體系持續(xù)的適宜性、充分性和有效性。9.3.2管理評審輸入管理評審應(yīng)包括：a）以往管理評審所采取措施的狀況；b）與人工智能管理體系相關(guān)的外部和內(nèi)部因素的變化；c）與人工智能管理體系相關(guān)的相關(guān)方的需求和期望的變化；d）人工智能管理體系績效信息，包括以下方面的趨勢：1）不符合及糾正措施；2）監(jiān)視和測量結(jié)果；3）審核結(jié)果；e）持續(xù)改進(jìn)的機(jī)會(huì)。9.3.3管理評審輸出管理評審的輸出應(yīng)包括持續(xù)改進(jìn)的機(jī)會(huì)，以及變更人工智能管理體系的任何需要的決定。成文信息應(yīng)作為管理評審結(jié)果證據(jù)可獲取。9.3管理評審9.3.1總則評審目的：最高管理者應(yīng)按策劃的時(shí)間間隔評審組織的人工智能管理體系，以確保其持續(xù)的適宜性、充分性和有效性并與組織的戰(zhàn)略方向相一致。確保管理體系的適宜性：確保人工智能管理體系仍然適宜于組織的當(dāng)前需求和目標(biāo)，能夠適應(yīng)外部環(huán)境和內(nèi)部條件的變化；確保管理體系的充分性：評審應(yīng)確認(rèn)管理體系是否覆蓋了所有關(guān)鍵的人工智能活動(dòng)和過程，以及是否有足夠的資源和程序來支持這些活動(dòng)；確保管理體系的有效性：評審應(yīng)驗(yàn)證管理體系是否在實(shí)現(xiàn)組織的人工智能目標(biāo)方面真正有效，是否能夠提升組織的整體績效。管理評審的時(shí)機(jī)；定期管理評審；頻次：管理評審應(yīng)至少每年進(jìn)行一次，以評估人工智能管理體系的持續(xù)適宜性、充分性和有效性。時(shí)間間隔：策劃的時(shí)間間隔通常不超過12個(gè)月，但組織可以根據(jù)自身業(yè)務(wù)需求和變化調(diào)整評審頻次。與其他業(yè)務(wù)活動(dòng)結(jié)合：管理評審可與戰(zhàn)略規(guī)劃、業(yè)務(wù)計(jì)劃等業(yè)務(wù)活動(dòng)結(jié)合進(jìn)行，旨在增加評審價(jià)值并減少冗余會(huì)議。不定期管理評審；在特定情況下，經(jīng)最高管理者批準(zhǔn)，可開展不定期管理評審；這些特定情況包括但不限于：體系認(rèn)證審核前：為準(zhǔn)備外部認(rèn)證審核，評估人工智能管理體系的準(zhǔn)備情況；管理體系或組織結(jié)構(gòu)重大變化：如引入新的人工智能技術(shù)、改變組織架構(gòu)等；戰(zhàn)略目標(biāo)或業(yè)務(wù)范圍調(diào)整：如業(yè)務(wù)擴(kuò)張、市場策略變化等；法律法規(guī)或標(biāo)準(zhǔn)變更：涉及人工智能領(lǐng)域的法規(guī)更新或國際標(biāo)準(zhǔn)的修訂；內(nèi)外部環(huán)境或相關(guān)方需求重大變化：如市場需求變動(dòng)、利益相關(guān)方期望改變等；市場需求變化：市場趨勢轉(zhuǎn)變，影響人工智能應(yīng)用方向和戰(zhàn)略；技術(shù)更新?lián)Q代：新興人工智能技術(shù)的出現(xiàn)，需要評估其對現(xiàn)有管理體系的影響；發(fā)生重大質(zhì)量事故或客戶投訴：涉及人工智能應(yīng)用的質(zhì)量問題或用戶反饋；內(nèi)外部審核發(fā)現(xiàn)重大不符合項(xiàng)：內(nèi)部審核或第三方審核揭示的嚴(yán)重不符合情況；未通過外部認(rèn)證審核、驗(yàn)收或?qū)徲?jì)：管理體系未能達(dá)到外部認(rèn)證或上級管理部門的要求；其他最高管理者認(rèn)為必要的情況：根據(jù)組織具體情況，最高管理者認(rèn)為有必要進(jìn)行的額外評審。管理評審的實(shí)施管理評審實(shí)施方式獨(dú)立或結(jié)合活動(dòng)：最高管理者應(yīng)根據(jù)組織的戰(zhàn)略發(fā)展方向和人工智能管理體系的需要，決定管理評審是作為獨(dú)立活動(dòng)進(jìn)行，還是與其他業(yè)務(wù)活動(dòng)（如戰(zhàn)略規(guī)劃、運(yùn)營會(huì)議等）結(jié)合進(jìn)行；與其他業(yè)務(wù)活動(dòng)協(xié)同安排：為了提高效率和減少會(huì)議次數(shù)，管理評審的時(shí)間安排應(yīng)與其他關(guān)鍵業(yè)務(wù)活動(dòng)保持一致。這樣可確保管理評審的內(nèi)容與組織的整體戰(zhàn)略和業(yè)務(wù)計(jì)劃緊密關(guān)聯(lián)；多樣化的評審方式。正式的面對面會(huì)議：安排明確的議程、會(huì)議紀(jì)要和討論要點(diǎn)，確保全面、深入地評審人工智能管理體系；電話會(huì)議或在線會(huì)議：利用現(xiàn)代通信技術(shù)，特別是當(dāng)團(tuán)隊(duì)成員分散或需要靈活性時(shí)，確保評審活動(dòng)的便捷性；部門層級評審：鼓勵(lì)組織內(nèi)各層級進(jìn)行部門評審，形成報(bào)告并向最高管理者匯報(bào)，以確保信息的全面性和準(zhǔn)確性；靈活安排評審主題：管理評審不必在一次會(huì)議中涵蓋所有輸入主題。最高管理者應(yīng)根據(jù)實(shí)際情況確定評審主題的順序和頻率，確保評審的深入和有效性。管理評審實(shí)施方法；列表評審法；制定評審表格：根據(jù)管理評審的具體目的和重點(diǎn)，制定詳細(xì)的評審表格，明確列出需要評審的項(xiàng)目和要求；逐一評價(jià)：依據(jù)預(yù)設(shè)的評審標(biāo)準(zhǔn)，對每個(gè)項(xiàng)目進(jìn)行逐一評價(jià)，確保每個(gè)方面都得到全面、客觀地審查；動(dòng)態(tài)調(diào)整：評審的項(xiàng)目和要求可以根據(jù)每次管理評審的具體情況進(jìn)行調(diào)整，以適應(yīng)組織的變化和發(fā)展。集體討論評審法；組織評審會(huì)議：通過組織評審會(huì)議，匯集多方意見，就管理評審議題進(jìn)行廣泛的討論；明確議題與準(zhǔn)備：會(huì)議前需明確討論議題和要求，并提前通知相關(guān)部門人員，確保參與者能充分準(zhǔn)備，提出有針對性的意見和建議；整理評審報(bào)告：將會(huì)議討論的結(jié)果整理成評審報(bào)告，以供后續(xù)參考和改進(jìn)；專題研討評審法；劃分專題：將管理評審的內(nèi)容劃分為若干個(gè)專題，確保每個(gè)專題都能得到深入、細(xì)致地審查；分配專題研究：將這些專題分配給相關(guān)部門和人員，進(jìn)行深入研究和準(zhǔn)備，提出具體的評審意見和建議；綜合評審報(bào)告：匯總各專題的報(bào)告，形成綜合的管理評審報(bào)告，全面反映組織在人工智能管理體系方面的情況和問題。問題導(dǎo)向評審法識別問題：識別并記錄管理運(yùn)行過程中遇到的實(shí)際和潛在問題，包括內(nèi)部和外部的問題，確保問題得到全面揭示；分析論證：對每個(gè)問題進(jìn)行詳細(xì)的分析和論證，找出問題的根源和影響因素，提出針對性的改進(jìn)建議；整合評審報(bào)告：將分析結(jié)果和改進(jìn)建議整合成評審報(bào)告，為組織提供改進(jìn)的方向和依據(jù)。統(tǒng)計(jì)分析評審法收集數(shù)據(jù)：收集組織的關(guān)鍵績效指標(biāo)（KPI）實(shí)現(xiàn)情況、內(nèi)外部故障損失成本等統(tǒng)計(jì)數(shù)據(jù)，確保數(shù)據(jù)的準(zhǔn)確性和完整性；深入分析：根據(jù)評審的目的和重點(diǎn)，對數(shù)據(jù)進(jìn)行分層分類的深入分析，找出關(guān)鍵問題和改進(jìn)點(diǎn)；支持決策：將統(tǒng)計(jì)分析的結(jié)果、結(jié)論和改進(jìn)建議整合成評審報(bào)告，以支持決策制定和持續(xù)改進(jìn)，提高組織的績效和管理水平。召開管理評審會(huì)議。定期會(huì)議：組織定期的管理評審會(huì)議，對人工智能管理體系進(jìn)行全面、系統(tǒng)的審查；會(huì)議可以專門召開，也可以結(jié)合其他重要會(huì)議進(jìn)行；專題會(huì)議：針對特定的問題或領(lǐng)域，組織專題管理評審會(huì)議，進(jìn)行深入研究和討論，提出具體的改進(jìn)措施和方案。會(huì)議可以與年度工作會(huì)議、專題會(huì)議等有機(jī)結(jié)合，提高會(huì)議效率和效果。管理評審會(huì)議步驟與議程通用的管理評審會(huì)議議程示例會(huì)議準(zhǔn)備；確定會(huì)議時(shí)間與地點(diǎn)：選定適合大多數(shù)關(guān)鍵參與者的時(shí)間和地點(diǎn)，確保人工智能管理體系的核心成員能親臨會(huì)議；明確參會(huì)人員名單：列出必須參加管理評審的人員，包括但不限于高層管理、人工智能技術(shù)部門主管、管理體系代表等；規(guī)劃詳細(xì)的議程：以ISO/IEC42001:2023管理評審的目的和核心內(nèi)容為基準(zhǔn)，設(shè)計(jì)會(huì)議議程，確保覆蓋所有關(guān)鍵議題；資料的收集和整理：在會(huì)議前，系統(tǒng)收集和整理與人工智能管理體系評審相關(guān)的所有資料，為會(huì)議提供充分的討論基礎(chǔ)。會(huì)議開始；主持人開場致辭：清晰闡述會(huì)議的目的、依據(jù)、議程，介紹參會(huì)人員及本次評審的特定方法；確認(rèn)參與者：核對出席人員名單，確保關(guān)鍵人員全部到場，并確定發(fā)言順序；提出評審要求：明確本次人工智能管理體系評審的具體要求和期望目標(biāo)。情況匯報(bào)；管理者代表報(bào)告：全面概述組織內(nèi)人工智能管理體系的運(yùn)行狀況，特別是周期性的績效評估和改進(jìn)成果；特定主題匯報(bào)：由指定部門或單位負(fù)責(zé)人就特定議題或項(xiàng)目進(jìn)行專題匯報(bào)，突出相關(guān)進(jìn)展和問題。討論和評價(jià)；深入研討：全體參與者對匯報(bào)內(nèi)容進(jìn)行深入探討，挖掘人工智能管理體系中的不足和潛在的改進(jìn)空間；確定改進(jìn)措施：集體討論后，明確需要采納的改進(jìn)措施及其緊急性。高層管理者講話：對本次評審進(jìn)行全面總結(jié)，強(qiáng)調(diào)人工智能管理體系的重要性，并鼓勵(lì)全體成員積極參與改進(jìn)工作；關(guān)閉會(huì)議；主持人總結(jié)：對會(huì)議進(jìn)行簡要回顧，并正式宣布會(huì)議結(jié)束；致謝與鼓勵(lì)：感謝所有參與者的貢獻(xiàn)，并鼓勵(lì)大家積極落實(shí)改進(jìn)措施。會(huì)議紀(jì)要整理與分發(fā)；詳細(xì)記錄會(huì)議內(nèi)容：確保會(huì)議的所有重要討論和決策都被準(zhǔn)確記錄；形成并分發(fā)紀(jì)要：將會(huì)議記錄和重要決策整理成紀(jì)要，經(jīng)確認(rèn)后分發(fā)給相關(guān)人員，以供執(zhí)行和跟進(jìn)。改進(jìn)措施與行動(dòng)計(jì)劃的制定：明確改進(jìn)措施：根據(jù)會(huì)議的討論結(jié)果，制定具體可行的改進(jìn)措施；制定詳細(xì)的行動(dòng)計(jì)劃：為每項(xiàng)改進(jìn)措施分配責(zé)任部門、設(shè)定時(shí)間表和實(shí)施方案，并建立有效的跟蹤評估機(jī)制。9.3.2管理評審輸入策劃和實(shí)施管理評審時(shí)應(yīng)考慮下列內(nèi)容：以往管理評審所采取措施的狀況：組織應(yīng)回顧和分析以往管理評審中所識別的改進(jìn)措施的執(zhí)行情況，包括這些措施的效果以及是否達(dá)到了預(yù)期的目標(biāo)；與人工智能管理體系相關(guān)的外部和內(nèi)部因素的變化：組織應(yīng)評估影響人工智能管理體系運(yùn)行的外部和內(nèi)部環(huán)境因素的變化。這些變化可能影響人工智能系統(tǒng)的需求、使用方式以及管理體系的有效性；與人工智能管理體系相關(guān)的相關(guān)方的需求和期