ISO∕IEC 42001-2023人工智能管理體系之18：“9 績效評價-9.1 監(jiān)視、測量、分析和評價”解讀、實施流程和風(fēng)險描述(雷澤佳編制-2024)

“9績效評價-9.1監(jiān)視、測量、分析和評價”解讀、實施流程和風(fēng)險描述ISO∕IEC42001-2023《信息技術(shù)-人工智能管理體系》之18：“9績效評價-9.1監(jiān)視、測量、分析和評價”解讀、實施流程和風(fēng)險描述(雷澤佳編制，2024年9月)第1部分：“9.1監(jiān)視、測量、分析和評價”解讀“9.1監(jiān)視、測量、分析和評價”條文“9.1監(jiān)視、測量、分析和評價”標準條文解讀9績效評價9.1監(jiān)視、測量、分析和評價監(jiān)視、測量、分析和評價的定義；監(jiān)視：確定體系、過程或活動的狀態(tài)。監(jiān)視通常涉及實時跟蹤和檢查系統(tǒng)、過程或活動的運行狀況，以確保它們按照預(yù)定的標準和要求執(zhí)行；實時性：監(jiān)視是持續(xù)進行的，能夠及時反映系統(tǒng)或過程的當前狀態(tài)，有助于快速響應(yīng)問題或異常；狀態(tài)確認：通過定期或連續(xù)的檢查，確認體系、過程或活動是否處于受控狀態(tài)，是否滿足既定的性能指標和要求；預(yù)防與糾正：監(jiān)視活動有助于預(yù)防潛在問題的發(fā)生，并在問題出現(xiàn)時迅速進行糾正，確保系統(tǒng)的穩(wěn)定性和可靠性；管理決策支持：監(jiān)視結(jié)果為管理決策提供了實時、準確的數(shù)據(jù)支持，有助于管理層及時調(diào)整策略和資源配置。測量：確定數(shù)值的過程。測量通常涉及對體系、過程或活動的特定屬性、性能、狀態(tài)或結(jié)果進行量化評估，以產(chǎn)生具體、可比較的數(shù)值結(jié)果；量化評估：測量將抽象的性能、狀態(tài)等轉(zhuǎn)化為具體的數(shù)值，便于理解和比較；準確性：測量結(jié)果需要具備足夠的準確性，以反映真實情況，避免誤導(dǎo)決策；可重復(fù)性：測量過程應(yīng)具有可重復(fù)性，確保在不同時間、不同操作者條件下，測量結(jié)果保持一致；基準比較：測量結(jié)果可用于與歷史數(shù)據(jù)或其他標準進行比較，評估系統(tǒng)或過程的改進情況和性能變化趨勢。分析：指對監(jiān)視和測量所獲得的數(shù)據(jù)進行深入研究和解釋的過程，旨在揭示數(shù)據(jù)背后的規(guī)律、趨勢、問題或機會；數(shù)據(jù)挖掘：通過分析，可以從大量數(shù)據(jù)中提取有價值的信息，為決策提供支持；問題識別：分析過程有助于發(fā)現(xiàn)系統(tǒng)或過程中存在的問題、異?；蝻L(fēng)險點；趨勢預(yù)測：基于歷史數(shù)據(jù)，分析可以預(yù)測系統(tǒng)或過程的未來發(fā)展趨勢，為戰(zhàn)略規(guī)劃提供依據(jù)；優(yōu)化建議：通過分析結(jié)果，可以提出針對性的改進建議，推動系統(tǒng)或過程的持續(xù)優(yōu)化。評價：指對人工智能體系、過程或活動的績效和有效性進行綜合評估的過程。這一過程旨在衡量體系或過程是否達到預(yù)期目標，是否具備高效性、可靠性和適應(yīng)性。多維度評估：評價應(yīng)涵蓋系統(tǒng)或過程的多個方面，如性能、成本、質(zhì)量、安全性等，以全面反映其整體狀況；目標對比：將實際結(jié)果與預(yù)期目標進行對比，評估系統(tǒng)或過程是否達到預(yù)期效果；持續(xù)改進：基于評價結(jié)果，提出改進方向和措施，推動系統(tǒng)或過程的持續(xù)優(yōu)化和升級；決策支持：評價結(jié)果為管理層提供了重要的決策依據(jù)，有助于制定更加科學(xué)、合理的戰(zhàn)略規(guī)劃和管理措施。組織應(yīng)確定：——需要監(jiān)視和測量什么；——需要用什么方法進行監(jiān)視、測量、分析和評價，以確保結(jié)果有效；——何時實施監(jiān)視和測量；——何時對監(jiān)視和測量的結(jié)果進行分析和評價。組織應(yīng)確定：需要監(jiān)視和測量什么（確定監(jiān)視與測量的對象）；確定監(jiān)視對象：組織需要監(jiān)視的對象應(yīng)全面覆蓋關(guān)鍵績效領(lǐng)域，以確保系統(tǒng)的穩(wěn)定運行和持續(xù)優(yōu)化。監(jiān)視對象包括但不限于：系統(tǒng)性能：評估人工智能系統(tǒng)處理能力的關(guān)鍵指標。通過監(jiān)視響應(yīng)時間、吞吐量、并發(fā)處理能力等，組織可以實時了解系統(tǒng)的負載能力和響應(yīng)速度，從而判斷系統(tǒng)是否能夠滿足業(yè)務(wù)需求。；數(shù)據(jù)安全與隱私：通過監(jiān)視數(shù)據(jù)訪問、加密狀態(tài)、安全漏洞修復(fù)情況，組織可以確保用戶數(shù)據(jù)的安全性，防止數(shù)據(jù)泄露和非法訪問；用戶行為：分析用戶使用模式和反饋頻率有助于組織了解用戶需求和偏好，從而優(yōu)化用戶體驗和界面設(shè)計。通過監(jiān)視用戶行為，組織可以更加精準地定位問題并改進產(chǎn)品；資源利用率：CPU、內(nèi)存、存儲等資源的占用情況是評估系統(tǒng)成本效益的重要指標。通過監(jiān)視資源利用率，組織可以避免資源瓶頸影響系統(tǒng)性能，并優(yōu)化資源配置以提高整體效率；錯誤與異常：系統(tǒng)日志中的錯誤記錄和異常行為是診斷系統(tǒng)問題的重要依據(jù)。通過監(jiān)視這些異常信息，組織可以及時發(fā)現(xiàn)并解決潛在問題，避免故障擴大化；合規(guī)性狀態(tài)：監(jiān)控是否符合行業(yè)法規(guī)、隱私政策等是確保業(yè)務(wù)合規(guī)的重要手段。通過持續(xù)監(jiān)視合規(guī)性狀態(tài)，組織可以降低法律風(fēng)險并維護良好的企業(yè)形象。確定測量對象：測量對象應(yīng)具備可量化性，以便進行精確的數(shù)據(jù)分析和性能評估。組織在人工智能系統(tǒng)中需要測量的對象包括但不限于：模型準確率：模型準確率是衡量人工智能模型效果的核心指標之一。通過交叉驗證等方法，可以全面評估模型在不同數(shù)據(jù)集上的預(yù)測能力，確保模型的泛化性能；訓(xùn)練與推理時間：訓(xùn)練時間和推理時間是影響人工智能系統(tǒng)效率的關(guān)鍵因素。通過精確測量這兩個指標，組織可以識別出模型訓(xùn)練過程中的瓶頸，并采取相應(yīng)的優(yōu)化措施，如調(diào)整模型結(jié)構(gòu)、優(yōu)化算法參數(shù)等，以提升系統(tǒng)的整體性能；資源消耗：CPU使用率、內(nèi)存占用、能耗等資源消耗指標是衡量人工智能系統(tǒng)成本效益的重要依據(jù)。通過精確測量這些指標，組織可以全面了解系統(tǒng)在運行過程中的資源需求，從而制定合理的資源配置策略，降低運行成本，提升系統(tǒng)的經(jīng)濟效益；用戶滿意度：用戶滿意度是衡量人工智能系統(tǒng)用戶體驗的重要量化指標。通過問卷調(diào)查、評分系統(tǒng)等方式收集用戶反饋，組織可以及時了解用戶需求和使用體驗，為產(chǎn)品的持續(xù)優(yōu)化提供有力支持。這不僅有助于提升用戶滿意度和忠誠度，還能增強產(chǎn)品的市場競爭力；算法效率：針對不同算法的性能指標進行測量，如收斂速度、計算復(fù)雜度等，可以全面評估算法的效率和穩(wěn)定性。這有助于組織在選擇和使用算法時做出更加明智的決策，從而提升人工智能系統(tǒng)的整體性能和應(yīng)用效果等；業(yè)務(wù)指標：業(yè)務(wù)指標如收入、利潤、用戶增長等是評估人工智能系統(tǒng)對業(yè)務(wù)直接貢獻的關(guān)鍵量化指標。通過定期監(jiān)測這些指標的變化情況，組織可以全面了解人工智能系統(tǒng)在實際應(yīng)用中的效果和價值，從而制定合理的業(yè)務(wù)發(fā)展戰(zhàn)略和市場拓展計劃。需要用什么方法進行監(jiān)視、測量、分析和評價，以確保結(jié)果有效（確定監(jiān)視、測量、分析和評價的方法）；監(jiān)視方法包括但不限于：日志分析：通過分析人工智能系統(tǒng)生成的日志文件，監(jiān)控系統(tǒng)的運行狀態(tài)、錯誤信息和用戶行為；實時監(jiān)控工具：利用專門的實時監(jiān)控工具，對人工智能系統(tǒng)的關(guān)鍵性能指標進行實時追蹤和展示，如響應(yīng)時間、吞吐量等；用戶界面監(jiān)控：監(jiān)控人工智能系統(tǒng)的用戶界面交互情況，確保用戶操作流暢無阻，并及時發(fā)現(xiàn)界面異常；安全監(jiān)控：針對人工智能系統(tǒng)的安全性進行持續(xù)監(jiān)控，包括檢測潛在的安全威脅、未授權(quán)訪問等。測量方法包括但不限于：性能基準測試：通過預(yù)設(shè)的性能基準測試用例，測量人工智能系統(tǒng)在處理特定任務(wù)時的性能表現(xiàn)；資源消耗測量：監(jiān)控并測量人工智能系統(tǒng)在運行過程中的CPU、內(nèi)存、磁盤I/O等資源消耗情況；預(yù)測準確率評估：對于分類、預(yù)測等任務(wù)，使用交叉驗證等方法評估模型的預(yù)測準確率；響應(yīng)時間測量：測量人工智能系統(tǒng)對用戶請求或輸入的響應(yīng)時間，確保系統(tǒng)響應(yīng)速度滿足業(yè)務(wù)需求。分析方法包括但不限于：統(tǒng)計分析：運用統(tǒng)計學(xué)方法對收集到的數(shù)據(jù)進行處理和分析，識別數(shù)據(jù)中的模式和趨勢；因果分析：探討人工智能系統(tǒng)性能變化的原因，識別影響系統(tǒng)性能的關(guān)鍵因素；根因分析：在系統(tǒng)出現(xiàn)故障或性能下降時，進行深入分析以找到問題的根本原因；A/B測試：通過對比不同配置或算法下的系統(tǒng)性能，評估不同方案的效果。評價方法包括但不限于：業(yè)務(wù)影響評估：評估人工智能系統(tǒng)對組織業(yè)務(wù)目標的影響程度，判斷其是否滿足業(yè)務(wù)需求；用戶滿意度調(diào)查：通過問卷調(diào)查等方式收集用戶對人工智能系統(tǒng)的滿意度和反饋意見；性能基準對比：將人工智能系統(tǒng)的性能與行業(yè)標準或競爭對手進行對比評價；持續(xù)改進評估：定期評估人工智能系統(tǒng)在持續(xù)改進方面的表現(xiàn)，確保其不斷優(yōu)化和提升。何時實施監(jiān)視和測量（確定實施監(jiān)視和測量的時機）；實施監(jiān)視的時機包括但不限于：定期監(jiān)視：根據(jù)預(yù)設(shè)的時間表（如每日、每周、每月）定期對人工智能系統(tǒng)進行監(jiān)視，以評估系統(tǒng)的穩(wěn)定性和性能表現(xiàn)；事件觸發(fā)監(jiān)視：在特定事件發(fā)生時（如系統(tǒng)報警、異常指標觸發(fā)、用戶反饋問題）立即啟動監(jiān)視，以快速響應(yīng)并定位問題。變更后的監(jiān)視：在人工智能系統(tǒng)或相關(guān)基礎(chǔ)設(shè)施發(fā)生變更（如軟件升級、配置調(diào)整、新增功能）后，進行額外的監(jiān)視以驗證變更的效果并確保系統(tǒng)穩(wěn)定運行；業(yè)務(wù)需求驅(qū)動監(jiān)視：根據(jù)業(yè)務(wù)需求的變化，靈活調(diào)整監(jiān)視的頻率和重點，確保監(jiān)視活動與業(yè)務(wù)目標保持一致。何時對監(jiān)視和測量的結(jié)果進行分析和評價。實施測量的時機包括但不限于：項目啟動階段：在項目或系統(tǒng)開發(fā)的初期進行測量，以建立性能基準和評估系統(tǒng)設(shè)計的有效性；迭代開發(fā)與測試：在敏捷開發(fā)過程中，每個迭代結(jié)束時進行測量，以評估迭代成果并指導(dǎo)下一步的開發(fā)方向；系統(tǒng)部署前后：在系統(tǒng)部署前進行全面的性能測量，確保系統(tǒng)滿足預(yù)期性能要求；部署后持續(xù)測量以監(jiān)控系統(tǒng)性能變化；性能調(diào)優(yōu)：在發(fā)現(xiàn)系統(tǒng)性能瓶頸或需要進行性能優(yōu)化時，進行針對性的測量以定位問題并提供優(yōu)化依據(jù)；合規(guī)性評估：根據(jù)行業(yè)法規(guī)和標準的要求，在特定時間點進行測量以確保人工智能系統(tǒng)的合規(guī)性。何時對監(jiān)視和測量的結(jié)果進行分析和評價（確定對監(jiān)視和測量的結(jié)果進行分析和評價的時機）。何時對監(jiān)視和測量的結(jié)果進行分析；定期分析：根據(jù)預(yù)設(shè)的時間表（如每季度、每年度）定期對監(jiān)視和測量的結(jié)果進行分析，以評估人工智能系統(tǒng)的長期性能和穩(wěn)定性趨勢。這種定期分析有助于識別潛在的問題和改進機會；即時分析：在特定事件發(fā)生時（如系統(tǒng)故障、性能異常、安全事件等），立即對相關(guān)的監(jiān)視和測量結(jié)果進行分析，以便快速響應(yīng)并解決問題。這種即時分析對于確保系統(tǒng)的即時穩(wěn)定性和安全性至關(guān)重要；項目關(guān)鍵節(jié)點分析：在人工智能項目的關(guān)鍵節(jié)點（如設(shè)計評審、開發(fā)完成、測試結(jié)束等）對監(jiān)視和測量的結(jié)果進行深入分析，以評估項目進展和成果是否符合預(yù)期，并指導(dǎo)下一步工作；業(yè)務(wù)需求變化時分析：當業(yè)務(wù)需求發(fā)生變化時，重新分析監(jiān)視和測量的結(jié)果，以確保人工智能系統(tǒng)的性能和服務(wù)水平仍能滿足新的業(yè)務(wù)要求。何時對監(jiān)視和測量的結(jié)果進行評價；項目結(jié)束時評價：在人工智能項目結(jié)束時，對監(jiān)視和測量的結(jié)果進行綜合評價，以評估項目整體的成功程度，包括性能、安全性、穩(wěn)定性等方面；人工智能管理體系審核時評價：在進行人工智能人工智能管理體系的內(nèi)部審核或外部認證時，對監(jiān)視和測量的結(jié)果進行評價，以驗證人工智能管理體系的有效性和合規(guī)性；持續(xù)改進過程中評價：在人工智能系統(tǒng)的持續(xù)改進過程中，定期對監(jiān)視和測量的結(jié)果進行評價，以識別改進的機會和潛力，為制定新的改進計劃提供依據(jù)；重大變更前后評價：在人工智能系統(tǒng)發(fā)生重大變更（如技術(shù)架構(gòu)調(diào)整、業(yè)務(wù)流程重組等）前后，對監(jiān)視和測量的結(jié)果進行評價，以評估變更對系統(tǒng)性能和服務(wù)水平的影響，并制定相應(yīng)的應(yīng)對措施。成文信息應(yīng)作為結(jié)果證據(jù)可獲取。監(jiān)視、測量、分析和評價成文信息應(yīng)作為結(jié)果證據(jù)可獲??；監(jiān)視和測量計劃；監(jiān)視和測量對象清單：明確列出所有需要監(jiān)視和測量的關(guān)鍵指標、過程和活動；方法和工具：描述用于執(zhí)行監(jiān)視和測量的具體方法、技術(shù)和工具；實施時間表：制定詳細的實施時間表，包括定期監(jiān)視和測量的頻率及特定事件的觸發(fā)條件。監(jiān)視和測量記錄；數(shù)據(jù)收集表：記錄每次監(jiān)視和測量活動的具體數(shù)據(jù)，包括時間、指標值、環(huán)境條件等；事件日志：記錄任何與監(jiān)視和測量活動相關(guān)的事件，特別是異常情況、故障和潛在的風(fēng)險點；系統(tǒng)狀態(tài)報告：定期生成的系統(tǒng)性能、安全狀態(tài)和合規(guī)性報告。分析和評價報告；定期分析報告：根據(jù)預(yù)設(shè)的時間表生成的分析報告，包括趨勢分析、問題識別和改進建議；即時分析報告：針對特定事件或異常情況生成的即時分析報告，強調(diào)問題的緊迫性和解決方案；績效對比報告：將當前績效與設(shè)定目標、歷史績效或行業(yè)標準進行對比，評估改進空間和成效?？冃Ш陀行栽u價績效指標報告：包含關(guān)鍵績效指標（KPIs）的詳細報告，如準確性、效率、用戶滿意度等；有效性評價報告：全面評價人工智能管理體系在達成組織目標、滿足法規(guī)要求和提升業(yè)務(wù)績效方面的有效性；改進計劃：基于分析和評價結(jié)果制定的具體改進計劃和行動項。組織應(yīng)評價人工智能管理體系的績效和有效性。評價人工智能管理體系的績效；規(guī)定績效指標：組織應(yīng)明確并規(guī)定一系列可量化的績效指標，這些指標應(yīng)能夠全面反映人工智能管理體系在運行過程中的表現(xiàn)。這些指標可以包括人工智能系統(tǒng)的準確性、處理速度、資源利用率、用戶滿意度等；數(shù)據(jù)收集與分析：通過持續(xù)監(jiān)視和測量活動，收集與績效指標相關(guān)的數(shù)據(jù)。利用統(tǒng)計分析工具和方法，對這些數(shù)據(jù)進行分析，以評估人工智能管理體系的實際表現(xiàn)是否達到預(yù)期目標；績效評價周期：根據(jù)組織的需求和實際情況，設(shè)定績效評價的周期。可以是定期的（如每季度、每年）或根據(jù)特定事件觸發(fā)的即時評價；績效評價報告：根據(jù)分析結(jié)果，編寫績效評價報告，總結(jié)績效表現(xiàn)，識別存在的問題和改進機會，并提出相應(yīng)的改進措施。評價人工智能管理體系的有效性。對比策劃與結(jié)果：將人工智能管理體系的實際運行結(jié)果與策劃時設(shè)定的目標和預(yù)期結(jié)果進行對比。評估是否按照策劃完成了預(yù)期的活動，并實現(xiàn)了預(yù)期的輸出；評審關(guān)鍵控制：評審人工智能管理體系中的關(guān)鍵控制是否得到有效執(zhí)行，并評估這些控制對人工智能管理體系有效性的貢獻。關(guān)鍵控制可能包括數(shù)據(jù)安全、算法透明度、用戶隱私保護等方面；相關(guān)方反饋：收集并分析相關(guān)方的反饋意見，了解他們對人工智能管理體系有效性的看法。相關(guān)方可能包括用戶、監(jiān)管機構(gòu)、合作伙伴等；內(nèi)部審核：通過定期開展內(nèi)部審核活動，組織可以及時發(fā)現(xiàn)和解決人工智能管理體系中存在的問題，不斷提升人工智能管理體系的成熟度和有效性，從而為組織實現(xiàn)戰(zhàn)略目標提供有力保障；管理評審：通過定期的管理評審會議，全面評估人工智能管理體系的有效性，識別潛在的風(fēng)險和機遇，并制定相應(yīng)的應(yīng)對措施。管理評審的結(jié)果應(yīng)作為組織決策和改進的重要依據(jù)；持續(xù)改進機制：評估組織是否建立了有效的持續(xù)改進機制，以確保能夠及時發(fā)現(xiàn)和解決人工智能管理體系中的問題，并不斷提升人工智能管理體系的有效性。第2部分：“9.1監(jiān)視、測量、分析和評價”流程控制表一級流程二級流程三級流程流程節(jié)點控制要點所期望的輸出監(jiān)視、測量、分析和評價策劃確定監(jiān)視測量對象明確人工智能管理系統(tǒng)要素與過程分析組織目標、戰(zhàn)略及人工智能應(yīng)用現(xiàn)狀，識別關(guān)鍵績效指標(KPIs)KPIs清單，包括但不限于數(shù)據(jù)處理效率、系統(tǒng)穩(wěn)定性等確定監(jiān)視測量方法選擇適當?shù)募夹g(shù)與工具考慮數(shù)據(jù)的自動收集與人工檢查結(jié)合，確保方法的有效性和準確性監(jiān)視測量方法與工具清單制定實施計劃明確時間表和責(zé)任人確定監(jiān)視測量活動的頻率、執(zhí)行時間及具體責(zé)任人實施計劃表實施監(jiān)視測量數(shù)據(jù)收集與記錄自動與手動數(shù)據(jù)收集確保數(shù)據(jù)的真實、完整、及時監(jiān)視測量數(shù)據(jù)記錄表監(jiān)視測量活動執(zhí)行按計劃執(zhí)行監(jiān)視測量活動確?；顒臃项A(yù)定方法和頻率監(jiān)視測量活動報告實施分析與評價數(shù)據(jù)分析與趨勢識別利用統(tǒng)計與分析工具處理數(shù)據(jù)分析數(shù)據(jù)，識別趨勢、異常和潛在問題數(shù)據(jù)分析報告，包括趨勢分析、問題識別等績效與有效性評價對比KPIs目標，評價人工智能管理體系的績效與有效性評估是否達到預(yù)定目標，識別改進機會績效與有效性評價報告，含改進建議成文信息記錄與保存監(jiān)視測量與分析評價結(jié)果的成文記錄編寫并審核相關(guān)報告與記錄確保記錄的準確性、完整性和可追溯性監(jiān)視測量記錄、分析報告、評價報告等成文信息成文信息的保存與檢索建立信息管理制度，確保信息可獲取與檢索確保在需要時能夠迅速找到并使用這些信息成文信息管理目錄，支持快速檢索第3部分：“9.1監(jiān)視、測量、分析和評價”過程風(fēng)險清單一級流程二級流程風(fēng)險描述（風(fēng)險源、過程運行可能發(fā)生什么并產(chǎn)生什么后果及其對實現(xiàn)業(yè)務(wù)流程目標產(chǎn)生的影響）監(jiān)視、測量、分析和評價策劃確定監(jiān)視測量對象風(fēng)險源：信息不全或誤判可能發(fā)生的情況：遺漏關(guān)鍵監(jiān)視測量對象后果：無法全面評估人工智能系統(tǒng)績效與風(fēng)險對目標實現(xiàn)的影響：人工智能管理體系的有效性評估不準確，影響組織決策確定監(jiān)視測量方法風(fēng)險源：方法不適當