人工智能模型風險管理框架

1人工智能模型風險管理框架本文件提供了在開展人工智能模型需求分析、數(shù)據(jù)準備、模型構建、檢驗驗證、模型部署、模型監(jiān)控、持續(xù)驗證與確認、模型修正、模型下線等關鍵活動過程中進行風險管理考慮的相關方面。本文件適用于管理、研發(fā)、供應、使用人工智能模型的。向提供人工智能服務和支持的相關機構亦能作為參考。2規(guī)范性引用文件下列文件中的內容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。JR/T0101—2013軟件測試文檔規(guī)范3術語和定義下列術語和定義適用于本文件。3.1模型model系統(tǒng)、實體、現(xiàn)象、過程或數(shù)據(jù)的物理、數(shù)學或其他邏輯表示[來源：ISO/IECTR24030:2021，3.31]3.2人工智能模型artificialintelligencemodel使用一種或多種人工智能技術和方法構建的模型（3.1）。3.3風險risk不確定性對目標的影響[來源：ISO31000:2018，3.1]3.4模型風險modelrisk因模型（3.1）自身缺陷形成不準確的輸出、錯誤所導致的風險（3.3）或不恰當?shù)厥褂媚Ｐ退鶎е碌娘L險。4縮略語下列縮略語適用于本文件。2AI人工智能（ArtificialIntelligence）PSI群體穩(wěn)定性指標（PopulationStabilityIndex）IV信息價值（InformationValue）WOE證據(jù)權重（WeightofEvidence）KS柯斯統(tǒng)計量（Kolmogorov-Smirnov）ROC接受者操作特征（ReceiverOperatingCharacteristic）AUCROC曲線下的面積（AreaUnderCurve）GINI基尼系數(shù)（GiniCoefficient）5風險管理等級劃分5.1基本策略由于應用人工智能模型的業(yè)務領域、重要性和影響程度、風險敞口不同，且的規(guī)模和風險偏好也存在差異，故各針對人工智能模型的風險管理需求也不相同。為了適用于對人工智能模型具有不同風險管理需求的，本文件按“分級管理、逐步遞增”的策略進行組織。5.2基礎等級本文件中的人工智能模型風險管理措施分為逐步遞增的三個級別。a)第一級，未在任何業(yè)務建立模型分級方法/流程，僅根據(jù)臨時需求或基于個人經驗，對模型進行分級。在管理、研發(fā)、供應、使用人工智能模型的過程中不能有效地控制風險，僅在部分過程中根據(jù)臨時的需求執(zhí)行了相關工作，或相關人員基于經驗開展活動。b)第二級，從業(yè)務和技術層面，由不同內設單元對管理、研發(fā)、供應、使用人工智能模型過程中主要的、常見的風險進行短期計劃和現(xiàn)場控制；建立根據(jù)模型影響的對象和影響程度，對業(yè)務范圍內的模型進行分級管理；分配了風險管理資源，明確了必要的責任；模型進行分級標識和管理；現(xiàn)有的風險控制措施執(zhí)行情況有記錄能查。c)第三級，明確模型分級原則、方法和操作要求，在企業(yè)級對人工智能模型風險管理進行全面規(guī)劃、計劃、管控、審計，建立了覆蓋全業(yè)務領域、全工作流程、全參與角色的企業(yè)標準體系；對不同級別的模型建立相應的安全管理要求和管理措施；對標準體系實施有全面和完整的記錄，對執(zhí)行的效果有評估和審計，對發(fā)現(xiàn)的問題進行了有效的問題分析，并與績效考核掛鉤。5.3等級細化與拓展根據(jù)管理需要和技術發(fā)展趨勢，對5.2中的人工智能模型風險管理等級能夠進行進一步的細化與拓展。所有的細化內容不能超出本級的要求，細化后再行概括，能夠還原為原等級要求；所有的拓展內容高于本級原有要求，但不能與現(xiàn)有要求存在不一致。6模型生命周期6.1需求分析6.1.1第一級3未對模型需求進行有效管理，團隊相關人員基于經驗開展基本的需求分析活動。6.1.2第二級第二級需求分析工作如下。a)內設部門建立需求管理流程，規(guī)范需求編寫、需求變更、需求評審、需求驗收等環(huán)節(jié)。b)遵循需求管理流程，明確以下內容：1)模型需求提出、承接、評審、確認的角色并落實到具體部門或人員；2)模型需求提出、承接、評審、確認的具體流程、操作規(guī)范和要求；3)模型需求過程中的關鍵文檔，包含但不限于需求說明書；4)模型需求的版本管理方式，包含但不限于需求基線和需求變更。c)編寫模型需求說明文檔，包含以下內容：1)模型的業(yè)務需求背景、需求調研和需求描述；2)模型應用的目標和方式，包含模型效果以及效果收集形式、模型評價方式及評價指標、應用場景、局限性、合理性；3)模型的業(yè)務價值和技術價值；4)模型影響，包含模型調用量級、影響用戶類型和規(guī)模。d)參與需求評審的相關方至少包括模型使用方、模型開發(fā)方。e)形成模型需求評審記錄，包含評審內容、評審結果和相關方確認。6.1.3第三級第三級需求分析工作如下。a)6.1.2的全部內容。b)設立需求管理人員，負責模型需求的承接、分析、排序、分發(fā)。c)需求管理流程遵循治理與管理要求。d)模型需求評審的內容包含業(yè)務需求分析和拆解的準確性、模型方案的可行性、模型的安全、合規(guī)、風險以及緩釋措施的有效性。e)明確參與模型需求評審的相關方及各方在評審過程中評審的重點內容，相關方具備專業(yè)知識并能夠基于具體的模型進行評估和審核。f)需求評審的參與方包含獨立于模型開發(fā)方和模型使用方的部門人員，各參與方向不同的管理層人員進行整體情況匯報。g)部署需求管理平臺或工具，支持模型需求工作流管理(包括需求變更、排序等)、提供模型需求文檔流轉和查閱、支持需求具體部門和人員角色設置、保留需求階段重要操作日志和記錄。h)模型上線版本與需求保持一致。6.2數(shù)據(jù)準備6.2.1第一級未對模型開發(fā)所使用的數(shù)據(jù)進行有效管理，模型開發(fā)相關人員基于經驗開展基本的數(shù)據(jù)準備活動。6.2.2第二級4第二級數(shù)據(jù)準備工作如下。a)內設部門建立模型數(shù)據(jù)準備管理流程，明確以下內容：1)開展數(shù)據(jù)準備的角色并落實到具體下屬部門或人員。2)數(shù)據(jù)質量檢查準則、檢查方法、檢查維度、樣本量和樣本范圍、樣本保留時間和方式。3)數(shù)據(jù)準備過程中的關鍵文檔，包含但不限于數(shù)據(jù)質量檢查結果記錄。b)記錄數(shù)據(jù)準備過程，包括數(shù)據(jù)獲取時間、訓練數(shù)據(jù)來源、訓練數(shù)據(jù)量、數(shù)據(jù)存儲介質標識、采樣方法。c)用于模型開發(fā)和測試的樣本保留周期不少于6個月。d)模型開發(fā)所使用的數(shù)據(jù)在建模前（生產數(shù)據(jù)接入特征平臺前）經過模型使用方負責人、模型開發(fā)方、數(shù)據(jù)所有者、數(shù)據(jù)安全管理人員等審核。e)通過權限申請和審核批準，對模型開發(fā)所使用的數(shù)據(jù)的訪問和使用進行權限管控，保證數(shù)據(jù)的訪問和使用限于該模型開發(fā)所需的最小范圍。f)數(shù)據(jù)準備環(huán)境中如包含敏感個人信息，采取屏蔽等技術措施防止數(shù)據(jù)展示可能導致的信息泄露。g)部署數(shù)據(jù)開發(fā)平臺或工具，支持以下功能：1)數(shù)據(jù)集成、數(shù)據(jù)清洗和數(shù)據(jù)加工等操作；2)記錄數(shù)據(jù)準備過程；3)記錄人員操作；4)記錄數(shù)據(jù)開發(fā)日志；5)記錄數(shù)據(jù)開發(fā)環(huán)境；6)記錄變量結構和變量處理過程；7)支持數(shù)據(jù)申請和審批。h)保留和備份數(shù)據(jù)開發(fā)日志信息，保存時長不少于6個月。6.2.3第三級第三級數(shù)據(jù)準備工作如下。a)6.2.2的全部內容。b)數(shù)據(jù)準備流程遵循治理與管理要求。c)針對模型的預期用途進行專有的數(shù)據(jù)開發(fā)，考慮特定的應用場景所特有的特征或要素。d)對用于模型開發(fā)和測試的數(shù)據(jù)的質量進行檢查，包含以下內容：1)對數(shù)據(jù)的準確性、完整性、一致性和全面性進行檢查；2)通過勾稽關系檢查、橫向比較、趨勢分析進行檢查；3)對缺失值、異常值、極端值等進行檢查。e)當擴展新的數(shù)據(jù)維度、顯著擴大數(shù)據(jù)量級或模型應用于不同于原定業(yè)務場景時，重新進行模型構建。f)利用角色、流程、權限設置對訓練數(shù)據(jù)集和測試數(shù)據(jù)集進行管控，保證數(shù)據(jù)集的完整性和一致g)利用角色、流程、權限設置對特征進行管控，保證特征的完整性和一致性。h)數(shù)據(jù)準備環(huán)境中如包含敏感個人信息，采取加密等技術措施保證數(shù)據(jù)存儲的保密性。i)數(shù)據(jù)開發(fā)平臺或工具在第二級的基礎上，支持以下功能：1)記錄數(shù)據(jù)訓練歷史腳本、數(shù)據(jù)樣本、訓練時間等；2)支持模型歷史訓練數(shù)據(jù)的記錄能追溯。6.3模型構建56.3.1第一級未對模型構建過程進行有效管理，模型開發(fā)人員基于經驗開展基本的模型構建活動。6.3.2第二級第二級模型構建工作如下。a)內設部門建立模型構建管理流程，落實以下內容：1)開展模型構建的角色并落實到具體下屬部門或人員（數(shù)據(jù)開發(fā)者）；2)模型構建的具體流程、要求和操作規(guī)范，包括模型構建過程中遵循的安全原則和安全要求，模型方法探索過程和比較方式、模型性能比較方式；3)模型評審的具體流程、要求和操作規(guī)范；4)模型構建過程中的關鍵文檔，包含但不限于模型開發(fā)文檔。b)編寫模型開發(fā)文檔，包含以下內容：1)模型背景；2)模型用途和目標；3)模型相關方，包括模型開發(fā)者、模型使用方、模型所有方、模型運維者；4)模型相關假設（如有）的說明和測試記錄；5)模型的弱點和局限性；6)模型方法探索過程、比較方式和歷史結果；7)模型性能比較方式和歷史結果；8)樣本定義和變量設計；9)數(shù)據(jù)描述和分析；10)模型需求設計方案；11)建模變量清單；12)模型結果（參數(shù)選擇）；13)模型評估；14)數(shù)據(jù)樣本和樣本生成；15)模型監(jiān)控方案；16)資源投入和時間安排。c)評估模型應用可能產生的合規(guī)風險、聲譽風險、業(yè)務風險、財務風險、用戶權益危害等，調研和分析能采取的風險控制措施，將模型應用風險降低至能接受水平。d)對于可解釋模型，將模型的輸入特征與模型的輸出的結果建立聯(lián)系。能實現(xiàn)對于給定的模型輸出，能關聯(lián)到與該輸出最為相關的輸入特征中。注：所使用的模型必須符合《中國銀保監(jiān)會辦公e)包括模型開發(fā)者、模型使用方、數(shù)據(jù)所有者（如果數(shù)據(jù)直接取自金融機構內部已加工整合的數(shù)據(jù)資產，可不需數(shù)據(jù)所有者參與）等在內的人員對模型進行評審。f)形成模型評審記錄，至少包含評審內容、評審結果和相關方確認。g)部署模型構建平臺或工具，支持以下功能：1)樣本管理；2)特征管理；3)記錄單個特征的詳細信息；4)模型評估；65)記錄模型構建過程；6)記錄人員操作；7)記錄模型構建日志；8)記錄模型構建環(huán)境；9)支持精細化的權限申請和審批。h)保留模型開發(fā)代碼。i)保留和備份模型構建日志信息，保存時長不少于6個月。6.3.3第三級第三級模型構建工作如下。a)6.3.2的全部內容。b)模型構建流程遵循治理與管理要求。c)如進行模型修正，修訂模型開發(fā)文檔、更新相關內容，并說明新模型相較于舊模型的優(yōu)越性。d)編寫代碼編寫規(guī)范和安全規(guī)范，涵蓋模型代碼開發(fā)常見的危險函數(shù)、算法框架、安全漏洞等。e)使用代碼掃描工具對代碼進行評審，包括但不限于合規(guī)和安全缺陷檢查，如發(fā)現(xiàn)安全缺陷問題，以工具直接修復或工具結合人工的方式修復。f)模型構建平臺或工具在第二級的基礎上，支持以下功能：1)記錄模型方法探索過程、比較方式和歷史結果；2)記錄模型性能比較方式和歷史結果；3)具備模型文件校驗等技術能力，支持對模型文件格式、大小、參數(shù)范圍、節(jié)點名稱、數(shù)據(jù)維度等關鍵信息進行檢測校驗；4)適用于多種用戶角色的建模工具，如給業(yè)務人員提供圖形化的建模工具、給模型開發(fā)方提供專業(yè)的交互式建模工具等；5)提供的算法庫能夠支持多種模型的構建需求，包括有監(jiān)督、半監(jiān)督、無監(jiān)督，以及主流的神經網絡、深度學習等。g)對于可解釋模型，在建立模型輸出與輸入特征的關聯(lián)基礎上，解釋結果能捕捉到特征與特征之間的聯(lián)系，并展示有關聯(lián)的特征如何共同作用于模型輸出結果。h)根據(jù)該應用場景構造特征。i)根據(jù)該應用場景構建模型。j)成立模型評審委員會或獨立于模型開發(fā)方的模型專業(yè)人員對模型進行評審。k)對模型使用過程中產生的相關計算數(shù)據(jù)進行保護，包括輸出向量、模型參數(shù)、模型梯度等可能會泄露訓練數(shù)據(jù)的敏感信息或者模型自身的屬性參數(shù)。如限制惡意訪問次數(shù)、引入隨機性、添加模型水印等。l)對目標函數(shù)進行說明，目標函數(shù)設計上不存在針對特殊群體的偏見歧視。m)制定適用于不同類型和級別的模型安全和風險評估清單，并根據(jù)清單開展模型安全和風險影響評估。評估清單包含以下內容：1)數(shù)據(jù)合規(guī)風險；2)數(shù)據(jù)質量風險；3)目標函數(shù)安全；4)模型（算法）選擇風險；5)算法依賴庫風險；6)算法使用風險；7)模型安全漏洞。76.4模型驗證6.4.1第一級未對模型驗證進行有效管理，模型驗證相關人員基于經驗開展基本的測試和驗證活動。6.4.2第二級第二級模型驗證工作如下。a)內設部門建立模型驗證管理流程，規(guī)范以下內容：1)開展模型驗證的角色并落實到具體部門或人員；2)執(zhí)行模型驗證的時機；3)模型驗證的范圍和方法；4)模型驗證發(fā)現(xiàn)的問題分類分級定義；5)問題處置、追蹤和匯報的方式；6)問題解決的定義；7)模型驗證的結論定義（如適合使用、有條件使用、不適合使用）；8)模型驗證過程中的關鍵文檔，包含但不限于模型驗證報告。b)模型驗證包含以下內容：1)模型需求設計，即模型方法的合理性、模型局限性和弱點、模型預期的用途等；2)模型開發(fā)過程，即需求分析、數(shù)據(jù)準備、模型構建等過程準確合規(guī)可控；3)模型效果，即對模型輸出與相應的實際結果進行比較，包括評價估算或預測的準確性、評價排序能力等。c)模型部署前進行集成測試、配置項測試、系統(tǒng)測試、驗收測試，編寫并保留測試文檔。測試文檔規(guī)范按JR/T0101-2013中的要求實施。d)編寫模型驗證報告，包含以下內容：1)模型基本信息，包括模型名稱、模型版本、模型背景和用途、模型方法等；2)模型相關方，包括模型開發(fā)者、模型使用方、模型所有方、模型驗證者；3)模型驗證時間；4)模型驗證方式；5)模型驗證方案；6)問題發(fā)現(xiàn)和影響評估；7)模型驗證結論。e)如進行模型修正，在部署之前重新驗證。6.4.3第三級第三級模型驗證工作如下。a)6.4.2的全部內容。b)設置模型驗證專職人員，與模型使用方和模型開發(fā)方向不同的高級管理層人員匯報。c)模型驗證流程遵循治理與管理要求。d)遵循模型驗證管理流程，制定適用于不同類型和級別的模型驗證準則和檢查矩陣，規(guī)范模型驗證的具體內容。包含驗證類別、驗證項、通過條件、風險等級等。要求模型驗證人員參照執(zhí)行。e)同時采用自動化驗證和人工驗證方式進行交叉驗證。f)模型驗證在第二級的基礎上，包含以下內容：81)模型的健壯性驗證，也可稱為魯棒性驗證，重點驗證模型對數(shù)據(jù)變化的容忍度，支持模型入?yún)⒌拿舾行则炞C，檢測輸入和參數(shù)值的微小變化對模型輸出的影響；2)建模數(shù)據(jù)的穩(wěn)定性和真實性，以及數(shù)據(jù)的適當性、合理性、權重比例的科學性；3)數(shù)據(jù)安全合規(guī)，即數(shù)據(jù)處理過程中敏感數(shù)據(jù)是否通過加密、去標識化、匿名化等方式進行保護，數(shù)據(jù)處理結果中是否存在可恢復或者涉及安全隱私的敏感數(shù)據(jù)；4)一定條件下的公平性驗證，即模型決策結果保證人群均等、機會均等、幾率均等、人群無關性等，包括顯性偏見和隱形偏見識別；5)采用模擬數(shù)據(jù)竊取、成員推理攻擊、數(shù)據(jù)逆向還原等方法進行驗證；6)可復現(xiàn)性驗證，即在相同場景下，采取不同的數(shù)據(jù)集來對模型進行多次校驗，并對在相同條件下出現(xiàn)的差異化結果進行分析；7)通過同時改變多個輸入來發(fā)現(xiàn)意外的交互作用，特別是在交互作用復雜且不直觀的情況下。g)部署模型驗證平臺或工具，支持以下功能：1)數(shù)據(jù)質量驗證；2)模型自動化驗證；3)記錄驗證人員操作；4)記錄模型驗證環(huán)境；5)記錄模型驗證歷史腳本、數(shù)據(jù)樣本、驗證時間、驗證結果。6.5模型部署6.5.1第一級未對模型部署進行有效管理，模型部署相關人員基于經驗開展基本的部署活動。6.5.2第二級第二級模型部署工作如下。a)內設部門建立模型部署管理流程，明確以下內容：1)執(zhí)行模型部署的角色并落實到下屬部門或人員；2)模型上線的具體流程與要求，包括模型上線前評審、模型校驗、生產數(shù)據(jù)接入；3)模型上線前評審的關鍵文檔。b)評估模型部署影響范圍，提前將模型部署可能造成的影響告知相關方。c)記錄模型部署過程，包括模型部署的操作人員、部署環(huán)境、部署步驟、部署時間和部署結果。d)執(zhí)行模型上線前評審，形成模型評審記錄，至少包含評審結果和相關方確認。e)模型上線前評審包含以下內容：1)模型業(yè)務應用；2)模型技術方案；3)模型開發(fā)過程；4)模型部署回退方案；5)模型調用方案。f)模型工程化部署，包含以下內容：1)數(shù)據(jù)源調整；2)參數(shù)化處理；3)監(jiān)控指標設定；4)運行效率評估優(yōu)化；95)多模型組合服務。g)部署模型部署平臺或工具，支持以下功能：1)記錄部署人員操作；2)記錄部署時間和部署結果；3)記錄部署相關腳本；4)記錄部署軟硬件環(huán)境和配置信息；5)執(zhí)行模型文件完整性校驗；6)支持暫停上線和上線終止；7)支持安全檢測和訪問控制。h)保留和備份模型部署日志信息，保存時長不少于6個月。6.5.3第三級第三級模型部署工作如下。a)6.5.2中的全部內容。b)模型部署流程遵循治理與管理要求。c)通過模型灰度發(fā)布對模型進行試運行，確保模型效果符合要求后發(fā)布模型。d)模型上線前評審由模型開發(fā)方、模型使用方和獨立于前兩者的第三方參與，任一評審參與方均能否決模型上線。e)制定模型上線前評審表，規(guī)范模型上線前評審各參與方評估的主要內容和具體評審要求。f)模型部署平臺或工具在第二級的基礎上，支持以下功能：1)自動識別模型部署影響范圍并告知相關方；2)支持模型灰度發(fā)布；3)支持模型流量分配（支持異步全量和同步分流）；4)實時監(jiān)控模型部署過程產生的風險并能夠可視化展示；5)支持回滾至前一版本；6)支持自動化、精細化、多樣化的模型部署方式；7)支持下載管理，避免將模型文件直接下載到本地。6.6模型監(jiān)控6.6.1第一級未對已上線模型進行有效管理，相關人員基于經驗開展基本的運行監(jiān)控。6.6.2第二級第二級模型監(jiān)控工作如下。a)內設部門建立模型監(jiān)控管理流程，規(guī)范以下內容：1)執(zhí)行模型監(jiān)控的角色并落實到具體下屬部門或人員；2)模型監(jiān)控策略、監(jiān)控內容、監(jiān)控方式和評價方法、風險預警和響應措施等；3)模型監(jiān)控過程中涉及的關鍵文檔。b)模型使用方、模型所有方、模型運維者等相關方，基于模型應用的業(yè)務目標和風險，根據(jù)各自職責設置模型運行監(jiān)控指標。c)模型所有方記錄模型的使用者和使用場景，并留存記錄。d)模型監(jiān)控包含以下內容：1)數(shù)據(jù)監(jiān)控，即監(jiān)控模型所需數(shù)據(jù)的提取、加工和數(shù)據(jù)分布的變化；2)模型運行監(jiān)控，模型運行正常與否、模型運行的資源消耗、模型運行響應的性能（如單筆響應時長、總調度量）等；3)結果監(jiān)控，即監(jiān)控模型直接輸出數(shù)據(jù)的變化。e)定期識別和量化模型效果或風險，對由模型效果降低帶來的風險進行預警。f)定期開展監(jiān)控策略的合理性評估，及時調整運行監(jiān)控策略。g)制定模型性能監(jiān)測計劃，包括監(jiān)測頻率、指標、基準點和指標的閾值。h)定期產出監(jiān)控報告，包含以下內容：1)模型性能表現(xiàn)；2)模型支持體系的運行情況；3)模型運行環(huán)境或假設條件的變化對模型結果的影響。i)部署模型監(jiān)控平臺或工具，支持以下功能：1)基礎監(jiān)控指標配置；2)觸發(fā)預置告警；3)輸出模型監(jiān)測評價報告；4)支持模型下線；5)支持可視化的風險展示；6)多種方式的預警通知。j)保留和備份模型監(jiān)控日志信息，保存時長不少于6個月。6.6.3第三級第三級模型監(jiān)控工作如下。a)6.6.2中的全部內容。b)模型監(jiān)控流程遵循治理與管理要求。c)設置團隊/人員對模型的監(jiān)控進行獨立審查，該團隊/人員與模型使用方和模型開發(fā)方向不同的高級管理層匯報。d)根據(jù)模型決策重要性和風險影響制定差異化的監(jiān)控和響應策略。高風險模型產生的結果應用時需考慮人工檢查、人機交叉驗證等處理策略。中風險模型決策結果突破風險閾值后由人工進行處置。e)模型監(jiān)控平臺或工具在第二級的基礎上，支持以下功能：1)靈活配置監(jiān)控指標，支持不同模型類型的不同性能監(jiān)控，建立與模型類別、使用用途相適配的模型監(jiān)控指標，例如：PSI、IV、WOE、KS、ROC、AUC、GINI、卡方檢驗、F檢驗、T檢驗、秩和檢驗等常見模型指標監(jiān)控；注：PSI是模型穩(wěn)定性指標，反映了驗證樣本在各分數(shù)段的分布與建模IV是特征預測能力指標，一般用來表示特征對目KS是模型區(qū)分度指標，表示正負樣本累計分布GINI是模型區(qū)分度指標，GINI系數(shù)越大，表明模型對正負樣本的評估差異性越大，模型的區(qū)ROC曲線指接受者操作特征曲線，是根據(jù)一系列不同的二分類方式，以真陽性率為縱坐標，假陽性率為橫坐標AUC指ROC曲線下的面積，用來衡量模型的預測卡方檢驗表示統(tǒng)計樣本的實際觀測值與理論F檢驗指方差比率檢驗、方差齊性檢驗，是一種在零假設之下，統(tǒng)計值服從F-分布T檢驗指用T分布理論來推論差異發(fā)生的概率，比較兩個平均數(shù)的差秩和檢驗又稱順序和檢驗，是一種非參數(shù)檢驗，不依賴于總體分布的具體2)對模型相關方反饋的持續(xù)監(jiān)測；3)監(jiān)控的應急處理；4)靈活的處置策略，如熔斷、降級、隔離、標記、模型（自動）更新等；5)人工進行部分或全部干預和處置；6)對模型業(yè)務成效進行監(jiān)控?；跇I(yè)務場景采用不同的業(yè)務成效監(jiān)控指標進行監(jiān)測和評估。6.7持續(xù)驗證與確認6.7.1第一級未對模型持續(xù)驗證與確認進行有效管理，模型驗證相關人員基于經驗開展持續(xù)驗證與確認活動。6.7.2第二級第二級持續(xù)驗證與確認工作如下。a)內設機構建立模型持續(xù)驗證與確認管理流程，規(guī)范以下內容：1)開展模型持續(xù)驗證與確認的角色并落實到具體部門或人員；2)模型持續(xù)驗證與確認頻次或周期，確保能夠應對及時性風險；3)持續(xù)驗證與確認的范圍和方法等；4)持續(xù)驗證與確認過程中的關鍵文檔。b)由模型的所有者或使用者開展持續(xù)驗證與確認。c)持續(xù)驗證與確認過程的各項文檔輸出與模型驗證過程一致。d)開展持續(xù)模型驗證考慮以下內容：1)結合模型運行監(jiān)控內容；2)模型的方法、假設、局限性和弱點等；3)模型用途和使用人群是否發(fā)生變化；4)監(jiān)管合規(guī)和市場狀況是否發(fā)生變化；5)使用最新生成的數(shù)據(jù)進行持續(xù)驗證與確認。e)持續(xù)驗證與確認包含以下內容：1)模型驗證環(huán)節(jié)執(zhí)行的驗證內容；2)模型監(jiān)控指標的完備性、合理性和有效性；3)發(fā)生的模型重大技術風險事件和業(yè)務風險事件。6.7.3第三級第三級模型持續(xù)驗證與確認工作如下。a)6.7.2中的全部內容。b)持續(xù)驗證與確認流程遵循治理與管理要求。c)模型驗證專職人員開展持續(xù)確認。d)結合外部輿情監(jiān)測內容進行模型相關的持續(xù)驗證與確認。e)同時采用自動化驗證和人工驗證方式進行交叉驗證。f)遵循模型驗證管理流程，制定適用于不同類型和級別的模型驗證準則和檢查矩陣，規(guī)范模型驗證的具體內容。包含驗證類別、驗證項、通過條件、風險等級等。要求模型驗證人員參照執(zhí)行。g)具備在極大偶然性、隨機性、無模型歷史可循且具有大量不確定性的決策不能重復情況下，識別和處理模型異常的方法。6.8模型修正6.8.1第一級未對模型修正進行有效管理，模型修正相關人員基于經驗開展模型修正活動。6.8.2第二級第二級模型修正工作如下。a)內設機構建立模型修正管理流程，規(guī)范以下內容：1)開展模型修正的角色并落實到具體下屬部門或人員；2)模型修正觸發(fā)條件，即需要進行模型修正的情況；3)模型修正的具體流程、要求和操作規(guī)范；4)規(guī)范模型修正周期、修正范圍、修正指標等；5)模型修正過程中的關鍵文檔，包含但不限于模型修正方案、模型修正記錄、模型開發(fā)文檔。b)發(fā)生以下情況時，觸發(fā)模型修正：1)數(shù)據(jù)源發(fā)生變化；2)模型性能指標突破閾值；3)模型越控且長期需要人工修正；越控一定程度表明了模型在某些方面沒有按預期表現(xiàn)或4)監(jiān)管合規(guī)和業(yè)務需求發(fā)生變化。c)模型修正前編寫模型修正方案，包含以下內容：1)模型基本信息，包括模型名稱、模型版本、模型背景和用途、模型方法等；2)模型相關方，包括模型開發(fā)者、模型使用方、模型所有方、模型驗證者；3)模型修正的背景和原因；4)模型修正使用的數(shù)據(jù)；5)模型修正范圍；6)執(zhí)行模型修正的角色和職責；7)模型修正實施步驟。d)保留模型修正記錄，包含以下內容：1)模型修正前后版本；2)模型修正前后參數(shù)；3)模型修正前后樣本類型、時間窗口等；4)模型修正前后性能數(shù)據(jù)。e)部署模型修正平臺或工具，支持以下功能：1)模型版本管理；2)記錄模型修正過程；3)記錄人員操作；4)記錄模型修正日志。f)對模型越控及進行記錄。分析模型越控原因，跟蹤和評估越控效果，采取適當?shù)膽獙Υ胧?.8.3第三級第三級模型修正工作如下。a)6.8.2中的全部內容。b)模型修正流程遵循治理與管理要求。c)根據(jù)模型修正情況更新模型開發(fā)文檔，涵蓋模型修正前后的各項參數(shù)對比記錄。d)模型修正完成后與原有模型進行A/B測試驗證。e)模型修正后通過模型驗證、部署環(huán)節(jié)重新上線。f)部署模型修正平臺或工具在滿足第二級的基礎上，支持模型自動檢查和自動監(jiān)控。6.9模型下線6.9.1第一級未對模型下線進行有效管理，模型下線相關人員基于經驗開展模型下線活動。6.9.2第二級第二級模型下線工作如下。a)內設機構建立模型下線管理流程，明確以下內容：1)開展模型下線的角色并落實到下屬部門或人員；2)進行模型歸檔的角色并落實到下屬部門或人員；3)明確模型下線條件、模型下線需求確認、模型下線影響評估、模型下線審核、模型回滾和下線后評估等具體流程和要求；4)模型歸檔的具體流程和要求；5)模型下線、歸檔過程中的關鍵文檔。b)由系統(tǒng)運維人員執(zhí)行下線操作。c)評估模型下線影響范圍，確認無下游調用，制定應急方案，并提前將模型下線可能造成的影響告知相關方。d)記錄模型下線過程，包括模型下線的操作人員、下線步驟、下線時間和下線結果等。e)執(zhí)行模型下線審核，與模型使用方確認下線需求，模型開發(fā)方（模型開發(fā)者）負責人審核下線。f)形成模型下線審核記錄，至少包含審核結果和相關方確認。g)部署模型下線和歸檔平臺或工具，支持以下功能：1)支持多版本同時在線；2)記錄下線人員操作；3)記錄下線時間和下線結果；4)支持下線審核；5)記錄下線模型軟硬件環(huán)境和配置信息；6)支持保留和查閱模型生命周期中所有關鍵的文檔和記錄。h)模型歸檔后建立模型檔案，包括模型生命周期各階段第二級要求形成的各類代碼、數(shù)據(jù)、文檔和記錄。i)模型歸檔活動于模型下線后3個月內完成。6.9.3第三級第三級模型下線工作如下。a)6.9.2中的全部內容。b)模型修正流程遵循治理與管理要求。c)模型下線后進行驗證，確保下線模型與驗證結果一致，并持續(xù)監(jiān)測和評估對業(yè)務的影響。d)定期排查、下線不符合業(yè)務預期的、無效的或存在重大問題的模型，并形成排查記錄。e)對下線的模型進行歸檔，制定對已歸檔模型及相關文檔的管理要求。f)模型歸檔后建立模型檔案，包括模型生命周期各階段要求形成的全部代碼、數(shù)據(jù)、文檔和記錄。g)模型下線平臺或工具在第二級的基礎上，支持以下功能：1)檢查模型結果的引用關系（模型血緣）；2)自動化的方式管理模型下線；3)支持直接下