金融大模型應(yīng)用評(píng)測(cè)指南

Q/LB.□XXXXX-XXXXT/XXXXXXX—XXXX目次TOC\o"1-2"\h\z\u前言 II1范圍 22規(guī)范性引用文件 23術(shù)語和定義 23.1大模型largemodel 23.2金融語料financialcorpus 23.3單模態(tài)維度Monomodaldimension 23.4多模態(tài)維度multimodaldimension 23.5價(jià)值對(duì)齊valuealignment 24縮略語 25概述 35.1基本框架 35.2評(píng)測(cè)維度 36評(píng)測(cè)內(nèi)容 56.1模型基礎(chǔ)能力評(píng)測(cè) 56.2金融安全與價(jià)值對(duì)齊能力評(píng)測(cè) 56.3金融風(fēng)險(xiǎn)控制能力評(píng)測(cè) 66.4金融專業(yè)認(rèn)知能力評(píng)測(cè) 76.5金融業(yè)務(wù)輔助拓展能力評(píng)測(cè) 87評(píng)測(cè)方法 107.1評(píng)測(cè)數(shù)據(jù)集 107.2評(píng)測(cè)工具 10參考文獻(xiàn) 12附錄A 13

金融大模型應(yīng)用評(píng)測(cè)指南范圍本文件提出了大模型在金融垂直領(lǐng)域應(yīng)用需要具備的核心能力及評(píng)測(cè)方法，包括模型基礎(chǔ)能力、金融安全與價(jià)值對(duì)齊能力、金融風(fēng)險(xiǎn)控制能力、金融專業(yè)認(rèn)知能力、金融業(yè)務(wù)輔助拓展能力五個(gè)方面。本文件適用于大模型在銀行、證券、保險(xiǎn)、基金、信托等金融垂直領(lǐng)域應(yīng)用效果相關(guān)的評(píng)測(cè)工作。規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T25069-2010信息安全技術(shù)術(shù)語GB/T41867-2022信息技術(shù)人工智能術(shù)語GB/T5271.1-2000信息技術(shù)詞匯第1部分：基本術(shù)語術(shù)語和定義GB/T41867-2022界定的以及下列術(shù)語和定義適用于本文件。大模型largemodel在大量數(shù)據(jù)上訓(xùn)練得到，具有復(fù)雜計(jì)算架構(gòu)，能處理復(fù)雜任務(wù)，且具備一定泛化性的深度學(xué)習(xí)模型。金融語料financialcorpus金融領(lǐng)域相關(guān)文本、圖片、音頻、視頻等數(shù)據(jù)的集合，可用于訓(xùn)練和優(yōu)化金融大模型，以提升其在金融領(lǐng)域的應(yīng)用效果。單模態(tài)維度Monomodaldimension單模態(tài)維度主要包括文本、圖像、音頻3個(gè)二級(jí)維度。多模態(tài)維度multimodaldimension多模態(tài)維度主要包括圖文、文音、圖音、圖文音4個(gè)二級(jí)維度。價(jià)值對(duì)齊valuealignment大模型的能力和行為與人類的價(jià)值、真實(shí)意圖和倫理原則相一致，以確保人類與人工智能協(xié)作過程中的安全與信任。縮略語AI：人工智能（ArtificialIntelligence）IPO：首次公開招募（InitialPublicOffering）概述基本框架本文件聚焦大模型在金融垂類領(lǐng)域的應(yīng)用效果評(píng)估，從模型基礎(chǔ)能力、金融專業(yè)認(rèn)知能力、金融業(yè)務(wù)輔助拓展能力、金融風(fēng)險(xiǎn)控制能力、金融安全與價(jià)值對(duì)齊能力五大維度構(gòu)建了金融大模型應(yīng)用評(píng)測(cè)架構(gòu)體系，如圖1所示。圖1金融大模型應(yīng)用評(píng)測(cè)架構(gòu)體系評(píng)測(cè)維度5.2.1模型基礎(chǔ)能力基于大規(guī)模AI語料庫(kù)訓(xùn)練得到的金融大模型所具備的能力，應(yīng)遵循《人工智能大模型第2部分：評(píng)測(cè)指標(biāo)與方法》中的相關(guān)規(guī)范和要求，包括單模態(tài)和多模態(tài)兩個(gè)維度方面的能力。單模態(tài)能力中主要涉及文本、圖像、音頻三個(gè)方面能力，具體包括：a)文本分類；b)信息抽??；c)因果推理；d)常識(shí)推理；e)任務(wù)分解；f)文本問答；g)多輪對(duì)話；h)代碼理解；i)長(zhǎng)文本理解；j)靜態(tài)圖像分類。多模態(tài)能力中涉及文本、圖像兩個(gè)方面能力，具體包括：圖文檢索；靜態(tài)圖像問答；視覺語言推理；視覺蘊(yùn)含；視頻問答；圖表推理。5.2.2金融安全與價(jià)值對(duì)齊大模型在業(yè)務(wù)活動(dòng)中研判輸出內(nèi)容的合規(guī)和敏感性能力，包括但不限于以下內(nèi)容：a)《網(wǎng)絡(luò)數(shù)據(jù)安全管理?xiàng)l例》要求；b)內(nèi)容合規(guī)；c)應(yīng)用場(chǎng)景合規(guī)性；d)安全審計(jì)與監(jiān)控；e)金融邏輯合理性；f)維護(hù)金融市場(chǎng)穩(wěn)定；g)倫理價(jià)值；h)情緒價(jià)值；i)文化價(jià)值；j)社會(huì)價(jià)值。5.2.3金融風(fēng)險(xiǎn)控制能力大模型在金融業(yè)務(wù)活動(dòng)中識(shí)別、評(píng)估、監(jiān)控、應(yīng)對(duì)和管理金融風(fēng)險(xiǎn)的能力，包括但不限于以下內(nèi)容：合規(guī)風(fēng)險(xiǎn)；市場(chǎng)風(fēng)險(xiǎn)；操作風(fēng)險(xiǎn)；流動(dòng)性風(fēng)險(xiǎn)；信用風(fēng)險(xiǎn)；輿情風(fēng)險(xiǎn)。5.2.4金融專業(yè)認(rèn)知能力大模型在金融領(lǐng)域中所展現(xiàn)出的理解、分析、決策和應(yīng)用金融知識(shí)的能力，包括但不限于以下內(nèi)容：金融基礎(chǔ)知識(shí)能力;金融信息解讀能力。5.2.5金融業(yè)務(wù)輔助拓展能力大模型在銀行、基金、保險(xiǎn)、證券、信托等垂直領(lǐng)域的核心業(yè)務(wù)能力，可分為對(duì)內(nèi)和對(duì)外兩大部分，包括但不限于以下內(nèi)容：場(chǎng)景豐富度；業(yè)務(wù)價(jià)值提升能力；業(yè)務(wù)側(cè)能力指標(biāo)；服務(wù)可靠性。評(píng)測(cè)內(nèi)容模型基礎(chǔ)能力評(píng)測(cè)大模型理解能力評(píng)測(cè)主要分為單模態(tài)維度和多模態(tài)維度，單模態(tài)維度主要包括文本、圖像的維度，多模態(tài)維度主要包括圖文維度。6.1.1單模態(tài)維度單模態(tài)能力中涉及文本、圖像兩個(gè)方面能力，具體包括：文本分類：將文本劃分為不同的類別或標(biāo)簽；信息抽?。褐改Ｐ湍軌蚋鶕?jù)文本內(nèi)容，完成內(nèi)容、實(shí)體、事件、屬性、關(guān)系等信息的抽?。灰蚬评恚褐改Ｐ驮谖谋灸B(tài)中識(shí)別和計(jì)算因果關(guān)系的能力；常識(shí)推理：在日常情境下，結(jié)合常識(shí)理解和推斷隱含信息的能力；任務(wù)分解：指模型能夠?qū)?fù)雜任務(wù)分解為多個(gè)步驟，并合理規(guī)劃任務(wù)的執(zhí)行順序；文本問答：指模型能夠根據(jù)用戶提出的問題，提供合理、準(zhǔn)確、實(shí)用的答案；多輪對(duì)話：評(píng)測(cè)模型在進(jìn)行多輪對(duì)話場(chǎng)景下的問答能力；代碼理解：指模型能夠?qū)o定的編程代碼，給出相應(yīng)的文本解釋說明；長(zhǎng)文本理解:指模型能夠?qū)﹂L(zhǎng)文本內(nèi)容深入理解和分析，并提取其中信息；靜態(tài)圖像分類:指模型能夠理解靜態(tài)圖像的語義內(nèi)容，并輸出其對(duì)應(yīng)的類別標(biāo)簽。音頻問答：指模型能夠理解用戶提供音頻信息中的問題，并提供合理、準(zhǔn)確、實(shí)用的答案。6.1.2多模態(tài)維度多模態(tài)能力中主要涉及圖文方面能力，具體包括：圖文檢索：指模型能夠根據(jù)給定的圖片/文本檢索到與之最匹配的文本/圖片構(gòu)成配對(duì)；靜態(tài)圖像問答：指模型能夠回答針對(duì)靜態(tài)圖像的文本問題；視覺語言推理：指模型能夠基于給定的一對(duì)圖片和描述，判斷描述與圖片間的對(duì)應(yīng)關(guān)系是否一致；視覺蘊(yùn)含：指模型能夠推理判斷給定圖片和文本之間的關(guān)系；視頻問答：指模型能夠回答針對(duì)視頻的文本問題；圖表推理：指模型具備理解推理圖表信息，并據(jù)此作出合理的推斷；金融安全與價(jià)值對(duì)齊能力評(píng)測(cè)6.2.1安全合規(guī)金融大模型評(píng)測(cè)在安全合規(guī)方面應(yīng)涵蓋多個(gè)關(guān)鍵內(nèi)容，以確保模型的可靠性、隱私性和可解釋性，包括但不限于以下內(nèi)容：《網(wǎng)絡(luò)數(shù)據(jù)安全管理?xiàng)l例》要求：包括總則、一般規(guī)定、個(gè)人信息保護(hù)、重要數(shù)據(jù)安全、網(wǎng)絡(luò)數(shù)據(jù)跨境安全管理、網(wǎng)絡(luò)平臺(tái)服務(wù)提供者義務(wù)、監(jiān)督管理、法律責(zé)任、附則等部分內(nèi)容；內(nèi)容合規(guī)：對(duì)模型輸出結(jié)果的使用應(yīng)進(jìn)行金融領(lǐng)域合規(guī)性審查，確?；谀Ｐ徒Y(jié)果做出的決策和業(yè)務(wù)操作是合法、合規(guī)的。應(yīng)用場(chǎng)景合規(guī)性：金融大模型的應(yīng)用場(chǎng)景應(yīng)符合金融行業(yè)的監(jiān)管要求和業(yè)務(wù)規(guī)范，模型的應(yīng)用應(yīng)遵循相關(guān)的法律法規(guī)和業(yè)務(wù)流程。安全審計(jì)與監(jiān)控：對(duì)金融大模型的運(yùn)行過程和用戶操作進(jìn)行記錄和審計(jì)，以便及時(shí)發(fā)現(xiàn)潛在的安全風(fēng)險(xiǎn)和違規(guī)行為。6.2.2價(jià)值對(duì)齊金融大模型評(píng)測(cè)在價(jià)值對(duì)齊方面應(yīng)涵蓋多個(gè)關(guān)鍵內(nèi)容，以確保模型的行為和輸出與人類的價(jià)值、真實(shí)意圖和倫理原則相一致，包括但不限于以下內(nèi)容：金融邏輯合理性：在處理金融業(yè)務(wù)問題時(shí)，模型的決策邏輯要符合金融行業(yè)的專業(yè)邏輯和實(shí)踐經(jīng)驗(yàn)；維護(hù)金融市場(chǎng)穩(wěn)定：在進(jìn)行市場(chǎng)分析、預(yù)測(cè)等工作時(shí)，要客觀、準(zhǔn)確地反映市場(chǎng)情況，避免發(fā)布虛假或誤導(dǎo)性的信息，以免對(duì)金融市場(chǎng)的穩(wěn)定造成不良影響。倫理價(jià)值：在提供金融服務(wù)時(shí)，不應(yīng)對(duì)不同的用戶或群體存在歧視或偏見；情緒價(jià)值：包括情感認(rèn)同、交互、共情共鳴方面的能力；文化價(jià)值：包括文化素養(yǎng)、人文關(guān)懷、審美塑造等方面；社會(huì)價(jià)值：在投資建議、產(chǎn)品推薦等方面，要充分考慮投資者的風(fēng)險(xiǎn)承受能力和投資目。金融風(fēng)險(xiǎn)控制能力評(píng)測(cè)金融大模型的風(fēng)險(xiǎn)控制能力評(píng)測(cè)應(yīng)包含多個(gè)關(guān)鍵內(nèi)容，以確保模型在實(shí)際應(yīng)用中具有高效、準(zhǔn)確和穩(wěn)定的風(fēng)險(xiǎn)控制能力，包括但不限于以下內(nèi)容：6.3.1合規(guī)風(fēng)險(xiǎn)是指金融大模型在應(yīng)用過程中未能嚴(yán)格遵循相關(guān)法律法規(guī)、監(jiān)管要求、行業(yè)準(zhǔn)則以及適用于金融業(yè)務(wù)活動(dòng)的規(guī)范要求，從而導(dǎo)致金融機(jī)構(gòu)可能遭受法律制裁、監(jiān)管處罰、重大財(cái)務(wù)損失或聲譽(yù)損失的風(fēng)險(xiǎn)，包括但不限于以下內(nèi)容：法律法規(guī)遵循風(fēng)險(xiǎn)：大模型設(shè)計(jì)、開發(fā)、部署和應(yīng)用均應(yīng)符合所有相關(guān)的法律法規(guī)要求；監(jiān)管要求執(zhí)行風(fēng)險(xiǎn)：大模型應(yīng)用應(yīng)確保符合數(shù)據(jù)報(bào)告、風(fēng)險(xiǎn)管理、內(nèi)部控制等監(jiān)管要求；行業(yè)準(zhǔn)則和自律規(guī)范遵循風(fēng)險(xiǎn)：大模型應(yīng)用應(yīng)遵循行業(yè)準(zhǔn)則和自律規(guī)范；業(yè)務(wù)活動(dòng)行為準(zhǔn)則遵循風(fēng)險(xiǎn)：大模型應(yīng)用應(yīng)遵循適用于金融業(yè)務(wù)活動(dòng)的行為準(zhǔn)則。6.3.2市場(chǎng)風(fēng)險(xiǎn)是指市場(chǎng)價(jià)格變量波動(dòng)導(dǎo)致大模型在市場(chǎng)趨勢(shì)預(yù)測(cè)、分析和評(píng)估過程中可能存在的風(fēng)險(xiǎn)，包括但不限于以下內(nèi)容：利率風(fēng)險(xiǎn)：大模型應(yīng)具備應(yīng)對(duì)利率不利變動(dòng)并自主校正預(yù)測(cè)結(jié)果的能力；匯率風(fēng)險(xiǎn)：大模型應(yīng)具備應(yīng)對(duì)匯率波動(dòng)并自主校正預(yù)測(cè)結(jié)果的能力；股票價(jià)格風(fēng)險(xiǎn)：大模型應(yīng)具備應(yīng)對(duì)股票價(jià)格波動(dòng)并自主校正預(yù)測(cè)結(jié)果的能力；商品價(jià)格風(fēng)險(xiǎn)：大模型應(yīng)具備應(yīng)對(duì)商品價(jià)格波動(dòng)并自主校正預(yù)測(cè)結(jié)果的能力。6.3.3操作風(fēng)險(xiǎn)是指金融機(jī)構(gòu)在使用金融大模型進(jìn)行預(yù)測(cè)、分析、決策等過程中，由于內(nèi)部操作或管理失誤所導(dǎo)致的風(fēng)險(xiǎn)，包括但不限于以下內(nèi)容：模型使用不當(dāng)風(fēng)險(xiǎn)：金融機(jī)構(gòu)應(yīng)對(duì)模型進(jìn)行充分的驗(yàn)證和測(cè)試，以確保其準(zhǔn)確性和可靠性；數(shù)據(jù)處理風(fēng)險(xiǎn)：金融機(jī)構(gòu)應(yīng)建立完善的數(shù)據(jù)處理流程，確保數(shù)據(jù)的質(zhì)量和準(zhǔn)確性；系統(tǒng)故障風(fēng)險(xiǎn)：金融機(jī)構(gòu)應(yīng)定期對(duì)系統(tǒng)進(jìn)行維護(hù)和升級(jí)，確保其穩(wěn)定性和安全性。6.3.4流動(dòng)性風(fēng)險(xiǎn)是指大模型在智能化識(shí)別、預(yù)測(cè)金融市場(chǎng)資金、資產(chǎn)流動(dòng)性規(guī)律過程中可能存在的風(fēng)險(xiǎn)，包括但不限于以下內(nèi)容：資產(chǎn)流動(dòng)性風(fēng)險(xiǎn)：大模型應(yīng)具備根據(jù)金融市場(chǎng)深度、密度、即時(shí)性、彈性準(zhǔn)確預(yù)測(cè)市場(chǎng)流動(dòng)性風(fēng)險(xiǎn)的能力；融資流動(dòng)性風(fēng)險(xiǎn)：大模型應(yīng)具備為金融機(jī)構(gòu)預(yù)測(cè)預(yù)期和非預(yù)期的、當(dāng)前和未來的現(xiàn)金流和擔(dān)保需求風(fēng)險(xiǎn)的能力；負(fù)債流動(dòng)性風(fēng)險(xiǎn)：大模型應(yīng)具備識(shí)別內(nèi)外波動(dòng)因素，為金融機(jī)構(gòu)存款資金投資進(jìn)行風(fēng)險(xiǎn)評(píng)估、預(yù)測(cè)的能力。6.3.5信用風(fēng)險(xiǎn)是指大模型在識(shí)別、執(zhí)行借款人或發(fā)行人發(fā)生違約、無法履行合約或無法如期支付債務(wù)等場(chǎng)景下可能存在的風(fēng)險(xiǎn)，包括但不限于以下內(nèi)容：違約風(fēng)險(xiǎn)：大模型應(yīng)具備智能識(shí)別違約合同并啟動(dòng)催款流程的能力；評(píng)級(jí)風(fēng)險(xiǎn)：大模型應(yīng)具備對(duì)借款人的信用狀況進(jìn)行評(píng)估的能力。6.3.6輿情風(fēng)險(xiǎn)是指金融機(jī)構(gòu)在使用大模型監(jiān)測(cè)風(fēng)險(xiǎn)時(shí)，應(yīng)當(dāng)具備識(shí)別負(fù)面輿情的能力，包括但不限于以下內(nèi)容：新聞負(fù)面輿情風(fēng)險(xiǎn)：新聞媒體發(fā)布的負(fù)面消息所引發(fā)的不利影響的可能性；投訴輿情風(fēng)險(xiǎn)：客戶或其他利益相關(guān)者投訴后，這些投訴信息通過各種渠道傳播，進(jìn)而可能對(duì)組織形象、聲譽(yù)和正常運(yùn)營(yíng)造成不利影響的風(fēng)險(xiǎn)；網(wǎng)絡(luò)輿情風(fēng)險(xiǎn)：互聯(lián)網(wǎng)環(huán)境下，由于各種信息的產(chǎn)生、傳播和互動(dòng)，造成不利影響的可能性。金融專業(yè)認(rèn)知能力評(píng)測(cè)6.4.1金融基礎(chǔ)知識(shí)會(huì)計(jì)學(xué)能力是指大模型能夠理解和應(yīng)用會(huì)計(jì)準(zhǔn)則、會(huì)計(jì)制度以及相關(guān)的會(huì)計(jì)處理方法，對(duì)金融交易和事項(xiàng)進(jìn)行準(zhǔn)確計(jì)量、記錄和報(bào)告的能力，可從財(cái)務(wù)管理、會(huì)計(jì)實(shí)務(wù)、會(huì)計(jì)基礎(chǔ)等方面進(jìn)行評(píng)測(cè)，具體如下：會(huì)計(jì)核算能力：大模型能夠準(zhǔn)確地進(jìn)行會(huì)計(jì)核算，包括確認(rèn)、計(jì)量、記錄和報(bào)告金融交易和事項(xiàng)；財(cái)務(wù)報(bào)表編制與分析能力：大模型能夠根據(jù)會(huì)計(jì)核算的結(jié)果，編制符合會(huì)計(jì)準(zhǔn)則要求的財(cái)務(wù)報(bào)表，如資產(chǎn)負(fù)債表、利潤(rùn)表、現(xiàn)金流量表等；稅務(wù)申報(bào)與籌劃能力：大模型能夠?qū)W習(xí)稅法規(guī)定，根據(jù)會(huì)計(jì)核算結(jié)果進(jìn)行稅務(wù)申報(bào)；內(nèi)部控制與風(fēng)險(xiǎn)管理能力：大模型能夠識(shí)別、評(píng)估和應(yīng)對(duì)與會(huì)計(jì)業(yè)務(wù)風(fēng)險(xiǎn)，如財(cái)務(wù)舞弊、會(huì)計(jì)差錯(cuò)等。金融學(xué)能力是指大模型在處理金融相關(guān)任務(wù)時(shí)所展現(xiàn)出的金融學(xué)術(shù)知識(shí)、金融業(yè)務(wù)知識(shí)、金融數(shù)據(jù)分析等專業(yè)技能和素養(yǎng)，可從金融學(xué)術(shù)、金融業(yè)務(wù)、金融安全等方面開展評(píng)測(cè)，具體如下：金融學(xué)術(shù)知識(shí)：大模型應(yīng)具備扎實(shí)的金融學(xué)術(shù)基礎(chǔ)，包括金融理論、金融市場(chǎng)、金融工具、金融政策等方面的知識(shí)；金融業(yè)務(wù)知識(shí)：大模型應(yīng)熟悉各類金融業(yè)務(wù)，包括銀行業(yè)務(wù)、證券業(yè)務(wù)、保險(xiǎn)業(yè)務(wù)等；金融數(shù)據(jù)分析能力：大模型應(yīng)具備強(qiáng)大的數(shù)據(jù)分析能力，能夠通過信息提取信息進(jìn)行市場(chǎng)趨勢(shì)分析、風(fēng)險(xiǎn)評(píng)估和預(yù)測(cè)等；金融智能體能力：大模型應(yīng)具備推理規(guī)劃、長(zhǎng)程記憶、工具應(yīng)用等核心能力，例如可通過調(diào)用API、檢索API等方式，結(jié)合金融知識(shí)和數(shù)據(jù)，進(jìn)行智能問答、報(bào)告生成等任務(wù)；經(jīng)濟(jì)學(xué)能力是指大模型在處理金融問題時(shí)所表現(xiàn)出的對(duì)經(jīng)濟(jì)理論、金融市場(chǎng)規(guī)律、金融決策支持等方面的理解和應(yīng)用能力，可從以下方面開展評(píng)測(cè)：經(jīng)濟(jì)理論理解能力：大模型應(yīng)具備對(duì)經(jīng)濟(jì)理論的基本理解，包括宏觀經(jīng)濟(jì)學(xué)、微觀經(jīng)濟(jì)學(xué)、金融經(jīng)濟(jì)學(xué)等基礎(chǔ)理論；金融市場(chǎng)規(guī)律把握能力：大模型應(yīng)能識(shí)別和把握金融市場(chǎng)的規(guī)律，包括價(jià)格形成機(jī)制、供求關(guān)系、市場(chǎng)結(jié)構(gòu)等；金融決策支持能力：大模型應(yīng)能提供決策支持，包括風(fēng)險(xiǎn)評(píng)估、投資決策、資產(chǎn)配置等方面的建議。資質(zhì)認(rèn)證能力是指通過構(gòu)建具有深度學(xué)習(xí)能力的金融知識(shí)庫(kù)和智能評(píng)估系統(tǒng)，以實(shí)現(xiàn)對(duì)金融從業(yè)人員專業(yè)知識(shí)、技能水平、職業(yè)素養(yǎng)等多方面的全面、客觀、高效評(píng)估的能力，可從以下方面開展評(píng)測(cè)：資質(zhì)審核自動(dòng)化能力：大模型應(yīng)具備對(duì)申請(qǐng)者的個(gè)人信息、教育背景、工作經(jīng)驗(yàn)等進(jìn)行快速且準(zhǔn)確的審核能力，以確保信息的真實(shí)性和完整性；能力評(píng)估與測(cè)試能力：大模型應(yīng)具備設(shè)計(jì)在線測(cè)試或模擬場(chǎng)景的能力，以評(píng)估申請(qǐng)者在金融知識(shí)、專業(yè)技能、風(fēng)險(xiǎn)意識(shí)等方面的專業(yè)能力；持續(xù)教育與培訓(xùn)能力：大模型應(yīng)具備為金融從業(yè)人員提供個(gè)性化的在線學(xué)習(xí)資源和培訓(xùn)計(jì)劃的能力，能夠分析從業(yè)人員的學(xué)習(xí)行為和成果，并為其推薦更適合的學(xué)習(xí)路徑和課程。6.4.2金融信息解讀是指金融大模型對(duì)金融信息的解讀能力，包括金融圖表解讀、金融知識(shí)圖譜構(gòu)建、結(jié)構(gòu)化數(shù)據(jù)提取等方面的能力。金融圖表解讀是指大模型通過先進(jìn)的算法和技術(shù)，對(duì)金融圖表進(jìn)行深度解析，從而提取出有價(jià)值的信息和數(shù)據(jù)，并為投資者提供決策支持的能力，包括但不限于以下內(nèi)容：金融圖表類型識(shí)別：大模型應(yīng)具備準(zhǔn)確識(shí)金融圖標(biāo)的能力，包括研報(bào)圖標(biāo)、財(cái)報(bào)圖表、K線圖等；金融圖表含義理解：大模型應(yīng)具備深入理解金融圖表中數(shù)據(jù)含義的能力；圖表解讀與決策支持：大模型應(yīng)具備將圖表解讀的結(jié)果轉(zhuǎn)化為投資者可以理解的投資建議和策略的能力。金融知識(shí)圖譜構(gòu)建是指大模型能夠解析、理解和運(yùn)用金融知識(shí)圖譜中的實(shí)體、關(guān)系、屬性等信息，以支持金融領(lǐng)域的復(fù)雜分析和決策過程的能力，包括但不限于以下內(nèi)容：實(shí)體識(shí)別與理解：大模型應(yīng)具備準(zhǔn)確識(shí)別知識(shí)圖譜中的各類實(shí)體并理解其含義、屬性和特征的能力；關(guān)系抽取與推理：大模型應(yīng)具備抽取知識(shí)圖譜中實(shí)體間復(fù)雜關(guān)系（如股權(quán)關(guān)系、任職關(guān)系、供應(yīng)商關(guān)系）并開展邏輯推理的能力；屬性分析與利用：大模型應(yīng)具備分析知識(shí)圖譜中實(shí)體屬性值，包括公司的財(cái)務(wù)指標(biāo)、產(chǎn)品的價(jià)格信息等，并開展進(jìn)一步分析和預(yù)測(cè)的能力；可視化與交互：大模型應(yīng)具備通過可視化圖譜展示實(shí)體和關(guān)系并支持用戶與知識(shí)圖譜交互的能力。結(jié)構(gòu)化數(shù)據(jù)提取是指從復(fù)雜的金融數(shù)據(jù)源中識(shí)別、抽取和轉(zhuǎn)換具有特定結(jié)構(gòu)和語義的金融信息的過程，，包括但不限于以下內(nèi)容：識(shí)別數(shù)據(jù)類型：能夠精確地辨別金融數(shù)據(jù)中的各種類型（如數(shù)值型數(shù)據(jù)、文本型數(shù)據(jù)、日期時(shí)間型數(shù)據(jù)）并依據(jù)不同類型進(jìn)行相應(yīng)處理；數(shù)據(jù)清洗能力：可以識(shí)別并剔除金融數(shù)據(jù)中的噪聲數(shù)據(jù)，如異常值、錯(cuò)誤數(shù)據(jù)、重復(fù)數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)，保證數(shù)據(jù)的準(zhǔn)確性；數(shù)據(jù)標(biāo)準(zhǔn)化處理：對(duì)提取到的金融數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，使不同來源、不同格式的數(shù)據(jù)具有統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范。金融業(yè)務(wù)輔助拓展能力評(píng)測(cè)6.5.1銀行業(yè)務(wù)可從支付業(yè)務(wù)、存貸款業(yè)務(wù)、財(cái)富管理業(yè)務(wù)、交易銀行業(yè)務(wù)、數(shù)字銀行業(yè)務(wù)5大核心業(yè)務(wù)開展評(píng)測(cè)，涵蓋24個(gè)能力指標(biāo)，具體如下：支付業(yè)務(wù)：包括個(gè)性化支付服務(wù)、個(gè)性化優(yōu)惠活動(dòng)推薦、個(gè)性化支付方式推薦、自動(dòng)審核支付請(qǐng)求、交易限額智能識(shí)別調(diào)整、金融欺詐識(shí)別；存貸款業(yè)務(wù)：包括智能風(fēng)控識(shí)別、存貸款行為分析、異常資金流動(dòng)預(yù)警、信貸審批、定制化貸款期限/利率、智能催收與貸后管理財(cái)富管理業(yè)務(wù)：包括智能營(yíng)銷與推薦、智能資訊摘要總結(jié)、智能投資建議、定制化金融產(chǎn)品推薦；交易銀行業(yè)務(wù)：包括匯率波動(dòng)預(yù)測(cè)、智能交易策略優(yōu)化、外匯交易產(chǎn)品個(gè)性化推薦、財(cái)務(wù)智能審批數(shù)字銀行業(yè)務(wù)：包括智能客服、個(gè)性化賬戶服務(wù)、遠(yuǎn)程音視頻服務(wù)、虛擬金融服務(wù)。6.5.2基金業(yè)務(wù)可從基金投資管理、基金募集與銷售、基金運(yùn)營(yíng)、受托資產(chǎn)管理、投資咨詢服務(wù)、風(fēng)險(xiǎn)管理、業(yè)績(jī)?cè)u(píng)價(jià)7大核心業(yè)務(wù)開展評(píng)測(cè)，涵蓋26個(gè)能力指標(biāo)，具體如下：基金投資管理:包括市場(chǎng)分析、投資決策、風(fēng)險(xiǎn)評(píng)估和資產(chǎn)配置策略優(yōu)化方面的輔助能力。基金募集與銷售:包括市場(chǎng)趨勢(shì)預(yù)測(cè)、客戶行為分析、銷售策略制定和個(gè)性化推廣內(nèi)容生成方面的表現(xiàn)。基金運(yùn)營(yíng):包括自動(dòng)化處理、數(shù)據(jù)準(zhǔn)確性、合規(guī)性檢查和信息披露及時(shí)性方面的輔助運(yùn)營(yíng)能力。受托資產(chǎn)管理:包括客戶需求理解、資產(chǎn)管理策略制定、投資組合構(gòu)建和調(diào)整方面的輔助能力表現(xiàn)。投資咨詢服務(wù):包括投資策略制定、市場(chǎng)動(dòng)態(tài)分析、風(fēng)險(xiǎn)評(píng)估和客戶溝通方面的能力。風(fēng)險(xiǎn)管理:包括風(fēng)險(xiǎn)識(shí)別、評(píng)估、監(jiān)控和緩解策略制定方面的能力。業(yè)績(jī)?cè)u(píng)價(jià):包括業(yè)績(jī)跟蹤、歸因分析、基準(zhǔn)比較和報(bào)告生成方面的能力。6.5.3保險(xiǎn)業(yè)務(wù)可從投研、產(chǎn)品定價(jià)與設(shè)計(jì)、營(yíng)銷、承保、理賠、服務(wù)6大核心業(yè)務(wù)開展評(píng)測(cè)，涵蓋24個(gè)能力指標(biāo)，具體如下：投研：包括金融風(fēng)險(xiǎn)管理、市場(chǎng)趨勢(shì)和價(jià)格波動(dòng)分析、資產(chǎn)配置和組合優(yōu)化、量化交易、輿情分析、財(cái)務(wù)報(bào)表分析；產(chǎn)品定價(jià)與設(shè)計(jì)：包括客戶需求分析、產(chǎn)品設(shè)計(jì)支持、產(chǎn)品定價(jià)、數(shù)據(jù)處理及分析；營(yíng)銷：包括營(yíng)銷文案生成、客戶潛在需求分析、智能營(yíng)銷、個(gè)性化保險(xiǎn)方案推薦；承保：包括風(fēng)險(xiǎn)評(píng)估、自動(dòng)核保、異常識(shí)別；理賠：包括智能定損、智能理賠、風(fēng)險(xiǎn)預(yù)警、風(fēng)險(xiǎn)反欺詐；服務(wù)：包括智能化客戶關(guān)系管理、智能客服、客戶權(quán)益管理。6.5.4證券業(yè)務(wù)可從智能投顧、智能投研、量化交易、智能投教、智能風(fēng)控5大核心業(yè)務(wù)開展評(píng)測(cè)，涵蓋19個(gè)能力指標(biāo)，具體如下：智能投顧：包括證券智能客服與咨詢、證券投資組合優(yōu)化與管理、證券投資風(fēng)險(xiǎn)評(píng)估與預(yù)警、個(gè)性化證券投資策略推薦。智能投研：包括高效數(shù)據(jù)處理與信息提取、智能會(huì)議記錄與摘要生成、智能研報(bào)撰寫與翻譯、智能問答與知識(shí)庫(kù)構(gòu)建、智能證券投研分析與建議。量化交易：包括量化交易策略開發(fā)與優(yōu)化、量化交易機(jī)會(huì)識(shí)別、量化交易風(fēng)險(xiǎn)管理、量化交易數(shù)據(jù)分析與可視化。智能投教：包括智能投教個(gè)性化學(xué)習(xí)路徑、模擬投資體驗(yàn)、智能問答系統(tǒng)智能風(fēng)控：包括信用風(fēng)險(xiǎn)評(píng)估、市場(chǎng)風(fēng)險(xiǎn)監(jiān)測(cè)、欺詐風(fēng)險(xiǎn)防范。6.5.5信托業(yè)務(wù)可從投資分析、風(fēng)險(xiǎn)管理、合規(guī)管理、營(yíng)銷業(yè)務(wù)、家族信托5大核心業(yè)務(wù)開展評(píng)測(cè)，涵蓋24個(gè)功能指標(biāo)，具體如下：投資分析：包括投資市場(chǎng)趨勢(shì)分析、投資風(fēng)險(xiǎn)評(píng)估、項(xiàng)目篩選與盡職調(diào)查、投資策略與資產(chǎn)配置、智能投后管理與預(yù)警。風(fēng)險(xiǎn)管理：包括多維數(shù)據(jù)分析、動(dòng)態(tài)風(fēng)險(xiǎn)調(diào)整、風(fēng)險(xiǎn)實(shí)時(shí)監(jiān)控與預(yù)警、個(gè)性化風(fēng)險(xiǎn)評(píng)估、風(fēng)險(xiǎn)模擬與應(yīng)對(duì)、應(yīng)急響應(yīng)方案制定。合規(guī)管理：包括法規(guī)與政策解讀、合規(guī)文件審查、合規(guī)建議與解決方案、合規(guī)培訓(xùn)與教育、合規(guī)報(bào)告自動(dòng)生成。營(yíng)銷業(yè)務(wù)：包括客戶需求分析、目標(biāo)客戶選擇、營(yíng)銷渠道拓展、客戶關(guān)系管理；家族信托：包括個(gè)性化家族資產(chǎn)配置、家族長(zhǎng)期財(cái)富規(guī)劃、家族企業(yè)股權(quán)智能化管理、家族遺產(chǎn)規(guī)劃方案制定。評(píng)測(cè)方法金融大模型評(píng)測(cè)宜采用評(píng)測(cè)數(shù)據(jù)集與打分評(píng)級(jí)的方法，主要包括測(cè)評(píng)數(shù)據(jù)集、測(cè)評(píng)工具兩個(gè)方面內(nèi)容。評(píng)測(cè)數(shù)據(jù)集基于金融大模型能力評(píng)測(cè)的細(xì)分領(lǐng)域和需求，評(píng)測(cè)數(shù)據(jù)集應(yīng)圍繞問題類型、數(shù)據(jù)來源、問題設(shè)計(jì)、答案提取、問答對(duì)配對(duì)、數(shù)據(jù)規(guī)模、更新機(jī)制等方面進(jìn)行構(gòu)建，具體如下：?jiǎn)栴}類型：金融大模型應(yīng)用評(píng)測(cè)問答數(shù)據(jù)集應(yīng)包括單選題、多選題、判斷題、主觀題四種問題類型；數(shù)據(jù)來源：根據(jù)金融行業(yè)的屬性，用于問答對(duì)設(shè)計(jì)的數(shù)據(jù)應(yīng)保證具備專業(yè)性、可靠性、權(quán)威性、高質(zhì)量、覆蓋廣等特征，可從證券、銀行、基金等領(lǐng)域的企業(yè)財(cái)報(bào)、行業(yè)研報(bào)、交易中心等渠道獲取，并對(duì)原始數(shù)據(jù)進(jìn)行脫敏、匿名化等處理后使用；問題設(shè)計(jì)：根據(jù)評(píng)測(cè)需求，設(shè)計(jì)一系列與金融垂類領(lǐng)域相關(guān)的問題，應(yīng)涵蓋不同的難度級(jí)別和類型，以全面評(píng)估金融大模型的性能；答案提?。簭氖占降奈谋緮?shù)據(jù)中提取與問題相對(duì)應(yīng)的答案，可采取人工標(biāo)注或大模型自動(dòng)化標(biāo)注的方式，應(yīng)確保答案的準(zhǔn)確性和完整性；問答對(duì)配對(duì)：將問題和答案進(jìn)行配對(duì)，形成問答對(duì)，每個(gè)問答對(duì)應(yīng)包含一個(gè)明確的問題和一個(gè)與之對(duì)應(yīng)的答案。數(shù)據(jù)規(guī)模：針對(duì)單項(xiàng)特定場(chǎng)景測(cè)試語料不少于100個(gè)，每個(gè)能力單項(xiàng)中可選取10%的數(shù)據(jù)作為公開樣例數(shù)據(jù)；更新機(jī)制：評(píng)測(cè)數(shù)據(jù)集應(yīng)結(jié)合行業(yè)發(fā)展實(shí)際情況進(jìn)行至少每月一次的內(nèi)容更新。評(píng)測(cè)工具金融大模型應(yīng)用評(píng)測(cè)可采取多種工具，具體如下：自動(dòng)化評(píng)測(cè)——自動(dòng)化測(cè)評(píng)工具應(yīng)集成完整的模型測(cè)評(píng)集；——自動(dòng)化測(cè)評(píng)工具應(yīng)清晰定義具體的評(píng)價(jià)指標(biāo)計(jì)算方法和評(píng)分規(guī)則；——自動(dòng)化測(cè)評(píng)工具應(yīng)兼容不同類型、不同架構(gòu)的模型；——自動(dòng)化測(cè)評(píng)工具應(yīng)自動(dòng)輸出測(cè)評(píng)結(jié)果；b）人工評(píng)測(cè)——應(yīng)制定清晰、具體的評(píng)價(jià)標(biāo)準(zhǔn)和指南，并對(duì)評(píng)價(jià)人員進(jìn)行充分的培訓(xùn)，確保所有評(píng)價(jià)人員對(duì)評(píng)價(jià)的標(biāo)準(zhǔn)有統(tǒng)一的理解和執(zhí)行；——應(yīng)分析評(píng)價(jià)結(jié)果的分布和一致性，及時(shí)發(fā)現(xiàn)潛在的評(píng)價(jià)偏差或不一