工商銀行人工智能大模型白皮書 2024

中國?商銀?軟件開發(fā)中?產(chǎn)業(yè)變?，智能引領(lǐng)。習(xí)近平總書記指出，世界百年未有之?變局加速發(fā)展?臨新的戰(zhàn)略機遇。??智能是引領(lǐng)這?輪科技?命和產(chǎn)業(yè)變?的戰(zhàn)略性技術(shù)，具有溢出帶動性很強的‘頭雁’效應(yīng)。促進??智能同經(jīng)濟社會發(fā)展深度融合，推動我國新?代??智能健康發(fā)展，是科技界和產(chǎn)業(yè)界的時代因勢利導(dǎo)，乘時?上。黨和國家推出?系列??智能發(fā)展的政策和規(guī)劃，為??智能產(chǎn)業(yè)提供了強有?的?撐和引導(dǎo)，推動科研和應(yīng)?躋?世界先進?列。近期頒布的《?成式??智能服務(wù)管理暫?辦法》明確了對新興的?成式??智能?模型產(chǎn)業(yè)的?持和?勵，完備了科學(xué)監(jiān)管框架，為產(chǎn)業(yè)健康發(fā)展提供了有?政策導(dǎo)向和法規(guī)保障。商業(yè)銀?作為數(shù)字化和智能化的先?者，具備?成式?模型應(yīng)?豐富的場景舞臺和技術(shù)實施基礎(chǔ)，勢必成為?模型技術(shù)和?業(yè)應(yīng)?深度融合的最佳?范。?融強國，創(chuàng)新求變。中央?融?作會議指出，?融要為經(jīng)濟社會發(fā)展提供?質(zhì)量服務(wù)，要做好科技?融、綠??融、普惠?融、養(yǎng)??融、數(shù)字?融五篇??章，為商業(yè)銀?的?融強國建設(shè)指明了?向。落實在經(jīng)營中，商業(yè)銀?同時必須?對客?需求多樣化、?險防控復(fù)雜化、競爭環(huán)境激烈化等多??的挑戰(zhàn)和機遇，需要充分利???智能等新技術(shù)提升服務(wù)質(zhì)量和效率，增強?險管理和創(chuàng)新能?，提?企業(yè)在數(shù)字經(jīng)濟中的競爭?和影響?。?成式?模型作為近年來??智能領(lǐng)域的最新技術(shù)成果，以其強?的表達取得了令?矚?的成果，為?融服務(wù)和產(chǎn)品的創(chuàng)新提供了新的機遇。數(shù)字銀?，砥礪奮進。商業(yè)銀?的數(shù)字化、智能化轉(zhuǎn)型不是個?帆?順的過程，當(dāng)中涉及組織、技術(shù)、數(shù)據(jù)、?才等各??的挑戰(zhàn)。如何結(jié)合銀企??的優(yōu)勢和業(yè)務(wù)場景的特點，充分挖掘??智能?模型的潛?，有效防控?模型潛在的技術(shù)和科技倫理?險等，都是急需解答和實踐的現(xiàn)實問題。本?從商業(yè)銀?視?，對?成式?模型的技術(shù)?撐、應(yīng)?場景和評測?法等各??進?調(diào)研和全景式展?，為商業(yè)銀?的數(shù)字化發(fā)展提供理論和實踐參第一章概述 第二章人工智能大模型發(fā)展現(xiàn)狀 第三章人工智能大模型應(yīng)用案例 49 第四章總結(jié)與展望 ??智能技術(shù)在過去??年?取得了巨?的發(fā)展，形成了完備的產(chǎn)業(yè)?的背后是70-80%的碎?化應(yīng)?場景，當(dāng)前的主流AI技術(shù)框架下，仍然需要?量的?事?議的建模和模型訓(xùn)練，應(yīng)?開發(fā)成本和實施周期始終是規(guī)?；瘧?yīng)?的??制約。從使?者視?，?多數(shù)??智能應(yīng)?局限于特定場景下機械化重復(fù)性的任務(wù)，缺乏類?的開放式溝通、邏輯推理、創(chuàng)意創(chuàng)作的能?，智能化?平不?。實現(xiàn)具備?泛領(lǐng)域知識和問題解決能?的通???智能(AGI)?直是科技前沿不懈努?的?向。2018年以來，?模型技術(shù)逐漸發(fā)展成為通往通???智能的關(guān)鍵演進路徑。?模型的深度神經(jīng)元?絡(luò)參數(shù)規(guī)模達到百億級以上，通過?模型算法的基礎(chǔ)預(yù)訓(xùn)練模型。在?向具體場景應(yīng)?時，型尚需通過少量的場景專屬任務(wù)的標(biāo)注數(shù)據(jù)來進?微調(diào)，以便能夠理解需要解決的任務(wù)類型，最終形成為場景專屬模型真正落地。?模型的出現(xiàn)在?定程度上解決了??標(biāo)注成本?的問題。通過對海2量數(shù)據(jù)進??監(jiān)督學(xué)習(xí)，可以有效地從?量標(biāo)記和未標(biāo)記的數(shù)據(jù)中捕獲知識，讓模型學(xué)習(xí)到更多的通?特征。借助“預(yù)訓(xùn)練+微調(diào)”可對特定任務(wù)進?優(yōu)化，將通?特征遷移到不同的任務(wù)中，提升模型的精度和泛化能?。模型參數(shù)規(guī)模越?使得?樣本的學(xué)習(xí)也能達到?以前更好的能?，極?的降2017年，?然語?處理領(lǐng)域的新型神經(jīng)?絡(luò)架構(gòu)轉(zhuǎn)換器（transformer）優(yōu)秀的?然語??成式?模型（?圖1）。2020年OpenAI推出的GPT-3參數(shù)規(guī)模達到1750億，訓(xùn)練數(shù)據(jù)量?達45TB，在通??本?成能???達到成對抗?絡(luò)(GAN)等?成式模型的成熟和深度?絡(luò)規(guī)模的提升，推動著圖像?成質(zhì)量穩(wěn)步爬升。不過初期的圖像?成只能?持特定場景(如?臉)圖像的隨機?成，或者將?張圖?在兩種特定的?格之間轉(zhuǎn)換(如卡通?格和實物?格)，實?性相對有限。2021年開始，跨模態(tài)?成式?模型取得突破性進相關(guān)質(zhì)量已能達到商業(yè)應(yīng)?的要求。尤其特別的是跨模態(tài)?模型使圖像和?視頻的?成能夠通過?然語?的輸?進?控制和調(diào)節(jié)，為多媒體內(nèi)容?成應(yīng)?打下了必備的基礎(chǔ)。32022年11???智能領(lǐng)域科創(chuàng)公司OpenAI以云端服務(wù)的形式發(fā)布?成式對話?模型ChatGPT，能夠通過單輪或多輪的互動問答不斷深?理解??述求，完成知識問詢、代碼寫作和診斷、?案創(chuàng)作、聊天、算數(shù)等?系列傳統(tǒng)的NLP任務(wù)。這種以?度擬?化的通?交互模式向普羅?眾提供開放域AI服務(wù)的能?，被認(rèn)為是通???智能發(fā)展的?程碑事件，獲得了市場的?泛關(guān)注，僅?2個?就創(chuàng)造了??數(shù)過億的新記錄，引爆了新?輪研發(fā)和應(yīng)?熱潮。2023年以來，國內(nèi)外頭部科技公司競相發(fā)布?模型，形成了“百模?語??模型、視頻?模型等垂直領(lǐng)域?模型不斷迭代，?爭百尺竿頭更進?步，例如Sora憑借在視頻質(zhì)量和?致性??的出?表現(xiàn)，掀開新篇章；能在基礎(chǔ)?模型之上，?向特定領(lǐng)域進?步衍?出程序開發(fā)（Code）、商業(yè)智能（BI）、調(diào)度規(guī)劃（Agent）等任務(wù)?模型（?表??向垂類?業(yè)則發(fā)展出醫(yī)療、法律、?融、通信等?業(yè)?模型（?表三?模型能?呈現(xiàn)向4任務(wù)和?業(yè)縱深的快速拓展的態(tài)勢。旨在理解和?成?類語?，通過學(xué)習(xí)到通過學(xué)習(xí)視覺特征和語義信息的關(guān)系，通過學(xué)習(xí)語?信號中的聲學(xué)特征和語義信息，從?能夠進?語?識別和合成等通過?量代碼樣本的訓(xùn)練，學(xué)習(xí)代碼的結(jié)構(gòu)和特征，從??動?成符合要求的獲取實時數(shù)據(jù)的圖表展?，也可?動總旨在解決復(fù)雜的調(diào)度問題，其通過?動5其旨在利??然語?技術(shù)來處理通通過醫(yī)療書籍、病例等數(shù)據(jù)訓(xùn)練?利?深度學(xué)習(xí)的?法了解各種?象作為??智能運?的先??業(yè)，銀?業(yè)?度重視?模型合實際需求先?先試，積極挖掘新技術(shù)在?融業(yè)務(wù)中的應(yīng)?場景，加速推動企業(yè)數(shù)字化轉(zhuǎn)型和提升市場競爭能?。在另???，以代??智能技術(shù)對于當(dāng)前??智能全技術(shù)棧帶來?新式的影響，在基礎(chǔ)設(shè)6施、數(shù)據(jù)準(zhǔn)備、算法調(diào)優(yōu)、安全可信等??均提出?持續(xù)探索和優(yōu)化建設(shè)路徑，形成?融?模型的最佳實踐?；A(chǔ)設(shè)施、?質(zhì)量訓(xùn)練數(shù)據(jù)、模型架構(gòu)和訓(xùn)練算法等變引發(fā)質(zhì)變：專?AI訓(xùn)練集群為研發(fā)百億級參數(shù)規(guī)模以上的?模型提供了硬件基礎(chǔ)；預(yù)訓(xùn)練語料庫的不斷擴充為?模型提供了豐富的知識來源；轉(zhuǎn)換器（Transformer）注意?機制的應(yīng)?改進了模型對?程依賴關(guān)系的建模能?；指令微調(diào)技術(shù)強化了模型對??提問意圖理解和反饋偏好的適配程度等等。鑒于?模型技術(shù)棧的復(fù)雜性，?模型?程化平臺成為?模型企業(yè)級應(yīng)?的持續(xù)集成等?動化功能，極?簡化了模型和應(yīng)?開發(fā)流程。商業(yè)銀?實施?模型企業(yè)能?建設(shè)，應(yīng)當(dāng)結(jié)合業(yè)務(wù)需求特點選擇合適的路徑構(gòu)建完備的基礎(chǔ)和?程技術(shù)體系，降低使??檻，加速?模型從研發(fā)到產(chǎn)品和解決?案的價值化過程，充分賦能業(yè)務(wù)。7(1)算?設(shè)施當(dāng)代以深度神經(jīng)元?絡(luò)為代表的??智能模型涉及?數(shù)據(jù)吞吐量的矩陣和張量運算，對算?先天具有較?的要求（?圖2）。相?于早先在單卡或者單機上可以訓(xùn)練的深度?絡(luò)模型，?成式?模型的參數(shù)規(guī)模??數(shù)千億，對計算設(shè)備的內(nèi)存開銷巨?，動輒需要上百張算?卡的?撐?；诤Ａ繑?shù)據(jù)的訓(xùn)練過程同時意味著可觀的計算時間開銷，為了縮短訓(xùn)練周期，在實際的?模型研發(fā)中往往會進?步提?模型訓(xùn)練的并發(fā)度，推升算?集群達到萬以上的規(guī)模。這樣的算?設(shè)施必須通過芯?、?絡(luò)、調(diào)度框架等系統(tǒng)級的協(xié)同優(yōu)化來實現(xiàn)對?模型的?性能?持。同時，通過終端和云端的混合協(xié)同，有效降低推理成本并提升速度，云邊端三級算?緊密結(jié)合將是解決?模型?規(guī)模落地應(yīng)?問題的主流?案。8?前通?的??智能芯?以英偉達的GPU產(chǎn)品為主流。其中英偉達的BlackwellGB200計算平臺是?款基于最新Blackwell架構(gòu)的超級芯?，旨在?幅提升AI計算性能和能效。由兩個B200BlackwellGPU和?個GraceCPU組成。B200GPU包含2080億個晶體管，采?臺積電4納??藝制造，具有?達20petaflopsFP4計算能?。GraceCPU則配備了72核?的ArmNeoverseV2內(nèi)核，可配置TDP?達2700W。GB200在推理?語?模型性能上?前代H100提升了30倍，同時成本和能耗降?原來的1/25。GB200配備了384GB內(nèi)存，并通過900GB/s的超低功耗NVLink技術(shù)連接兩個GPU和CPU。內(nèi)存帶寬提?了1.4倍，內(nèi)存容量提?了1.8倍，從?增強了處理?成式AI任務(wù)為?模型訓(xùn)練提供堅實的算?底座。國產(chǎn)AI算?產(chǎn)業(yè)近年來取得了??的發(fā)展。華為昇騰910對標(biāo)業(yè)界先進AI產(chǎn)品，單精度浮點(FP32)計算速度最?可達每秒99萬億次，遠(yuǎn)超業(yè)界計算速度最?可達每秒752萬億次。在算?集群??，Atlas900A2PoDc最?可擴展?包含8000昇騰芯?的AI算?集群，提供3EFLOPS超強算?，計算節(jié)點間通過200GRoCE?絡(luò)互聯(lián)，保障集群訓(xùn)練時的?線性度。(2)模型并?框架在集群化AI算?設(shè)施的基礎(chǔ)上，?模型的訓(xùn)練可以通過以下?種并?9模型并?（?圖3由于當(dāng)前的?模型規(guī)模往往遠(yuǎn)超單個計算設(shè)備的內(nèi)存容量，將?模型切分到多個設(shè)備上成為?種?然的選擇。?模型從輸?到輸出由結(jié)構(gòu)相似的算?層級連接堆疊?成，形成模型的深度；在每個層級模型可以在寬度和深度兩個?向上進?切割。張量并?是寬度?向的切分，它基于矩陣運算分解的數(shù)學(xué)原理在模型的層內(nèi)進?分割，形成的單個?模型跨越完整?模型的所有層級，但只包含每個層級的部分運算。流?線并?采取基于深度的切分，將?模型的不同層級拆解到各個計算設(shè)備并通過流?操作的?式形成各個層級運算的并發(fā)執(zhí)?。相對于流?線并?中分布式數(shù)據(jù)交換主要發(fā)?在承載相鄰層級的計算設(shè)備之間，張量并?中各個計算設(shè)備之間均產(chǎn)??量的數(shù)據(jù)交換，對數(shù)據(jù)交換的帶寬要求更?，所以主要應(yīng)?在?機多卡的服務(wù)器節(jié)點內(nèi)部的并發(fā)實現(xiàn)。數(shù)據(jù)并?（?圖4這種模式下，數(shù)據(jù)被拆散分配到位于不同計算設(shè)備上的模型實例來參加訓(xùn)練過程，設(shè)備相互之間定期地就訓(xùn)練所得的模型參數(shù)或者參數(shù)優(yōu)化的梯度值進?同步，保證所有設(shè)備上的模型狀態(tài)保持?致。數(shù)據(jù)并??般要求每個設(shè)備上的訓(xùn)練實例儲存和維護完整的模型參數(shù)和狀態(tài)，所以并不能節(jié)省AI算?設(shè)備的內(nèi)存開銷。零冗余優(yōu)化器(ZeRO-ZeroRedundancyOptimizer)?持將模型的參數(shù)、梯度值和優(yōu)化器狀態(tài)劃分到不同的進程，允許每個設(shè)備的訓(xùn)練實例只儲存模型的?部分，在訓(xùn)練過程中每個訓(xùn)練實例動態(tài)地從其他設(shè)備通訊獲取需要的模型參數(shù)和梯度值來完成本地的訓(xùn)練計算，從?極?提升數(shù)據(jù)并發(fā)模式下的內(nèi)存使?效率?；旌喜?（?圖5在實際應(yīng)?中往往綜合模型并?和數(shù)據(jù)并?等多種策略的組合，以充分利?多個維度的并?能?，實現(xiàn)取?補短。例如采取數(shù)據(jù)并?+流?線并?+張量并?的模式可以充分利?算?資源和通信帶寬達到兼顧模型的內(nèi)存擴展性和訓(xùn)練加速的?的。?前主流的AI計算框架?態(tài)均已?持以上全部或者?多數(shù)的并?訓(xùn)練模式。全球來看，典型的如PyTorch+DeepSpeed?態(tài)和TensorFlow+Mesh-TensorFlow?態(tài)。國內(nèi)來看，近兩年國內(nèi)?商推出的AI框架市場占有率也正穩(wěn)步提升。百度?槳在2023年針對于?模型開發(fā)新發(fā)布了PaddleFleetX開發(fā)套件，其核?技術(shù)包括全場景分布式并?策略、分布式訓(xùn)練優(yōu)化技術(shù)和?效的?模型分布式推理與部署?案，已經(jīng)具備可觀的開發(fā)者認(rèn)知度。華為的昇思MindSpore框架充分考慮?模型開發(fā)時可能會遇到的問題，通過軟?模型開發(fā)并?代碼量降低80%、系統(tǒng)調(diào)優(yōu)時間下降60%，成為國內(nèi)最活躍的?模型開源框架之?，在科研領(lǐng)域?受認(rèn)可。(3)訓(xùn)練數(shù)據(jù)?泛認(rèn)為是AI?模型競爭的重要因素。在所有的?模型訓(xùn)練數(shù)據(jù)集中，語料數(shù)據(jù)的規(guī)模遙遙領(lǐng)先，有?地?撐了語??模型的快速發(fā)展。語料數(shù)據(jù)可來??絡(luò)?本、書籍、?學(xué)作品、新聞、媒體數(shù)據(jù)、社交媒體數(shù)據(jù)和公共數(shù)據(jù)集等多樣性的渠道。這些渠道提供的數(shù)據(jù)涵蓋眾多不同語?樣式和主題，?常有助于?模型通?能?的學(xué)習(xí)。?絡(luò)?本：互聯(lián)?上的?量?本是?語?模型的主要數(shù)據(jù)來源。其內(nèi)容包括但不限于??信息、博客?章以及維基百科等，這些數(shù)據(jù)可以幫助模型學(xué)習(xí)到豐富的語?樣式和?泛的主題。書籍和?學(xué)作品：書籍和?學(xué)作品是另?個重要的數(shù)據(jù)來源。這些?本提供了?量的語?表達和?化背景，有助于模型學(xué)習(xí)到更多的語?規(guī)律和新聞和媒體數(shù)據(jù)：新聞報道和媒體?章數(shù)據(jù)可以涵蓋各種主題和領(lǐng)域，有助于模型學(xué)習(xí)到與時俱進的語?表達和話題。以作為?語?模型的數(shù)據(jù)來源。這些數(shù)據(jù)通常包含了?量的實時?本，了當(dāng)前的社會和?化動態(tài)。此外，還有?些收集整理好的公共?本數(shù)據(jù)集可供使?，例如以英料為主的CommonCrawl、GutenbergProject等。中?語料??，智源研究院發(fā)布了?規(guī)模、?質(zhì)量數(shù)據(jù)集WuDaoCorpora，悟道?本數(shù)據(jù)集采?20多種規(guī)則從100TB原始??數(shù)據(jù)清洗?得，開源數(shù)量約200G。上海??智能實驗室也聯(lián)合?模型語料數(shù)據(jù)聯(lián)盟構(gòu)建了“書?·萬卷”數(shù)據(jù)集，其包含?本、圖?、視頻三部分?jǐn)?shù)據(jù)，數(shù)據(jù)總量超過2TB。當(dāng)前，?業(yè)普遍認(rèn)為數(shù)據(jù)規(guī)模與?模型的性能?度相關(guān)。數(shù)據(jù)規(guī)模的增加可以提?模型的性能，幫助模型覆蓋更多的知識和規(guī)律，從?學(xué)習(xí)到更豐模的數(shù)據(jù)亦有利于提升模型的泛化能?，加強模型對于不同主題和領(lǐng)域表達的適應(yīng)性，提?模型在新數(shù)據(jù)上的泛化性能。但是能導(dǎo)致訓(xùn)練時間和計算資源的增加，因此在考慮數(shù)據(jù)量時，也要權(quán)衡其與訓(xùn)練時間及計算資源之間的關(guān)系，在給定的計算?下，精確匹配語料規(guī)模和模型的參數(shù)規(guī)模。在數(shù)據(jù)驅(qū)動的模型訓(xùn)練中，數(shù)據(jù)質(zhì)量同樣需要給予?夠的關(guān)注，以避免模型在學(xué)習(xí)過程中受到誤導(dǎo)，獲得偏?信息，降低模型的整體表現(xiàn)。尤其是在處理?規(guī)模數(shù)據(jù)時，這種情況更加明顯。?規(guī)模數(shù)據(jù)往往包含各種噪?和訓(xùn)練數(shù)據(jù)集重復(fù)內(nèi)容、相似??，或是特定主題和特定地域的偏好數(shù)低下的語料加?模型訓(xùn)練，得出的結(jié)果可能?的重復(fù)數(shù)據(jù)甚?在訓(xùn)練過程中可能導(dǎo)致模型陷??意義的局部最優(yōu)。為了解決這些問題，需要采取?系列的數(shù)據(jù)處理步驟，以降低這些因素對模型訓(xùn)練的負(fù)?影響。具體步驟?圖6。訓(xùn)練數(shù)據(jù)集人工評估數(shù)據(jù)去重隱私過濾數(shù)據(jù)分詞增加/修改清數(shù)據(jù)去重隱私過濾數(shù)據(jù)分詞洗規(guī)則擴充敏感詞表數(shù)據(jù)清洗增加增加/修改清洗規(guī)則擴充敏感詞表數(shù)據(jù)處理平臺基于模型的數(shù)據(jù)評估數(shù)據(jù)清洗：通過使?正則表達式或其他?本處理?具，來去除數(shù)據(jù)特殊字符、空格、標(biāo)點符號等?關(guān)信息，從?確保數(shù)據(jù)的數(shù)據(jù)去重：采?哈希算法或者其他去重技術(shù)，對數(shù)據(jù)進?去重處理的過程。這?過程中，通常通過?較數(shù)據(jù)的哈希值或者特征向量來判斷數(shù)據(jù)是否為重復(fù)數(shù)據(jù)，然后刪除那些重復(fù)的數(shù)據(jù)。以采?數(shù)據(jù)脫敏、加密或匿名化等?法來保護隱私。例如，對姓處理，將真實姓名替換為虛擬的名稱。數(shù)據(jù)分詞：對于?本數(shù)據(jù)，可以使?現(xiàn)有的分詞?具或?然語?處理庫，將?本分割成有意義的詞語。常?的分詞?法包括基于規(guī)則的分詞和基于通過上述步驟，可以消除重復(fù)數(shù)據(jù)，還能清洗和過濾隱私信息，并進?分詞處理。此外，構(gòu)建?質(zhì)量的訓(xùn)練數(shù)據(jù)集還需注意均衡調(diào)節(jié)各種形式語料的混合?例以保證模型的通?和泛化能?。(4)模型架構(gòu)當(dāng)前主流的?成式?模型架構(gòu)以轉(zhuǎn)換器（transformer）結(jié)構(gòu)為核?單元組件（?圖7）。轉(zhuǎn)換器能夠并發(fā)地接收?序列數(shù)據(jù)輸?（?如??本），基于對當(dāng)前數(shù)據(jù)序列的分析??判斷每個數(shù)據(jù)元素與其他任意元素的相關(guān)性，并根據(jù)這些相關(guān)性權(quán)重（也即注意?）進?步加權(quán)計算和提煉出數(shù)據(jù)特征表?，因此也被稱為?注意?機制。轉(zhuǎn)換器的?注意?機制使能神經(jīng)元?絡(luò)并?處理?數(shù)據(jù)序列，????幅提升了計算效率，另???通過對任意相對距離間的元素進??視同仁的相關(guān)性建模，能夠有效的捕捉到?序列中數(shù)據(jù)元素間的?程依賴關(guān)系，從?極?的提升模型的理解和識別能?。轉(zhuǎn)換器機制在2017發(fā)布后在各種?然語?處理（NLP）任務(wù)上都取得了令?矚?的成績，并逐漸推?到計算機視覺等領(lǐng)域，成為?前?模型的基礎(chǔ)結(jié)構(gòu)。?模型按照模型架構(gòu)劃分，?可以分為單體模型和混合模型。單體模型采?單個深度神經(jīng)元?絡(luò)，通常使?稠密性?絡(luò)結(jié)構(gòu)，對于任意任務(wù)輸?每個?絡(luò)節(jié)點都參與模型的計算，所有?絡(luò)區(qū)域都被激活，計算量和通信量?較?。?前業(yè)界?多數(shù)?模型采?單體結(jié)構(gòu)。例如OpenAI推出的GPT-3擁有1750億參數(shù)的超?規(guī)模?絡(luò)，包含有96層轉(zhuǎn)換器結(jié)構(gòu)，利?了多頭注ChatGPT的模型結(jié)構(gòu)據(jù)稱和GPT-3類似?；旌夏Ｐ筒?多個相對獨?的神經(jīng)元?絡(luò)，相當(dāng)于將多個相對較?的模型組合為?個?模型，避免模型越來越?，訓(xùn)練樣本越來越多，每個樣本都需要經(jīng)過模型的全部計算所導(dǎo)致的訓(xùn)練成本的平?級增?問題，因此也稱為混合專家模型(MoE-MixtureofExperts)。對于單個任務(wù)輸?來說，?般只需激活?部分?模型進?計算，這樣就節(jié)省了計算資源。為了確定?個任務(wù)輸?需要激活的?模型，混合模型機制引?了?個決策?的機制以?成要激活的?模型索引，因此在控制??增加了復(fù)雜度。?歌的SwitchTransformer是混合模型的典型代表。?前?成式模型的佼佼者GPT-4據(jù)悉也采?了混合模型的MoE架構(gòu)，對后續(xù)超?模型的進?步發(fā)展可能起到相當(dāng)?shù)膶?dǎo)向效應(yīng)。(5)訓(xùn)練算法?成式?模型在通?和領(lǐng)域?qū)僦R上強?的建模和表達能?、對于使?者指令要求良好的理解和跟隨能?、對?成內(nèi)容的合法合規(guī)及倫理價值觀對?的保障，需要歷經(jīng)預(yù)訓(xùn)練、再訓(xùn)練、監(jiān)督學(xué)習(xí)微調(diào)、獎勵模型訓(xùn)練以及強化學(xué)習(xí)等?系列的訓(xùn)練過程來予以實現(xiàn)，?圖8。理想輔助反應(yīng)10-100K（提示詞、回復(fù)）數(shù)量低，質(zhì)量高語言建模預(yù)測下一token微調(diào)模型原始網(wǎng)頁萬億字文本數(shù)量大，質(zhì)量低語言建模預(yù)測下一token強化學(xué)習(xí)生成最大獎勵的token預(yù)測獎勵一致性提示詞10K-100K提示詞數(shù)量低，質(zhì)量高100K-10M對比數(shù)量低，質(zhì)量高基礎(chǔ)模型強化學(xué)習(xí)模型獎勵學(xué)習(xí)模型監(jiān)督微調(diào)獎勵學(xué)習(xí)強化學(xué)習(xí)預(yù)訓(xùn)練模型數(shù)據(jù)算法~~預(yù)訓(xùn)練和再訓(xùn)練：預(yù)訓(xùn)練是?模型成功的基礎(chǔ)。它通過?規(guī)模的數(shù)據(jù)來多模態(tài)等?泛的領(lǐng)域均取得了顯著的成效。預(yù)訓(xùn)練主要采取?監(jiān)督學(xué)習(xí)的[2]引自微軟AndrejKarpathy的演講PDFStateofGPT:https://karpathy進???標(biāo)注，從?具備?常好的數(shù)據(jù)擴展性。預(yù)訓(xùn)練隨機地隱去輸??本中的部分字詞，要求模型預(yù)測?本中缺失的部分，再將預(yù)測結(jié)果同隱去的內(nèi)容做?較，?給??地形成監(jiān)督信號指導(dǎo)模型學(xué)習(xí)上下?語義知識。?再訓(xùn)練是在通?預(yù)訓(xùn)練模型的基礎(chǔ)上，加?領(lǐng)域數(shù)據(jù)對模型做進?步的預(yù)訓(xùn)練。這?步驟對于商業(yè)銀?的?模型應(yīng)??常重要，因為它將通?的預(yù)訓(xùn)練模型轉(zhuǎn)化為?融領(lǐng)域?qū)?具，使得?模型對于?融領(lǐng)域的問題和任務(wù)更加精確和可靠。監(jiān)督學(xué)習(xí)微調(diào)：經(jīng)過預(yù)訓(xùn)練的?模型具備豐富的知識，但除了?監(jiān)督學(xué)習(xí)中的補全任務(wù)外沒有其他解決問題的能?，需要使?有標(biāo)簽的數(shù)據(jù)集進?步調(diào)教。?成式?模型接受?然語?的指令來理解任務(wù)要求，必須保持良好的指令跟隨能?，使得指令微調(diào)成為其重要的訓(xùn)練步驟。指令微調(diào)采?監(jiān)督學(xué)習(xí)的?式，訓(xùn)練數(shù)據(jù)集包含眾多的輸?、輸出對。輸?由任務(wù)指令和具體任務(wù)的場景信息組成，輸出則是期望的答案樣例。微調(diào)?法可以根據(jù)不同的?標(biāo)和資源進?選擇，例如對?模型的全量原始模型的主要參數(shù)只對部分參數(shù)進?訓(xùn)練。低秩適配（LoRA-LowRankAdaption）是?種新型的輕量化微調(diào)訓(xùn)練?法。它將訓(xùn)練過程中模型每?層級中的參數(shù)變化值建模為?對約簡的矩陣，通過訓(xùn)練簡化后的矩陣參數(shù)的?式實現(xiàn)對模型的增量訓(xùn)練，?不改變原模型的參數(shù)，可以極?地降低訓(xùn)練的資源開銷，在?模型的微調(diào)訓(xùn)練中獲得越來越多的應(yīng)?。獎勵模型訓(xùn)練：獎勵模型?于評判?模型的輸出是否符合?類偏好和價值觀，是訓(xùn)練?模型?成內(nèi)容保持價值對?的輔助模型，主要采?監(jiān)督學(xué)習(xí)的?式基于?量的?類偏好數(shù)據(jù)擬合?成。偏好數(shù)據(jù)集的構(gòu)建可以利?已有的監(jiān)督學(xué)習(xí)微調(diào)后的?模型，對相同問題?成多個不同的答案，再由標(biāo)注員按照預(yù)定義的指導(dǎo)原則對回答進???偏好排序。訓(xùn)練過程往往使?配對損失函數(shù)，最?化偏序在前的回答和偏序在后的回答之間的分?jǐn)?shù)差異，最終促使獎勵模型成功地模仿??評判來對?模型的輸出內(nèi)容進?標(biāo)量化斷地與環(huán)境交互的過程中，通過觀察環(huán)境的狀態(tài)、選擇合適的?動、接收環(huán)境的獎懲反饋和更新??的策略，來逐漸提???的?為性能以達成優(yōu)化?標(biāo)。基于?類反饋的強化學(xué)習(xí)已成為?種主流的?模型價值對??法。它在訓(xùn)練過程中利?融合了?類專家知識的獎勵模型對?模型的輸出內(nèi)容進??動評分，針對評分不佳的回答采取?強化學(xué)習(xí)中的近端策略優(yōu)化技術(shù)對?模型的內(nèi)容?成策略進?迭代優(yōu)化，最終實現(xiàn)?模型內(nèi)容?成和?類價值觀的對?。在經(jīng)過以上所有訓(xùn)練步驟后，?模型成為兼具常識和相關(guān)領(lǐng)域?qū)I(yè)知識、溝通表達流暢并能堅守倫理價值底線的得?助?，能夠切實幫助相關(guān)領(lǐng)域的從業(yè)者全?提升?作效率。(6)模型輕量化技術(shù)任何技術(shù)的繁榮都離不開社會化創(chuàng)新。?模型要?向千?百業(yè)的普及應(yīng)?，勢必要降低使?成本，在實踐中主要有以下?種輕量化、?型化技術(shù)剪枝后僅有少部分的權(quán)值參與有效的計算對推理結(jié)果產(chǎn)?主要影響。剪枝?法（?圖9）通過把?絡(luò)結(jié)構(gòu)中冗余的權(quán)值、節(jié)點或?qū)尤サ?，減少?絡(luò)的規(guī)模，降低計算復(fù)雜度，讓模型在推理效果和速度上達到平衡。剪枝完成后往往需要基于原訓(xùn)練集上做?定的微調(diào)，以避免由于?絡(luò)結(jié)構(gòu)變化?出現(xiàn)的性能下剪枝后剪枝前剪枝量化：其基本思想是將神經(jīng)元?絡(luò)的權(quán)值、激活值等從?精度數(shù)值類型轉(zhuǎn)化成低精度類型，例如將32位浮點數(shù)轉(zhuǎn)化成8位整型數(shù)，以同時降低模型的內(nèi)存和計算開銷。其中，整數(shù)量化將浮點數(shù)值截斷或四舍五?到離它最近的整數(shù),再統(tǒng)?縮放到?個值域范圍內(nèi)，簡單直接但可能造成較?誤差。對?量化在整數(shù)量化的基礎(chǔ)上，進?步將?數(shù)部分單獨量化，可得到更?精布密集的值域區(qū)間采取較精細(xì)的刻度以提?表達的精確性?；旌暇?案綜合考慮模型精度和效率，只對部分參數(shù)層進?量化，重要層保持浮點運算。量化技術(shù)已?泛?于各種深度神經(jīng)?絡(luò)的部署優(yōu)化。知識蒸餾：通過訓(xùn)練?個?模型去模擬?個?模型的?為，使?模型也獲得類似?模型的知識和泛化能?，從?實現(xiàn)模型壓縮和輕量化部署（?圖10）。主要?法是利??模型的最終輸出作為軟標(biāo)簽，以此為?標(biāo)來監(jiān)督?模型的學(xué)習(xí)過程；或者逐層提取?模型的中間層輸出作為?模型對應(yīng)層的監(jiān)督信號來分層次進?知識遷移。知識蒸餾可以在保證?定精度的前提下獲得較?的模型壓縮率，但需注意可能導(dǎo)致的模型過擬合等問題。實踐中可以綜合使?以上?法，充分發(fā)揮各項技術(shù)的優(yōu)點，同時控制各項壓縮對模型精度的影響，達到實?的部署效果。2.提?引導(dǎo)巧?模型，沉淀提煉應(yīng)?(1)提??程?成式?模型依據(jù)輸?的?結(jié)構(gòu)化?然語?指令來執(zhí)?任務(wù)，在極?地降低使??檻的同時，也為?模型提供了?限的問題描述空間，使其具備了萬能解答器的潛質(zhì)。但也因為模型輸?形式極?的靈活度，使得?模型輸?的設(shè)計和組織富有技巧性。對于同樣的問題，有經(jīng)驗的?模型使?者可以?效地引導(dǎo)模型按照預(yù)想?式執(zhí)?任務(wù)，從?保障?模型應(yīng)?的可控性、連貫性和?致性；?不熟練的使?者則可能因為指令表述不當(dāng)，導(dǎo)致模型產(chǎn)??效或錯誤的輸出。為了幫助??更好地使?此類?模型，提??程應(yīng)運??。提??程在輸?指令前添加提?語句，以等信息，引導(dǎo)模型準(zhǔn)確理解指令意圖和問題解決途徑，從??幅提升模型的輸入輸入 輸入輸入輸入輸入 輸入輸入▲.........▲.........v▲v▲...輸出 輸出輸出 輸出(b)思維鏈提示 輸出輸出(C)自洽式思維鏈(d)(C)自洽式思維鏈(d)思維樹提示[3]ShunyuYao,etal.TreeofThoughts:De針對?模型的提?語設(shè)計模式可以分為四類：輸?輸出提?、思維鏈提?種最基本的、也是?前使?最?泛的提??法，它只需要給出?個描述任務(wù)的?然語?指令，以及零個（Zero-ShotPrompting，即沒有?例）或多個?例（Few-ShotPrompting），來讓?模型理解任務(wù)的?標(biāo)，并?成合適的輸出，?圖12。思維鏈提?（Chain-of-ThoughtPrompting）在輸?輸出提?的基礎(chǔ)上，提供了多步推理的邏輯鏈，?以指導(dǎo)?模型按照提?的思路解決問題并展?每個步驟的過程性輸出，特別有助于解決依賴深層次邏輯思維的任務(wù)。?洽式思維鏈（Chain-of-ThoughtPromptingSelf-Consistency）是思維鏈的擴展，其基本思想是：?個復(fù)雜的問題可以有維鏈通過多次采樣?成不同的思維鏈，并選擇最?致的答案作為最終結(jié)果。這種?法可以降低?模型單次采樣時可能出現(xiàn)的隨機性和錯誤性，提?在復(fù)雜推理任務(wù)上的準(zhǔn)確性和可解釋性。思維樹提?（Tree-of-ThoughtPrompting）通過提供思維的樹形邏輯結(jié)構(gòu)來引導(dǎo)模型的解答?成過程。它以主題核?觀點為根節(jié)點，逐層展開?觀點和論證，形成前后遞進、多??拓展的樹形結(jié)構(gòu)。在交互使?中，??可以按照思維樹的形式逐步給出提?語句，引導(dǎo)模型的?成更加全?、深?。相?線性的其?度和深度可以更充分地引導(dǎo)模型進?多?度、多層次的思考，尤其適合需要綜合考量各?因素的決策、規(guī)劃、論證等?成式任務(wù)。(2)?模型應(yīng)?模式應(yīng)用API用戶相對于傳統(tǒng)深度?絡(luò)模型需要通過微調(diào)訓(xùn)練來適配任務(wù)，?模型通過提?詞?程可以在不改變模型本?的情況下完成?向場景的對?，極?地解放了應(yīng)?層?創(chuàng)新和開發(fā)的活?，催?了??批基于?模型的App。應(yīng)用API用戶大語言模型直接API調(diào)?是?前最普遍的?模型應(yīng)?模式，?圖13。App接受??請求，經(jīng)過?定的處理之后調(diào)??模型服務(wù)接?取得答案后反饋??。由下常?的聊天對話窗?式的App基本是這種模式。?向特定領(lǐng)域和任務(wù)的應(yīng)?,還會通過提?詞?程預(yù)制好提?詞模板，對??的輸?根據(jù)模板加?為提?語后再調(diào)??模型服務(wù)，以取得最佳的?模式?成結(jié)果。在許多實際的任務(wù)場景中，尤其是?向銀?等?業(yè)、企業(yè)專屬領(lǐng)域的應(yīng)?，往往需要結(jié)合私域的知識和數(shù)據(jù)?撐來尋求專業(yè)和保鮮的答案，或者需要和環(huán)境進?互動來構(gòu)建綜合解決?案，從?推動了檢索增強?成（Retrieval-AugmentedGeneration）和AI智能體（Agent）兩種?模型應(yīng)?檢索增強?成是?種知識密集型任務(wù)的應(yīng)?模式，通過語義檢索機制賦予?模型動態(tài)獲取外部知識的能?。該模式下的系統(tǒng)通常由三個組成部分構(gòu)成：?模型、知識源和語義檢索模塊（?圖14）。對于輸?的問題，系統(tǒng)?先調(diào)?檢索模塊，從知識源(如百科?站、企業(yè)知識圖譜、?檔庫等)中找到相關(guān)的?持性內(nèi)容，然后將這些內(nèi)容與原輸?聯(lián)合在?起提交給?模型?成答案，作為最終的系統(tǒng)輸出。檢索增強?成可以利?最新知識和信息進?內(nèi)容?成，?需重新訓(xùn)練?模型，在外接數(shù)據(jù)??具有極佳的可擴展?要求的企業(yè)場景。隨著知識源和語義檢索配套技術(shù)（如：向量數(shù)據(jù)庫、?本嵌?模型等）的跟進發(fā)展，這?應(yīng)?模式具有?闊的前景。?前公有云上最具代表性的產(chǎn)品為微軟NewBing的聊天式問答?；谒接蛑R的檢索增強?成應(yīng)?也已開始在商業(yè)銀?落地和推?。AI智能體是?類能夠?主完成任務(wù)的系統(tǒng)，可以由?成式?模型和?套可以調(diào)?的外部?具集構(gòu)成。?具賦予智能體實施?動并取得反饋的能?。例如在軟件系統(tǒng)中，?具集可以是?系列服務(wù)API接?領(lǐng)域，?具可以是感知儀器和運動執(zhí)?器。?模型依托前述的提??程技術(shù)，對輸?問題進?理解和任務(wù)規(guī)劃、確定使??具的順序和實施?案（例如：具執(zhí)?完成全過程。智能體是?模型應(yīng)?的?級演化?向，也是實現(xiàn)通???智能的重要?法之?，智能體為當(dāng)前最被看好的?模型應(yīng)??向，多家頭部企業(yè)產(chǎn)品均朝智能體?向演進，智能體依賴于多步拆解執(zhí)?，需要?模型在智能體應(yīng)?中的錯誤率降?個位數(shù)才能夠獨?完成?作，當(dāng)前整體受限于當(dāng)前模型能?，智能體仍未出現(xiàn)規(guī)?；瘧?yīng)?。(3)應(yīng)?開發(fā)?具在?成式?模型熱潮的推動下，應(yīng)?開發(fā)?具?態(tài)成了功能全?的系統(tǒng)化開發(fā)框架，如LangChain、LamaIndex、Dust等。這些?具不僅?持?然語?處理能?，也逐漸開始?持多模態(tài)能?。在易?性和集成度??的進步也很明顯，普遍采?了模塊化和流?設(shè)計，?幅降低了?具的上?難度，提?了使?靈活性，配合?代碼?具使?技術(shù)?員也可以參以開源社區(qū)最為流?的LangChain為例，應(yīng)?開發(fā)框架主要從以下?個?持接?多種流?的?模型產(chǎn)品，便于開發(fā)者開展模型選型和調(diào)?。?是在提??程??，提供了多種類型的提?模板（PromptTemplate）類庫，極?地簡化了提?語的構(gòu)造和處理。三是集成了會話記憶模塊，?于回溯和管理之前的問答等任務(wù)記錄，?便開發(fā)者為?成式?模型提供?關(guān)重要的上下?背景信息。四是為智能體應(yīng)?準(zhǔn)備了全?的?具包，智能體應(yīng)?可以根據(jù)??輸??主選擇使?哪些?具。五是提供了?本索引功能，極?提?語義檢索的運?性能。六是提供了提??作流和模塊組裝的標(biāo)準(zhǔn)接?，助?復(fù)雜應(yīng)?的快速構(gòu)建。3.全棧開發(fā)集?成者，綜合平臺化繁為簡?模型及其應(yīng)?的開發(fā)涉及數(shù)據(jù)?程、模型選擇、提?詞?程、服務(wù)編排和應(yīng)?部署等復(fù)雜的流程和技術(shù)棧，對開發(fā)者的知識和技能?平要求很?，同時也需要?量的時間和資源投?，良好的開發(fā)框架和綜合化平臺的?持已經(jīng)成為必不可少的基礎(chǔ)設(shè)施。傳統(tǒng)??智能開發(fā)平臺，如AWSSageMaker，AzureML，ModelArt等基于MLOPS理念提供了數(shù)據(jù)管理、模型訓(xùn)練、版本管理、超參數(shù)調(diào)優(yōu)、可視化分析、應(yīng)?部署等?系列的功能和服務(wù)，幫助開發(fā)者簡化和加速??智能開發(fā)過程。?模型應(yīng)?快速發(fā)展的背景下，這些平臺也在積極推動技術(shù)升級，如SageMaker對前沿?模型的集成和AzureML的?模型優(yōu)化?具包等。此外，?模型技術(shù)浪潮也催?了?批新型的綜合化平臺，?如HuggingFace，F(xiàn)ast.AI等。相對于傳統(tǒng)平臺，這些平臺更加迅速地集成和提供豐富的預(yù)訓(xùn)練?模型和領(lǐng)先的?模型應(yīng)?開發(fā)?具，也形成了更開放協(xié)作的社區(qū)?化。以下對代表性的新型?模型開發(fā)平臺逐?簡單介紹。(1)HuggingFaceHuggingFace是?個開源?規(guī)模機器學(xué)習(xí)平臺，提供了從數(shù)據(jù)準(zhǔn)備、模社區(qū)活躍等特點，是?前最成熟的開源?模型開發(fā)平臺。平臺已收錄超過30持開發(fā)?員便捷地在模型庫中搜索和調(diào)?需要的?模型。平臺還提供?規(guī)模的標(biāo)注數(shù)據(jù)集，?持?鍵加載使?。在此基礎(chǔ)上，Hug型訓(xùn)練、評價、部署?具。平臺內(nèi)置了Transformer模型的應(yīng)?編程接?，?持主流深度學(xué)習(xí)框架，讓研究?員輕松地將模型應(yīng)?到下游的NLP、CV等具體任務(wù)中。Evaluate庫可根據(jù)不同?標(biāo)、數(shù)據(jù)集和模型?持不同類型的評估。算?資源??，開發(fā)者可以在平臺租?GPU的集群資源進??模型的訓(xùn)練，并通過平臺發(fā)布模型應(yīng)?或API服務(wù)。(2)百度千帆百度千帆是?向中?的開源?模型平臺。它為??提供豐富的中?NLP模型和數(shù)據(jù)集，以及全套的模型訓(xùn)練、評估、部署?具。百度千帆擁有?規(guī)都經(jīng)過了中?corpus的預(yù)訓(xùn)練，可以直接應(yīng)?于?本理解、對話、翻譯等通?任務(wù)。??也可以基于平臺提供的數(shù)據(jù)集，使?PaddlePaddle框架對模型進?進?步的微調(diào)優(yōu)化。在?持模型訓(xùn)練的同時，千帆平臺還提供在線的模型評測功能，??上傳訓(xùn)練好的模型，選?合適的測試集即可?動?成評測報告。利?PaddleHub?具，??可以便捷地使?模型，實現(xiàn)模型部署，并提供預(yù)測服務(wù)。(3)ModelZoo華為推出的?模型開發(fā)平臺ModelZoo2，為?模型開發(fā)者提供了全?位的?持與服務(wù)。它?持多種深度學(xué)習(xí)框架，如PyTorch、TensorFlow、MindSpore等，以及多種硬件加速器，包括昇騰系列處理器、GPU等，使得模型的訓(xùn)練和部署更加靈活和?效。平臺的模型庫?前已經(jīng)接?了主流的?模型，如盤古系列、Baichuan、Llama、GLM等，覆蓋視覺、語?、多模態(tài)等?泛的任務(wù)類型。??可以在模型庫中搜索、下載和上傳各種?模型，查看模型的詳細(xì)信息和性能指標(biāo)，通過統(tǒng)?的API便捷地調(diào)?華為云或者了豐富的提?語模板，以?便??快速構(gòu)建??的?模型應(yīng)?。4.模型適配?融領(lǐng)域，能?建設(shè)多管?下以?模型為代表的新?代??智能技術(shù)正在成為數(shù)字經(jīng)濟發(fā)展的新動能。各?商業(yè)銀?紛紛布局??智能技術(shù)能?的迭代升級，積極探索和推動?模型在各業(yè)務(wù)領(lǐng)域和場景的應(yīng)?。按照能?的專業(yè)度?平劃分，?模型在商業(yè)銀?的使?有基礎(chǔ)?模型、?業(yè)?模型、企業(yè)?模型、任務(wù)?模型四種形態(tài)，?圖15?；A(chǔ)?模型是基于海量數(shù)據(jù)進?訓(xùn)練的通?模型，具有很強的通識能?，可以直接?撐多種下游任務(wù)，但由于缺乏?融專業(yè)知識，在銀?業(yè)場景下發(fā)揮作?有限。?業(yè)?模型基于基礎(chǔ)?模型和銀?業(yè)領(lǐng)域數(shù)據(jù)進?再訓(xùn)練，可以解決具備?業(yè)屬性的?般性問題。對于有較多定制化問題需求的銀企，可以在?業(yè)?模型的基礎(chǔ)上進?步結(jié)合企業(yè)私域數(shù)據(jù)訓(xùn)練具備個性化特點的企業(yè)?模型，或者?向特定的專屬問題結(jié)合任務(wù)數(shù)據(jù)微調(diào)訓(xùn)練任務(wù)?模型，定向攻克?價值重點業(yè)務(wù)場景。在落地策略上，?型商業(yè)銀?業(yè)務(wù)覆蓋??，應(yīng)?場景豐富，定制化需?融?業(yè)和/或企業(yè)?模型。對于急缺的場景?持能?，也可采?模型微調(diào)滿?賦能訴求，或者基于產(chǎn)品配套的模型微調(diào)?具結(jié)合場景數(shù)據(jù)敏捷開發(fā)任務(wù)級模型。從?模型全技術(shù)棧能?建設(shè)的著眼點，相較于國際領(lǐng)先?平，各?商業(yè)銀?在算法、算?、訓(xùn)練數(shù)據(jù)、開發(fā)運營??的?模型?撐能?尚有不?，應(yīng)當(dāng)在原有??智能技術(shù)棧的基礎(chǔ)上，結(jié)合企業(yè)針對以下四個??研判設(shè)?平向通???智能演化，促進??智能與?融業(yè)務(wù)深度融合。(1)加強算?基礎(chǔ)設(shè)施建設(shè)?模型參數(shù)量的增加導(dǎo)致訓(xùn)練過程的計算需求呈現(xiàn)指數(shù)級增?。為了快速訓(xùn)練和規(guī)?；瘧?yīng)?模型，需要強?的計算能?來?持?效的分布式訓(xùn)練和推理，算?成本投?巨?，必須對投?產(chǎn)出做綜合考量。?是短期的算?建設(shè)?標(biāo)應(yīng)當(dāng)以業(yè)務(wù)需求為導(dǎo)向，明確應(yīng)??模型邊際效?突出的業(yè)務(wù)場景，合理規(guī)劃算?規(guī)模，避免盲?求?。?是基于?模型技術(shù)發(fā)展趨勢研能耗、制冷、?絡(luò)架構(gòu)等基礎(chǔ)設(shè)施??預(yù)留好擴展空間。三是針對?性能AI市場機制保障設(shè)備供給。四是完善和加強算?云化技術(shù)，實現(xiàn)算?的靈活彈性供給來?效滿??模型算?需求。五是以綠?低碳為責(zé)任，采?節(jié)能環(huán)保的技術(shù)和設(shè)備，優(yōu)化能源使?效率，減少碳排放基礎(chǔ)設(shè)施的可持續(xù)發(fā)展。(2)構(gòu)建?質(zhì)量數(shù)據(jù)集數(shù)據(jù)是?模型的重要?產(chǎn)要素，數(shù)據(jù)的規(guī)模和質(zhì)量對?模型性能提升?關(guān)重要，也將是企業(yè)數(shù)字化能?的關(guān)鍵??點。商業(yè)銀?應(yīng)當(dāng)在現(xiàn)有的數(shù)據(jù)治理體系的基礎(chǔ)上，進?步打通企業(yè)部?墻，在保障數(shù)據(jù)安全的前提下推動企業(yè)內(nèi)部的數(shù)據(jù)融合，確保?模型數(shù)據(jù)集的規(guī)模和全?性，能夠覆蓋企業(yè)的各個關(guān)鍵領(lǐng)域，兼顧不同地區(qū)、客?群體的代表性。在數(shù)據(jù)處理??，?是設(shè)計合理的數(shù)據(jù)使?機制，如合理數(shù)據(jù)配?等，結(jié)合訓(xùn)練框架設(shè)計從?減少模型訓(xùn)練成本、提升知識應(yīng)?效率。?是要強化數(shù)據(jù)保護技術(shù)，采取匿名化等技術(shù)?段在數(shù)據(jù)共享時去除敏感信息；三是構(gòu)數(shù)據(jù)集構(gòu)建和維護的效率；四是完善?向?模型開發(fā)的數(shù)據(jù)質(zhì)量評估?法，建?例?化評估機制，定期進?數(shù)據(jù)質(zhì)量檢測和監(jiān)控。(3)引?領(lǐng)先模型技術(shù)?模型技術(shù)仍然在快速發(fā)展和演化過程中，商業(yè)銀?應(yīng)當(dāng)以動態(tài)發(fā)展的眼光持續(xù)關(guān)注國內(nèi)外?模型的最新進展和趨勢，根據(jù)新技術(shù)特點和企業(yè)實和升級?模型技術(shù)能?。在技術(shù)管理層?，要建成完備的?模型評價體系造?素質(zhì)的?模型研究和應(yīng)?孵化團隊，以強化新技術(shù)研判能?和加快業(yè)務(wù)賦能進程。(4)打造研發(fā)運營流?線緊跟?模型研發(fā)運營?體化的發(fā)展趨勢，商業(yè)銀?應(yīng)當(dāng)引?和借鑒業(yè)集?業(yè)適配、微調(diào)優(yōu)化、強化學(xué)習(xí)、提?詞構(gòu)建、?模型運營于?體的研發(fā)運營流?線，實現(xiàn)不同?模型訓(xùn)練應(yīng)?的流程統(tǒng)?，?圖16。?向業(yè)務(wù)、業(yè)務(wù)應(yīng)?研發(fā)?員，可以通過提?詞?程敏捷打造通?解決?案，通過?模型服務(wù)市場?持業(yè)務(wù)快速復(fù)?。?向AI科技研發(fā)?員，基于底層?模型基礎(chǔ)能?，融合其他技術(shù)能?，沉淀知識檢索、代碼?成、數(shù)據(jù)分析等標(biāo)準(zhǔn)化算法和基礎(chǔ)服務(wù)研發(fā)提供全鏈路?具?撐。界明晰（?如?分類問題的“是”和“不是”，軟件表?即為1和0兩個確定的數(shù)值已有較為明確的評價指標(biāo)。?成式語??模型以?由對話的通?交互模式來?持?泛的任務(wù)類型，輸出結(jié)果為?度不定的?然語??本，往往不具備唯?的標(biāo)準(zhǔn)答案，對模型的評測帶來新的挑戰(zhàn)。?模型?成的內(nèi)容可能會存在事實性錯誤、侮辱、反倫理道德乃?違反法律法規(guī)的情況導(dǎo)??或者造成輿情和法律責(zé)任。另外，?成內(nèi)容還有潛在的泄露隱私的?險，使得數(shù)據(jù)安全也成為?模型應(yīng)?的關(guān)注點。商業(yè)銀?在深?研究并探索?模型潛?的同時，需認(rèn)真對待其潛在的模型應(yīng)?安全合規(guī)健康地發(fā)展。(1)模型能?評估?規(guī)模語?模型（LargeLanguageModel,LLM）基于提??程（PromptEngineering）、上下?學(xué)習(xí)(In-contextLearning)、思維鏈推理（ChainofThoughts）等?系列新的?成范式，通過?然語?指令交互的形式實現(xiàn)了多領(lǐng)域多任務(wù)的統(tǒng)?，?幅提升了?然語?處理任務(wù)的能?，也使得LLM逐漸演化成為?向不同任務(wù)的基座模型。LLM在不斷刷新傳統(tǒng)評估任務(wù)榜單成績的同時，也引起了如何有效、體系化的衡量作為基座模型的LLM在多領(lǐng)域多任務(wù)能?的思考與實踐。對于?模型能?的測評，不僅需要考量模型的綜合能?，還需要設(shè)計細(xì)分任務(wù)，深度考察模型解決復(fù)雜任務(wù)的能?。通常?模型需要衡量的能?包括：理解能?、?成能?、推理能?、知識??度、情感分析和推斷、問題的考察范圍也在拓展。例如在問答任務(wù)上，不僅考察模型對選項或者數(shù)字結(jié)果是否回答準(zhǔn)確，也考察其?成結(jié)構(gòu)化解釋的能?；在翻譯任務(wù)上，同時考察?然語?翻譯和代碼語?轉(zhuǎn)化的能?；在聊天任務(wù)上，細(xì)分問題回答、創(chuàng)從正確、簡潔、流暢、有效、探索能?、共情能?、建議能?、信息量等維模型能?的體系化量化評估能夠直觀反映不同模型之間的差距，也能更準(zhǔn)確地定位模型的弱點，例如普遍被討論的幻覺、未能探求更多信息、給出重復(fù)內(nèi)容等，為模型的改進提供更精確的指導(dǎo)?，F(xiàn)有的評估集正在探索如何全?評估模型的綜合能?，讓模型在測試評估中的得分能更真實的反映實際??體驗。(2)模型安全評估??智能模型因為其性能??泛應(yīng)?，?因為其決策難以理解的?盒證其可信安全是?關(guān)重要的。近年來圍繞著魯棒性、可解釋性與可控性??的?模型可信安全評估持續(xù)升溫。在魯棒性??，評估類別有模型對于任務(wù)的魯棒性和對指令的魯棒性。研究通常針對模型?對噪聲輸?、攻擊性擾動或不確定環(huán)境時的表現(xiàn)進?評估，例如通過添加輕微錯誤或改變語義等?式來評估擾動對模型產(chǎn)?的影響。近期，針對普遍采?指令微調(diào)的?模型，??，?模型評估關(guān)注模型解釋的合理性、?致性。模型的可解釋性可以從兩個??體現(xiàn)，?是模型是否可以對輸出做出?我解釋，?是以對模型的輸出做出解釋，例如通過注意?解析或者模型輸出概率?？山忉屝钥梢酝ㄟ^?個??進?衡量，分別是：模型的決策過程是否可以被理解，模型在處理某個任務(wù)時是否有合理的依據(jù)，以及模型對于輸出結(jié)果的不確可以根據(jù)特定需求調(diào)整模型的輸出。?如在內(nèi)容?成的任務(wù)中，是否可以控制模型?成特定?格或者含有特定元素的內(nèi)容。這個評測標(biāo)準(zhǔn)主要是為了確保模型在實際使?中的靈活性和適?性。(3)模型倫理評估?模型訓(xùn)練的數(shù)據(jù)是從?絡(luò)、語料庫等來源收集的，在?定程度了真實世界的錯誤與?擾，?具備更多參數(shù)的?模型往往更善于模擬訓(xùn)練數(shù)據(jù)的分布，記住更多細(xì)節(jié)，也更容易發(fā)?倫理?險?，F(xiàn)在的量化評測系統(tǒng)已經(jīng)開始考慮模型是否公平地處理各種群體（性別/種族/宗教）的輸?，以研究?多從性別、種族以及宗教三個維度評估模型是否存在偏?，檢查模型是否公平對待所有群體。通常評估?法是檢查模型是否更傾向于對某種群體進?負(fù)?或錯誤的標(biāo)記，或者在處理涉及不同種群體的任務(wù)時是否存在明顯的傾向性或歧視。這類評估通常需要提前設(shè)計好詞庫，并對模型的結(jié)果創(chuàng)建含有有毒性內(nèi)容的攻擊輸?，檢查模型的回應(yīng)；以及檢查模型在接收正常輸?時，是否產(chǎn)?有毒的輸出，此種評估?法通常需要構(gòu)建?個判別器模型?于?動檢查模型的輸出是否與?類倫理道德價值觀對?。2.評測體系：系統(tǒng)化指導(dǎo)評測(1)?模型評測?法在5-shot設(shè)置下的MMLU表現(xiàn)?乎是所有?類評分者平均值（34.5）的兩倍，?GPT-4（86.4）在5-shot設(shè)置下已經(jīng)?分接近?類專家（89.8）的?平，需要提出更多更具挑戰(zhàn)性的任務(wù)以滿?模型評估的場景需要設(shè)計新的評估?法。例如，在代碼?成任務(wù)中，常?的評測指標(biāo)pass@k需要多次采樣?成結(jié)果，然后使?編譯器或解釋器執(zhí)?檢查。系統(tǒng)的??評估，以及使?GPT-4作為評測者的?動評估。基于數(shù)據(jù)集指標(biāo)的?動評估主要依賴于標(biāo)準(zhǔn)化的度量和基準(zhǔn)測試集，我們也看到了近期更多針對?模型的基準(zhǔn)測試集出現(xiàn)。基于打分系統(tǒng)的??評估可以提?模型評價的豐富性和準(zhǔn)確性，因為相較于針對特定NLP任務(wù)構(gòu)建的學(xué)術(shù)基準(zhǔn)測試集，?類主觀構(gòu)建的話題以及對于模型回答的判斷可能更適?于評判通?聊天機器?的好壞。例如UC伯克利提出的聊天機器?競技場（ChatbotArena），利?Elo等級分制度引??類評價對?語?模型進?排名。使?GPT-4作為評測者的?動評估近?由Vicuna團隊提出，GPT-4可以根據(jù)有?性、相關(guān)性、準(zhǔn)確性和細(xì)節(jié)等對這些模型的致的分?jǐn)?shù)和評分依據(jù)。但這項?法仍有其局限性，GPT-4在編程或數(shù)學(xué)問題上還不能給出良好的評估。(2)?模型評測指標(biāo)?模型評測最通?的指標(biāo)是精度，在不同場景下有不同的定義，體現(xiàn)了模型在該任務(wù)上的平均正確率。對于可以直接?較模型回復(fù)和標(biāo)準(zhǔn)答案的精確度(Precision)和F1等指標(biāo)；對于有參考答案的其他條件?本?成任務(wù)，會采取基于詞重疊度的指標(biāo)作為精度標(biāo)準(zhǔn)，如機器翻譯??的BLEU和TER，?本摘要中的ROUGE和METEOR等；在信息檢索等專注于結(jié)果排序的領(lǐng)域，有RR、NDCG等指標(biāo)；此外，對于語?建模和代碼?成等任務(wù)，還有困惑度（PPL）、Pass、BPB等指標(biāo)，從語句的流暢程度、代碼通過率等??衡量?成結(jié)果的精度。除了模型精度，還需要知道模型對于預(yù)測結(jié)對于系統(tǒng)在??險環(huán)境下的部署尤為關(guān)鍵。例如在使?模型輔助決策時，如果模型的預(yù)測不夠確定，可以及時進????預(yù)?不是放任潛在的錯誤。不確定性通常使?預(yù)期校準(zhǔn)誤差（ECE）來衡量，較低的預(yù)期校準(zhǔn)誤差表?模型的預(yù)測結(jié)果能較好地反映真實概率，例如，如果?個ECE低的模型預(yù)測1000個句?有毒，每個句?的概率為0.7，那么可以認(rèn)為其中?約有700個模型的穩(wěn)健性和公平性評估?式較為類似，通常通過?較模型在不同輸?下的精度差別來衡量：對模型輸?施加錯別字或語義等擾動模擬真實噪?以評估模型的穩(wěn)健性，改變輸??本中某些?或社會群體的性別、種族等屬性，?較模型預(yù)測結(jié)果是否有性能上或事實上的差距。(3)?模型評測數(shù)據(jù)集?模型評估??已經(jīng)出現(xiàn)了?些有代表性且?泛使?的綜合基準(zhǔn)數(shù)據(jù)集，例如：MMLU是多任務(wù)知識理解領(lǐng)域的通?測試集，涵蓋從數(shù)學(xué)和計算機科學(xué)到??和社會科學(xué)的?泛知識領(lǐng)域。BIG-Bench是?個各領(lǐng)域?qū)＜液献鳂?gòu)建的?型數(shù)據(jù)集，?的是從各??探索?語?模型的性能，并提出了?系列對當(dāng)下模型有挑戰(zhàn)性的任務(wù)。HELM是?個綜合測試集，測試數(shù)據(jù)建?在許多先前研究的基礎(chǔ)上，擁有包括問答、摘要、信息檢索等16組核?場景和準(zhǔn)確性、校準(zhǔn)、魯棒性、公平性、偏?、毒性和效率7類評估指標(biāo)。近期發(fā)布的中?數(shù)據(jù)集有MMCU數(shù)據(jù)集，覆蓋教育、醫(yī)學(xué)、?理學(xué)、法律4個領(lǐng)域的專業(yè)知識；C-Eval數(shù)據(jù)集，專注世界知識和推理等領(lǐng)域；SuperCLUE數(shù)據(jù)集考察語?理解能?，并提出了許多有中?特點的任務(wù)，包括中?成語、詩歌、?學(xué)、字形等。除了以上綜合測試集外，還有專注于評估?語?模型特定能?的測試基準(zhǔn)，如?于多語?知識利?的TyDiQA、?于多語?數(shù)學(xué)推理的MGSM、?于復(fù)雜推理的HellaSwag、?于閱讀理解的SQUAD、?于代碼?成的集不夠充分，能?評估仍有不?，在多模態(tài)和模型與外界交互等新興任務(wù)領(lǐng)域缺乏測試數(shù)據(jù)和標(biāo)準(zhǔn)，?度依賴??評估，在模型安全評估和倫理評估??雖然有CivilComments負(fù)?評論數(shù)據(jù)集和SAE公平性數(shù)據(jù)集等，但總體上測試數(shù)據(jù)較少；?是測試集迭代速度快，如SuperGLUE數(shù)據(jù)集僅發(fā)布18個?，模型表現(xiàn)就已超過?類結(jié)果，測試集對模型的挑時間和成本，許多測試集在噪?、正確性和難度分布上試結(jié)果的可解釋性。對于?模型在安全可信??的問題，我國?度重視?模型技術(shù)?險的管理。2023年7?，?信辦會同六部委共同發(fā)布《?成式??智能服務(wù)管理暫?辦法》（以下簡稱“辦法”為?成式??智能的發(fā)展和應(yīng)?推?成式??智能技術(shù)創(chuàng)新和?險防范等??積極展開合作和研究。以下從性能缺陷、脆弱性、倫理三??對?模型技術(shù)?險管理展開討論。(1)性能缺陷?險管理?前?模型對于其?成內(nèi)容的可信性缺乏保障，容易?成?然流暢但包含誤導(dǎo)性、虛假內(nèi)容以及事實錯誤的?本，可能誤導(dǎo)投資者做出錯誤的決策，導(dǎo)致財務(wù)損失；同時?模型技術(shù)可能被?來?成?度逼真的偽造內(nèi)容，如合成的圖?、視頻和?頻資料，也為不法分?操縱?融市場、者其他?融?具的價格等提供了新?具，給?融安全造成威脅，同時也將嚴(yán)重破壞市場參與者之間的信任。因此，我們亟需針對?模型性能缺陷給?融?業(yè)帶來的?險采取針對性回應(yīng)舉措：l?業(yè)層?，建??向?融?業(yè)的?模型標(biāo)準(zhǔn)技術(shù)體系，在?融?業(yè)法律法規(guī)??建?系列規(guī)章制度，對主管部?的?融政策指導(dǎo)實施監(jiān)管和規(guī)范，同時加強?融?模型的技術(shù)創(chuàng)新和防御研究；l企業(yè)層?，建議?融企業(yè)設(shè)?相關(guān)部?負(fù)責(zé)?模型技術(shù)?險管理，整體考慮和設(shè)計符合?融業(yè)務(wù)場景的?模型安全制度體系，擴??模型安全專業(yè)?才隊伍，提升相關(guān)?融技術(shù)?員的專業(yè)技能。(2)脆弱性?險管理?前?模型在?對攻擊?為時具有脆弱性，例如在?臨特定形式的輸?內(nèi)容時，模型可能被誘導(dǎo)違反??的編程限制，?成超出?內(nèi)容或者泄露??的隱私信息；或者在訓(xùn)練數(shù)據(jù)遭受投毒攻擊后，模型可能攻擊者不當(dāng)獲利，進?導(dǎo)致消費者對?融服務(wù)的信任度下降。這種脆弱性為?模型技術(shù)在?融服務(wù)中的使?帶來了極?的安全?險，需要采取措施防范潛在的惡意攻擊：l?業(yè)層?，建??向?融?業(yè)的?模型脆弱性?險管理標(biāo)準(zhǔn)規(guī)范，健全技術(shù)體系以?持落實國家監(jiān)管政策，針對?模型的對抗和投毒攻擊?險設(shè)置體系化評價標(biāo)準(zhǔn)和測評機制，為模型加固增強提供技術(shù)?持，指導(dǎo)企業(yè)防范攻擊?險；l企業(yè)層?，針對?融?模型脆弱性采取相應(yīng)的技術(shù)?段進?防范，同時制定相應(yīng)的審查機制，嚴(yán)格控制訓(xùn)練數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)中不包含隱私或有害內(nèi)容；強化模型抗攻擊能?，同時對攻擊?為實施監(jiān)測，對于異常使??為應(yīng)當(dāng)及時停?服務(wù)并視情況采取懲罰。(3)倫理?險管理?模型由于其?質(zhì)量內(nèi)容?成的能?，導(dǎo)致其在使?的同時可能引發(fā)倫理問題，包括：?成內(nèi)容的版權(quán)歸屬存在爭議，例如?融研究報告的版權(quán)等；?成的內(nèi)容可能被?于惡意?途，例如刻意?成誤導(dǎo)投資者的投資建議；容可能誘導(dǎo)使?者進?不合理甚??法的?融?為；?成內(nèi)容中可能存在偏?與歧視信息，誤導(dǎo)??形成錯誤認(rèn)知。這些倫理問題可能導(dǎo)致?模型的使?帶來?定的社會危害性，造成社會秩序混亂甚?威脅??和財產(chǎn)安全，需要采取針對性的防范措施：l?業(yè)層?，建?健全?融?模型倫理審查相關(guān)標(biāo)準(zhǔn)和技術(shù)體系，對于模型?成內(nèi)容的有害程度和偏?與歧視問題形成度量標(biāo)準(zhǔn)，同時構(gòu)建相關(guān)問題的測評技術(shù)體系，指導(dǎo)企業(yè)對?模型?成內(nèi)容進??動化檢驗；l企業(yè)層?，針對采??模型技術(shù)的?融服務(wù)制定管理措施并嚴(yán)格遵循，明確?成內(nèi)容的版權(quán)歸屬以避免爭議，檢測并規(guī)避有害?成內(nèi)容，提供防依賴、防沉迷措施并引導(dǎo)??恰當(dāng)使?；優(yōu)化和提升內(nèi)容?成技術(shù)以避免?成誘導(dǎo)性或偏?與歧視性內(nèi)容。4.技術(shù)探索：提供安全可信技術(shù)?撐(1)信息追溯技術(shù)盡管當(dāng)前以ChatGPT為代表的?成式AI技術(shù)已經(jīng)表現(xiàn)出了?常驚艷的語?理解以及知識推理能?。然?，這類技術(shù)依賴的基礎(chǔ)模型本質(zhì)是?個神經(jīng)?絡(luò)?模型，存在性能缺陷?險，即?成的內(nèi)容雖然語句通順貌似合理，但可能與事實?相徑庭。但是模型的訓(xùn)練和推斷都是?盒的，導(dǎo)致不能提供合理的證據(jù)進?可信性的溯源與驗證。因此，?融業(yè)務(wù)場景中，如何式AI技術(shù)實際部署出現(xiàn)問題時，對特定結(jié)果的產(chǎn)?原因、關(guān)鍵環(huán)節(jié)等要素進?因果溯源分析，保障?成結(jié)果與事實的?致性是實現(xiàn)?融?模型可信?成的基礎(chǔ)之?。為了降低?模型的性能缺陷?險，實現(xiàn)?成式AI技術(shù)在?融業(yè)務(wù)場景的信息可追溯，主要研究檢索增強的可溯源信息整編?法，在?模型中加?訪問外部存儲庫，解耦?模型的記憶模塊和推斷模塊，以更加模塊化和可溯源的?式特定?融結(jié)果的產(chǎn)?原因、關(guān)鍵環(huán)節(jié)等要素進?快速的因果溯源分析。該?法主要由檢索器和?模型兩個模塊實現(xiàn)結(jié)果的整編和溯源：l?向?融數(shù)據(jù)的檢索器：檢索器?來輔助模型從外部?融數(shù)據(jù)存儲庫中，搜索有關(guān)于當(dāng)前查詢中的精確?融相關(guān)信息條規(guī)、實時動態(tài)新聞報道、?融知識圖譜等特定?融數(shù)據(jù)；l融合檢索技術(shù)的?成式?模型：在?規(guī)模語?模型的預(yù)訓(xùn)練、微調(diào)和推理，通過結(jié)合查詢與檢索到的相關(guān)信息進?模型推斷，其回的信息可以作為?成答案的依據(jù)，從?提升?模型的準(zhǔn)確性、實效性和可l檢索器和?模型的聯(lián)合優(yōu)化：由于?成器和檢索器是兩個獨?的模塊，優(yōu)化往往是相對獨?的。為了進?步提?溯源分析效學(xué)習(xí)的聯(lián)合優(yōu)化技術(shù)，將?成器和檢索器進?聯(lián)合優(yōu)化，以達到相互增強的(2)攻擊防御技術(shù)現(xiàn)有的基于?模型的內(nèi)容?成技術(shù)屬于深度學(xué)習(xí)技術(shù)范疇，其運作?乎完全由數(shù)據(jù)驅(qū)動??由?為規(guī)則確定，因?容易存在難以察覺到的脆弱性問題；再加上訓(xùn)練及應(yīng)?環(huán)境直接?向數(shù)據(jù)提供商及??產(chǎn)?的?然語??本及圖像等復(fù)雜?結(jié)構(gòu)化數(shù)據(jù)，模型?臨極?的不確定性和被攻擊可?融?模型的缺陷、探測和防御攻擊性?為，是降低模型脆弱模型安全使?的核?挑戰(zhàn)。為降低?模型脆弱性?險，防范可能存在的惡意攻擊?為，主要需要研究基于內(nèi)容安全檢測的攻擊防御技術(shù)，針對?融?模型開發(fā)和應(yīng)?階段涉及的各類內(nèi)容數(shù)據(jù)進?安全?險監(jiān)測，使攻擊?為?所遁形，進?通過預(yù)先處理和拒絕服務(wù)等?式回避惡意攻擊。其中涉及的關(guān)鍵技術(shù)點包括：其中有毒有害、質(zhì)量低下的內(nèi)容，防?數(shù)數(shù)據(jù)，進?脫敏預(yù)處理，防?泄露隱私；l??查詢安全檢測技術(shù)：針對??查詢輸?的內(nèi)容，分析識別其意注?等對模型的對抗攻擊；l?成內(nèi)容安全檢測技術(shù)：針對模型最終?成的內(nèi)容，對潛在的泄露隱私、功能?法、偏?歧視等問題進?檢測，過濾不符容，避免將有害內(nèi)容呈現(xiàn)給??。(3)可解釋技術(shù)們只能看到數(shù)據(jù)的輸?和輸出，其內(nèi)部判斷的運?規(guī)律和因果邏輯尚不清晰，這?特性使得?模型的?成機理不易被?類理解和解釋。?旦模型出現(xiàn)錯誤，透明度不?將阻礙外部應(yīng)?者的糾偏和除誤，尤其對于?模型應(yīng)?于?融這類?險厭惡以及對可解釋性要求?的領(lǐng)域等。因此，如何增強?模型機理和輸出的可解釋性、建?合適的可視化機制來評估和解釋模型的中間狀態(tài)，在模型部署出現(xiàn)問題時進?準(zhǔn)確調(diào)控，是保障?模型在?融場景中安全、可信運?的關(guān)鍵。為了降低?融業(yè)務(wù)場景的?模型倫理?險監(jiān)管難度，幫助?融機構(gòu)識別潛在的模型?險并可以及時調(diào)整和改進推理結(jié)果，主要研究融?因果理論的?成式?融?模型：模?融數(shù)據(jù)的?成過程，對因果機制和?盒模型進?協(xié)同優(yōu)化來消除模型訓(xùn)練過程中的不確定性，以增強對推理結(jié)果的透明度和可解釋性，使?融決策者能夠更好地評估和驗證推理結(jié)果的可靠性；l基于先驗因果圖的可解釋性技術(shù)：通過構(gòu)建?融特定領(lǐng)域的先驗因果圖，研究?融領(lǐng)域?模型可解釋所需滿?的基本性質(zhì)，這些性質(zhì)可以設(shè)計并利?可視化等技術(shù)?段實現(xiàn)?成過程的可解釋分析，幫助??更好地理解?融概念和決策；l基于因果?預(yù)的可控?成技術(shù)：借助因果?預(yù)和反事實推測?段，研究?向?融領(lǐng)域的?模型可控?成?法，結(jié)合梯度的低秩分解對模型的特定模塊注?更新的知識或糾正不良?為，實現(xiàn)對?模型學(xué)習(xí)、推斷等過程的?效編輯與控制，從?確保推理結(jié)果在可控范圍之內(nèi)，同時可以提供個性化的?融分析和投資建議。以?成式?模型為代表的新?代??智能技術(shù)將極?地加速?融業(yè)數(shù)化的溝通，基于上下?不斷深?理解??的任務(wù)訴求，為??提供個?助理式的信息和任務(wù)處理范式，將極?地提升??體驗和服務(wù)效率。?是?模型?專多能的通?能?，助?低成本地適配具體場景的任務(wù)，極?地提???智能技術(shù)的規(guī)模化應(yīng)?能?，釋放數(shù)據(jù)要素的乘數(shù)效應(yīng)和倍增效應(yīng)。三是?模型（對商業(yè)銀???尤其是?語?模型）的?成式能?已成為數(shù)據(jù)處理的發(fā)展注?全新動能。部商業(yè)銀?積極開展技術(shù)驗證和試點，已經(jīng)積累相當(dāng)?shù)慕?jīng)驗點應(yīng)??圖17。以下結(jié)合中國?商銀?的典型實踐案例來介紹?模型的銀?業(yè)應(yīng)?場景和業(yè)務(wù)價值。合語境智能判斷?成?質(zhì)量易于客?理解的話術(shù)，給出準(zhǔn)確的專業(yè)解答，提?解決率與客?滿意度。不過鑒于?前?模型在?成內(nèi)容可控性??的問題，存在科技倫理等?險，因此短期內(nèi)不建議直接對客使?，?是以服?員助?的形式，?機協(xié)同提升服務(wù)質(zhì)量和效率。案例?：坐席助?提升客?服務(wù)體驗?前，商業(yè)銀?主要通過??客服和智能客服兩種?式為客?提供咨服尚不能直接解答客?所有問題。為全?提升對客服務(wù)能?，?商銀?在遠(yuǎn)程銀?業(yè)務(wù)中將知識搜索與?模型技術(shù)結(jié)合，實現(xiàn)基于實時通話向坐席?員主動推送答復(fù)話術(shù)或知識的能?。同時，利??模型也可快速分析客?致電咨詢?的，以及時掌握業(yè)務(wù)咨詢熱點，提升服務(wù)質(zhì)效。?模型技術(shù)的崛起，為辦公空間帶來了變?的契機。“智慧辦公”也將逐步改變傳統(tǒng)的辦公習(xí)慣。利?NLP?模型的?本?成、問答能?，全?加強安全保障精細(xì)化管理，?效提升內(nèi)部管理效率。案例?：智能辦公助?辦公模式?效化??模型?本?成能?，提升材料編寫效率，實現(xiàn)提綱?成、?檔?成、中?句話即可辦理建會議、定會議室、記錄?程等事務(wù)，對接?內(nèi)不域知識，查知識、查訊息、查指標(biāo)，隨時為??答疑解惑等。案例?：智能助?賦能?試流程智能化?商銀?每年會對收到的數(shù)?萬封?員簡歷，通過HR??篩選招聘員型來?成更專業(yè)、更深?的?試題。同時，模型還能根據(jù)形成綜合評價報告，為HR??分析應(yīng)聘者的情況及能?提供了便利。案例三：?融市場咨詢分析、?成?動化針對?融市場業(yè)務(wù)，?商銀?全?應(yīng)??模型的核?信息提取、智能?本?成、上下?聯(lián)想等能?，塑造?融市場投資商銀?利??模型的?本?成能?，實現(xiàn)投研晨報等?融市場各類報告的成時效從?時級縮短?分鐘級，資訊覆蓋?從?余篇擴展?全市場數(shù)百篇，報告?成采納率達88.68%。在運營管理??，商業(yè)銀?可基于?模型對知識答、智能查詢等能?。通過前沿技術(shù)將有限的??資源從重復(fù)性?作流程中解放出來，推動智慧??、信息管理、科技管理等內(nèi)部業(yè)務(wù)處理管理條線的智能化提升，持續(xù)優(yōu)化?融業(yè)務(wù)?持效率。例如，?等存在效率低、??成本?等問題。運??模型的語義理解、語義分析等技術(shù)可實現(xiàn)?單分析、信貸?本分類、客?信息?站式錄?、關(guān)鍵信息抽取等多個業(yè)務(wù)場景運作的?動化，?幅度降低?員?作量和運營成本。案例?：?點助?賦能業(yè)務(wù)流程?動化在客?辦理跨境匯款業(yè)務(wù)時，傳統(tǒng)??對業(yè)務(wù)信息采集、錄?等存在效率低、??成本?等問題。為解決復(fù)雜業(yè)務(wù)?點員?辦理難、專業(yè)術(shù)語難以向客?解釋、新業(yè)務(wù)流程?點員?不熟悉等痛點問題，?商銀?建設(shè)?點員全?數(shù)?萬?點員?輔助業(yè)務(wù)辦理，提升?線?員?作效率和?作合規(guī)性。中英翻譯服務(wù)可對憑證中的英?內(nèi)容翻譯，翻譯準(zhǔn)確率達85%以上，服務(wù)客服經(jīng)理萬余?。制度查詢服務(wù)可智能化?成便于員?理解的操作流程和術(shù)成體驗評測，問答準(zhǔn)確率超83%。案例?：?單分析、?成?動化?商銀?每?需處理數(shù)?萬件客?意??單，傳統(tǒng)??智能技術(shù)已可滿?簡單、流轉(zhuǎn)和辦結(jié)等環(huán)節(jié)的需求。對于答復(fù)環(huán)答復(fù)環(huán)節(jié)對原有模式進?創(chuàng)新，利??模型可根據(jù)員?與客?電話核實情條理清晰，整體?字采納率約80%，據(jù)初步測算，每年可節(jié)省數(shù)百?年?作相較于傳統(tǒng)純??開發(fā)的?技術(shù)?檻和???需求，基于?模型技術(shù)可以輔助??在智能代碼?成、代碼識別與檢測、代碼轉(zhuǎn)?然語?和交互式研發(fā)等領(lǐng)域?qū)崿F(xiàn)全?位能?突破，構(gòu)建基于?模型的智能研發(fā)體系，覆蓋從需求、設(shè)計、編碼、測試、發(fā)布的研發(fā)全?命周期發(fā)?平，???融領(lǐng)域助?國內(nèi)智能研發(fā)技術(shù)逐步?向成熟。案例?：智能研發(fā)助?研發(fā)數(shù)智化智能研發(fā)屬于特定細(xì)分領(lǐng)域的專業(yè)化應(yīng)?，存在?融屬性弱且?研難度?等特性。為全?提升數(shù)智化研發(fā)?平，?商銀?通過引?垂直領(lǐng)域的商??模型產(chǎn)品，構(gòu)建基于?模型的智能研發(fā)體系，實現(xiàn)代碼?成、代碼識別與檢測、代碼轉(zhuǎn)?然語?和交互式研發(fā)等全?位能?助編碼近百萬?，協(xié)助開發(fā)?員?動糾正輸?性錯誤數(shù)萬次。在?險防控??，商業(yè)銀?可基于?模型實現(xiàn)?業(yè)研究、盡調(diào)、授信審批、內(nèi)審等流程的?險識別、制度查詢及輔助審核等功能的信??險、操作?險、合規(guī)?險、內(nèi)部審計的全??管控的更?需求，顯著提升智能?融?險管理能?，有效滿??險防控創(chuàng)新案例?：信貸全流程審批智能化傳統(tǒng)信貸業(yè)務(wù)模式主要依靠業(yè)務(wù)?員累積的經(jīng)驗，??審核和評估信貸材料，此類?式效率低下且極易存在?為誤差。為提升現(xiàn)有信貸系統(tǒng)智能化服務(wù)?平，?商銀?利??模型，建?貸前、中、后全知識答疑功能利??模型，通過知識問答形式，為信貸系統(tǒng)??提供信貸制度咨詢服務(wù)，將信貸制度咨詢從分鐘級提升?秒級，每年?少可降本數(shù)百?將基于客?資料、調(diào)查審查報告、征信報告、互聯(lián)別潛在?險信息，提?信貸?員對業(yè)務(wù)資料的分析效率。案例?：可疑報告?成?動化?商銀?依托?數(shù)據(jù)及傳統(tǒng)??智能技術(shù)建成客?盡職調(diào)查、?額報送等七?功能模塊的反洗錢系統(tǒng)，從機構(gòu)、產(chǎn)品和客?等不同維度統(tǒng)計分析的案件信息，將案件關(guān)聯(lián)?員關(guān)鍵要素信息與客?信息進??對，提供相關(guān)涉案信息供甄別?員參考。在可疑報告撰寫環(huán)節(jié)，?商銀?通過?模型總結(jié)?成能?，輔助?成可疑報告中的客?信息等相關(guān)章節(jié)初稿，供甄別?員參考，提升全??線反洗錢甄別?員的案頭?作效率。案例三：智能員?助?內(nèi)控合規(guī)智能化商銀?基于?模型上線內(nèi)控數(shù)字員?“?毅控”，為全?員?提供內(nèi)控合規(guī)各項?作的問答指南，包括規(guī)章制度、合規(guī)信息、員?違規(guī)處理規(guī)定等內(nèi)容的在線問答，以及合規(guī)?化傳導(dǎo)等常?功能服務(wù)，為內(nèi)控合規(guī)相關(guān)知識答疑解惑和?作開展提供?撐，為基層減負(fù)賦能。此外，為貫徹落實“數(shù)字??”建設(shè)的總體部署，?商銀?打造了?銀融安e控溝通交流平臺，為基層員?提供內(nèi)控合規(guī)?作智能問答和服務(wù)?持。平臺?上線以來，賦能全?境內(nèi)數(shù)?家分?機構(gòu)??，?動解答率達92.8%。中國?商銀?圍繞?模型核?能?，借鑒業(yè)界先進經(jīng)驗，基于?融業(yè)務(wù)實際需求和應(yīng)?實踐，創(chuàng)新打造適配?融?業(yè)的“1+X”?模型應(yīng)?范式，建成集感知、記憶、決策、執(zhí)?、反饋五項功能于?體的低?檻智能體運?框架，沉淀“X”可共享復(fù)?的范式能?，包含多模態(tài)知識檢索、對話式數(shù)據(jù)分析、智能化?檔編寫、交互式智能搜索、陪伴式智能研發(fā)等多項?融即插即?的零代碼?程化解決?案，?幅提升?模型在全?規(guī)?；瘧?yīng)?的效分析研判。摘要提煉旨在利?模型對冗?的通話錄?、會議錄?、?篇?章等去除各類?擾信息提煉形成信息摘要，加速信息流轉(zhuǎn)和處理。內(nèi)容擴寫旨在通過?模型將簡單的事實陳述擴寫成?篇資料。分析研判旨在對照專家編寫研判報告過程，基于?模型的閱讀理解能?對多種參考資料等進?閱讀、素材抽取，并形成研判分析報告。搜集實時信息，并進?有效的組織和提煉答案，以答案和引?的形式為??提供快速、可靠、全?的信息，解決?內(nèi)信息搜索時等問題，重塑搜索模式，提升搜索效率。該范式主要包括??信息采集、問題解析規(guī)劃及信息搜索、答案匯總?成三個環(huán)節(jié)。科技?員將獲取的數(shù)據(jù)?成問題答案及來源，最終業(yè)務(wù)?員反饋問題答案。量?檔的專業(yè)知識搜索和問答能?，實現(xiàn)?檔內(nèi)容檢索問答，提升專業(yè)知識獲取效率。知識檢索主要包括知識準(zhǔn)備、知識搜索、答案?成三個環(huán)節(jié)。業(yè)務(wù)?員將原始?檔、FAQ問答對等知識向量化后存儲?庫，科技?員利?搜索?模型和?成式?模型分別完成知識搜索和答案?成，最終業(yè)務(wù)?員反識問答、遠(yuǎn)程銀?知識推薦等。持??通過?然語??式實現(xiàn)跨系統(tǒng)、系統(tǒng)內(nèi)部各功能的調(diào)度控制能?，改變?機交互模式，解決各功能、數(shù)據(jù)服務(wù)分散在不同的系統(tǒng)發(fā)現(xiàn)難、調(diào)?難該范式體現(xiàn)的是?模型在邏輯推理、聯(lián)想創(chuàng)作、分析規(guī)劃等??使?場景?泛，涵蓋從客?輔助到員?助?等多個領(lǐng)域，典型場景如數(shù)字員?、調(diào)度場景等。為降低?數(shù)賦智?檻，