阿里云：2024百煉成金-大金融模型新篇章

NewChapterofFinancialLLMNewFinanceNewFuture張翅先生曾經(jīng)在螞蟻金服智能科技團(tuán)隊(duì)負(fù)責(zé)螞蟻金服科技產(chǎn)品的開(kāi)放合作，推動(dòng)內(nèi)部技術(shù)產(chǎn)品化和金融行業(yè)數(shù)字化轉(zhuǎn)型。從17年開(kāi)始先后負(fù)責(zé)了從銀行、保險(xiǎn)、證券到金融服務(wù)等多個(gè)重要客戶的數(shù)字化項(xiàng)目，深耕金融科技、云原生分布式架構(gòu)、移動(dòng)平臺(tái)、大數(shù)據(jù)、人工智能、區(qū)塊鏈等數(shù)字金融技術(shù)領(lǐng)域。在加入阿里云和螞蟻金服前，張翅先生先后供職于甲骨文、Pivotal，領(lǐng)導(dǎo)參與了多個(gè)重大項(xiàng)目的建設(shè)，擁有豐富的企業(yè)架構(gòu)設(shè)計(jì)、IT戰(zhàn)略規(guī)劃、產(chǎn)品研發(fā)及團(tuán)隊(duì)管理FOREWARDC-阿里云山不讓塵，川不辭盈。2024年是互聯(lián)網(wǎng)進(jìn)入中國(guó)的第30個(gè)年頭，中國(guó)金融行業(yè)也走過(guò)了金融科技和數(shù)字化的10個(gè)年頭?？萍冀鹑谶@篇大文章正方興未艾，智能金融隨著大模型日新月異發(fā)展突然按下了加速鍵。如果將過(guò)去一年大模型的發(fā)展比作《三體》中描述的“技術(shù)爆炸”，正形象地展現(xiàn)出了AI領(lǐng)域前所未有的快速變革。這種爆炸式增長(zhǎng)不僅僅是技術(shù)參數(shù)的簡(jiǎn)單膨脹，更是整個(gè)技術(shù)生態(tài)、商業(yè)應(yīng)用以及社會(huì)影響層面深刻變化的綜合體現(xiàn)。在這個(gè)發(fā)展過(guò)程中，我們看到了如浪潮般涌現(xiàn)的新技術(shù)核心要素與傳統(tǒng)IT發(fā)展規(guī)律的交織：●摩爾定律的延伸與挑戰(zhàn)：雖然摩爾定律近年來(lái)面臨物理極限挑戰(zhàn)，但通過(guò)創(chuàng)新架構(gòu)（如GPU、TPU）、分布式計(jì)算以及算法優(yōu)化，讓大模型的發(fā)展有機(jī)會(huì)遵循類似的加速發(fā)展軌跡，變革性實(shí)現(xiàn)計(jì)算效率和?！癜驳?比爾定律的演變：在大模型場(chǎng)景下，這一規(guī)律體現(xiàn)為模型規(guī)模和復(fù)雜度的增加，不斷驅(qū)動(dòng)著對(duì)更今年以來(lái)，走遍中華大地拜訪過(guò)上千家金融機(jī)構(gòu)，我們發(fā)現(xiàn)，金融行業(yè)并不缺乏大模型應(yīng)用的場(chǎng)景，但是有極高的要求，使得金融行業(yè)的大模型之路進(jìn)入前所未有的選擇陷阱。金融行業(yè)正處于數(shù)字化轉(zhuǎn)型和采大模型加持的金融代碼能力、金融多模態(tài)能力、金融信息閱讀理解能力、金融信息抽取分類加工能力理能力在金融行為學(xué)、金融市場(chǎng)與投資學(xué)、零售金融、公司金融、財(cái)富資管、大健康、大投研等等各隨著大模型技術(shù)的成熟，從基于數(shù)據(jù)集的開(kāi)發(fā)轉(zhuǎn)向基于大規(guī)模預(yù)訓(xùn)練模型的應(yīng)用工程體系，我們可以想象未來(lái)大模型通過(guò)API化與云原生環(huán)境下的金融業(yè)務(wù)流程與技術(shù)架構(gòu)的深度整合，從而解決一些從前我們不敢想象的融合問(wèn)題，比如金融模型應(yīng)用的成本效率與穩(wěn)定性，金融知識(shí)的準(zhǔn)確及專業(yè)性、金融合格的嚴(yán)謹(jǐn)可如此，云原生和大模型融合的新范式，非常需要新希望與業(yè)內(nèi)的各位朋友一同探討如何積極擁抱并運(yùn)用大模型技術(shù)，以應(yīng)對(duì)和駕馭不斷變化的市場(chǎng)RECOMMENDC-阿里云在數(shù)字化浪潮中，金融行業(yè)正經(jīng)歷著前所未有的變革?！栋贌挸山?大金融模型新篇章》為我們揭開(kāi)了AI大模型在金融領(lǐng)域應(yīng)用的神秘面紗，深入探討了AI大模型如何成為數(shù)字轉(zhuǎn)型時(shí)代的重要驅(qū)動(dòng)力，并詳細(xì)討論了其在金融領(lǐng)域的具體應(yīng)用。從智能投顧到風(fēng)險(xiǎn)管理，大模型技術(shù)正不斷推動(dòng)《百煉成金-大金融模型新篇章》不僅分析了AI大模型的發(fā)展趨勢(shì)，還深入探討了金融企業(yè)在采納大模型技術(shù)時(shí)面臨的挑戰(zhàn)。作者提出了金融級(jí)AI原生的六大要素，包括可靠性、低延時(shí)、擴(kuò)展性、安全性、準(zhǔn)確性和開(kāi)放性，為金融行業(yè)AI應(yīng)用的安全性和有報(bào)告通過(guò)深刻的行業(yè)洞察、豐富的案例分析以及前瞻性的技術(shù)討論，為金融企業(yè)提供了金融大模型應(yīng)用的路在全球科技巨擘競(jìng)逐的“萬(wàn)模大戰(zhàn)”中，金融行業(yè)逐漸成為大模型技術(shù)的重要應(yīng)用場(chǎng)景。通過(guò)持續(xù)創(chuàng)新和優(yōu)化，生成式大模型在金融領(lǐng)域展現(xiàn)出了巨大的潛力和廣泛的應(yīng)用前景。本文從大模型的技術(shù)發(fā)展趨臨的實(shí)際痛點(diǎn)出發(fā)，通過(guò)翔實(shí)的研究、嚴(yán)密的分析、深刻的洞察，定義了金融級(jí)AI原生的六大要素，并結(jié)合金融具備良好的啟迪和借鑒意義。相信隨著大模型技術(shù)的不斷進(jìn)步，金融AI應(yīng)用的廣度和深度將進(jìn)一步拓展，為行業(yè)生成式大模型技術(shù)的突破將為產(chǎn)業(yè)發(fā)展注入新的動(dòng)能，也為改變未來(lái)生活帶來(lái)了無(wú)限的想象空間。金融業(yè)是大模型應(yīng)用的重要戰(zhàn)場(chǎng)，金融機(jī)構(gòu)紛紛入局，搭建平臺(tái)、訓(xùn)練領(lǐng)域模型、探索場(chǎng)景應(yīng)用。但大模型技程中，尚未形成成熟的技術(shù)解決方案，在產(chǎn)業(yè)應(yīng)用的深度、廣度和效果上仍需突破。本文基于對(duì)大模判斷，提出了金融級(jí)AI原生的宏大藍(lán)圖，針對(duì)構(gòu)建藍(lán)圖的六大核心要素，結(jié)合豐富的金融場(chǎng)景案例，給出了系統(tǒng)性構(gòu)建金融級(jí)AI原生應(yīng)用的解決方案。的AI原生應(yīng)用提供了全面性指導(dǎo)，具有重要的參考價(jià)值。金融是用戶、知識(shí)、服務(wù)密集型行業(yè)，相信云+大數(shù)據(jù)01大模型發(fā)展背景與趨勢(shì)大模型是DT時(shí)代標(biāo)志性產(chǎn)物02大模型發(fā)展的趨勢(shì)02金融企業(yè)擁抱大模型面臨的挑戰(zhàn)08問(wèn)題1:“有限算力+持續(xù)進(jìn)化的算力”，雙重制約下的算力資源問(wèn)題2:“開(kāi)源模型vs商業(yè)模型”，左右互搏的自建大模型之路10問(wèn)題3:“大模型vs越來(lái)越大的模型”，模型size的軍備競(jìng)賽11問(wèn)題4:“大模型RAG一天入門(mén)vs365天的持續(xù)優(yōu)化”，RAG系統(tǒng)的修行12問(wèn)題5:“殺手級(jí)通用大模型vs百花齊放專屬大模型”，企業(yè)級(jí)Ai應(yīng)用的價(jià)值自證？13問(wèn)題6:“大模型廣泛應(yīng)用vs應(yīng)用安全隱患”，大模型面臨的安全挑戰(zhàn)1403金融級(jí)AI原生的要素與藍(lán)圖15金融級(jí)Ai原生的發(fā)展金融級(jí)Ai原生的六大要素構(gòu)建金融級(jí)Ai原生的藍(lán)圖04金融級(jí)AI原生應(yīng)用實(shí)踐341、應(yīng)用場(chǎng)景與技術(shù)架構(gòu)選型2、Ai原生應(yīng)用實(shí)施路徑4305結(jié)語(yǔ)46大模型是DT大模型是DT時(shí)代標(biāo)志性產(chǎn)物大模型是DT時(shí)代標(biāo)志性產(chǎn)物大語(yǔ)言模型GPT/BERTChatGPT/通義千問(wèn)通用人工智能(AGI)大模型是數(shù)字轉(zhuǎn)型（DT）時(shí)代的產(chǎn)物，標(biāo)志著人工智能技術(shù)的一次重大突破，尤其是在自然語(yǔ)言處理（NLP）、圖像識(shí)別、推薦系統(tǒng)等領(lǐng)域。這些大模型，如OpenAI的GPT系列、大語(yǔ)言模型GPT/BERTChatGPT/通義千問(wèn)通用人工智能(AGI)在數(shù)字轉(zhuǎn)型時(shí)代，大模型為企業(yè)提供了前所未有的機(jī)遇，使其能夠通過(guò)高效的數(shù)據(jù)分析和決策，實(shí)現(xiàn)業(yè)務(wù)流程的智能化、優(yōu)化客戶體驗(yàn)和創(chuàng)新產(chǎn)品服務(wù)。從金融行業(yè)的智能投顧和欺詐監(jiān)測(cè)，到醫(yī)療行業(yè)的智能診斷和藥物發(fā)現(xiàn)，再到零售行業(yè)的個(gè)性化推薦，大模型的應(yīng)用正深刻在《全域數(shù)據(jù)“觀”》一書(shū)中，我們?cè)鴶嘌裕骸皵?shù)據(jù)的下一站是智能，數(shù)據(jù)最終會(huì)走向與業(yè)務(wù)系統(tǒng)的數(shù)智融合”，數(shù)據(jù)消費(fèi)正在由“人”變成“系統(tǒng)”。未來(lái)數(shù)據(jù)技術(shù)將與云原生和智容器和微服務(wù)等技術(shù)手段，為業(yè)務(wù)創(chuàng)新和系統(tǒng)建設(shè)提供了高效、敏捷以及成本低、可擴(kuò)展的解百煉成金｜大金融模型新篇章02大模型發(fā)展背景與趨勢(shì)C-]阿里云特征等數(shù)據(jù)資產(chǎn)形態(tài)，并直接用于分析與業(yè)務(wù)決策?，F(xiàn)如今，AI大模型正在以驚人的速度重構(gòu) 各行各業(yè)的業(yè)務(wù)流程與系統(tǒng)產(chǎn)品，一方面云原生為大模型訓(xùn)練與推理提供了資源保障，數(shù)據(jù)中 臺(tái)為大模型應(yīng)用提供高質(zhì)量語(yǔ)料和結(jié)構(gòu)化知識(shí)；另一方面在大模型全面“智能涌現(xiàn)”能力的驅(qū) 動(dòng)下，將傳統(tǒng)偏零散化的數(shù)據(jù)能力進(jìn)一步體系化和智能化，加快BI+AI的融合，實(shí)現(xiàn)從“洞見(jiàn)”到“決策”，推動(dòng)企業(yè)加速走向“云數(shù)智一體化”的終極形態(tài)，最終為客戶帶來(lái)更為全新的產(chǎn) 趨勢(shì)一：“Cloud+AI”在信息技術(shù)領(lǐng)域，無(wú)疑地，云計(jì)算和人工智能（AI）大模型的快速發(fā)展正日益成為推動(dòng)現(xiàn)代社會(huì)進(jìn)步的兩大驅(qū)動(dòng)力。特別是在中國(guó)和美國(guó)，這兩種技術(shù)不僅誕生并蓬勃發(fā)展，還持續(xù)引領(lǐng)著全球技術(shù)革命的浪潮。隨著時(shí)間的推移，大模型與云計(jì)算的結(jié)合日益緊密，這種融合在推首先，觀察全球技術(shù)發(fā)展格局可以發(fā)現(xiàn)，中國(guó)和美國(guó)無(wú)疑是云技術(shù)和A的兩大中心。這兩個(gè)國(guó)家不僅擁有領(lǐng)先的技術(shù)研發(fā)實(shí)力，還具備廣闊的市場(chǎng)應(yīng)用場(chǎng)景和成熟的進(jìn)一步而言，大模型的迭代進(jìn)化主要發(fā)生在云端。這是因?yàn)樵朴?jì)算提供了高度可擴(kuò)展的計(jì)算資源，使得研究人員和開(kāi)發(fā)者能夠在無(wú)需自建龐大物理基礎(chǔ)設(shè)施的情況下，進(jìn)行模型的訓(xùn)練和部署。云平臺(tái)上的彈性資源和高效管理工具為大模型的開(kāi)發(fā)和優(yōu)化提供了理想的環(huán)境，極大地加速了AI大模型的迭代周期，使得模型而且，大模型所遵循的規(guī)模定律（ScalingLaw）規(guī)模定律正重塑著算力基礎(chǔ)設(shè)施。隨著模型規(guī)模的不斷擴(kuò)大，其對(duì)計(jì)算資源的需求也呈指數(shù)級(jí)增長(zhǎng)，這一現(xiàn)象催生了對(duì)更高性能、更高效率算力基礎(chǔ)設(shè)施的需求。云計(jì)算平臺(tái)通過(guò)部署先進(jìn)的硬件技術(shù)、優(yōu)化計(jì)算資源分配和加強(qiáng)百煉成金｜大金融模型新篇章03數(shù)據(jù)處理能力來(lái)應(yīng)對(duì)這一需求，進(jìn)而推動(dòng)了算力基礎(chǔ)設(shè)施的快速進(jìn)化。這種進(jìn)化不僅滿足了當(dāng)大模型與云計(jì)算的緊密結(jié)合，不僅體現(xiàn)在中國(guó)和美國(guó)這兩個(gè)技術(shù)強(qiáng)國(guó)的快速發(fā)展上，更在未來(lái)科技的進(jìn)步將在這樣的融合與互動(dòng)中繼續(xù)加速，推趨勢(shì)二：“AIEverywhere”在當(dāng)今的數(shù)字化時(shí)代，大模型技術(shù)以其強(qiáng)大的數(shù)據(jù)處理能力和智能化水平，正逐步成為企業(yè)數(shù)字化轉(zhuǎn)型的標(biāo)配。其廣泛的應(yīng)用不僅僅局限于傳統(tǒng)的計(jì)算中心，更是與小模型、新終端以及數(shù)據(jù)中臺(tái)結(jié)合，共同構(gòu)筑起一個(gè)多元化部署與互聯(lián)互通的新生態(tài)，極大地深化了對(duì)數(shù)據(jù)資源成為許多復(fù)雜任務(wù)的首選。然而，針對(duì)一些對(duì)實(shí)時(shí)性、資源消耗有嚴(yán)格要求的場(chǎng)景，小模型以其輕量級(jí)、高效率的特性，更為適合。通過(guò)將大模型預(yù)訓(xùn)練的強(qiáng)大認(rèn)知能力與小模型的靈活部署結(jié)合，企業(yè)能夠更高效、更經(jīng)濟(jì)地解決廣泛的業(yè)務(wù)問(wèn)接著，大模型與新終端的結(jié)合拓展了模型鏈接的多元化。隨著物聯(lián)網(wǎng)(IoT)的蓬勃發(fā)展，智能終端遍布生活的每一個(gè)角落。大模型不再局限于服務(wù)器端的運(yùn)算，而是通過(guò)云計(jì)算和邊緣計(jì)算下沉至各種智能終端，如智能手機(jī)、智能家居、自動(dòng)駕駛車(chē)輛等。這種變化使得大模型的最后，大模型與數(shù)據(jù)中臺(tái)的緊密結(jié)合，促進(jìn)了圖像、音視頻、文本等數(shù)據(jù)集的多元化。數(shù)據(jù)中臺(tái)作為企業(yè)數(shù)據(jù)管理和運(yùn)營(yíng)的核心平臺(tái)，為大模型提供了豐富、高質(zhì)量的數(shù)據(jù)支持。通過(guò)有效地聚合和整合企業(yè)內(nèi)外的各類數(shù)據(jù)資源，大模型可以在更加多元化的數(shù)據(jù)基礎(chǔ)上進(jìn)行訓(xùn)練大模型正逐步滲透到企業(yè)數(shù)字化建設(shè)的各個(gè)層面，與小模型、新終端以及數(shù)據(jù)中臺(tái)等多元化的元素相結(jié)合，進(jìn)一步拓寬了其應(yīng)用范圍，提升了處理效率和智能水平。大模型無(wú)處不在，百煉成金｜大金融模型新篇章04大模型發(fā)展背景與趨勢(shì)C-]阿里云趨勢(shì)三：“AINativeSaaSRise”首先，大模型在企業(yè)級(jí)市場(chǎng)中的深度化應(yīng)用成為一種不可逆轉(zhuǎn)的趨勢(shì)。它們不僅被應(yīng)用于優(yōu)化傳統(tǒng)的數(shù)據(jù)處理和分析流程，更在預(yù)測(cè)分析、個(gè)性化服務(wù)、自動(dòng)決策制定等領(lǐng)域中展現(xiàn)出強(qiáng)大的能力。這種深度化應(yīng)用的背后，是企業(yè)對(duì)于數(shù)據(jù)價(jià)值認(rèn)知的提升以及對(duì)于操作效率和決“小切口，大縱深”的發(fā)展策略，正加速大模型在特定行業(yè)中的垂直化和產(chǎn)業(yè)化落地。企業(yè)通過(guò)聚焦于行業(yè)的細(xì)分領(lǐng)域，利用大模型深耕特定的痛點(diǎn)和需求，不僅提升了解決方案的適配性和有效性，也推動(dòng)了整個(gè)行業(yè)的智能化水平。這種策略的實(shí)施，充分顯示了大模型在解決企業(yè)間的開(kāi)放新形態(tài)，特別是在金融領(lǐng)域涌現(xiàn)的新的OpenBanking模式，為大模型技術(shù)的應(yīng)用開(kāi)辟了更加廣闊的舞臺(tái)。OpenBanking帶來(lái)的數(shù)據(jù)共享和API開(kāi)放不僅有利于現(xiàn)有金融服務(wù)的增值，還為金融科技創(chuàng)新和跨行業(yè)合作打開(kāi)了大門(mén)。這為大模型技術(shù)的應(yīng)用和發(fā)展趨勢(shì)四：“AIAPIFirst”近段時(shí)間以來(lái)，大模型正在經(jīng)歷功能性能力的快速增長(zhǎng)和重大突破，其中多模態(tài)、Agent模式以及AssistantAPI成為了推動(dòng)這一進(jìn)程的關(guān)鍵力量。這些技術(shù)革新不僅擴(kuò)展了大模型在多模態(tài)技術(shù)的出現(xiàn)和成熟拓展了大模型的廣度，讓機(jī)器能夠同時(shí)處理和理解文本、圖像、音頻等多種類型的數(shù)據(jù)，實(shí)現(xiàn)了對(duì)人類溝通方式的更全面理解。這標(biāo)志著百煉成金｜大金融模型新篇章05據(jù)向綜合理解不同數(shù)據(jù)類型的重大進(jìn)步。多模態(tài)大模型在提升信息獲取的全面性和準(zhǔn)確性方面展示了巨大潛力，極大地豐富了AI在自動(dòng)化內(nèi)容創(chuàng)作Agent模式的崛起，成為人類與AI協(xié)作的一種重要方式。在這種模式下，AI可以作為一這不僅表明了AI的工作模式正變得更加智能化和個(gè)性化，也的數(shù)據(jù)分析到復(fù)雜的決策制定，AIAgent能夠有效地輔助人類完成各種任務(wù)，推動(dòng)人機(jī)協(xié)作進(jìn)AssistantAPI的推出，為開(kāi)發(fā)者提供了全新的能力，大幅降低了開(kāi)發(fā)門(mén)檻。通過(guò)簡(jiǎn)單的API調(diào)用，開(kāi)發(fā)者可以輕松地將大模型的強(qiáng)大功能集成到自己的應(yīng)用或服務(wù)中，無(wú)需深入了解模型內(nèi)部的復(fù)雜機(jī)理，即可搭建出智能化程度高、用戶體驗(yàn)好的應(yīng)用產(chǎn)品。這種開(kāi)放的、低門(mén)檻的開(kāi)發(fā)方式，不僅加速了創(chuàng)新應(yīng)用的推出，也讓更多企業(yè)和個(gè)人能夠享受到AI技趨勢(shì)五：“AICyberSecurity”隨著大模型的廣泛應(yīng)用，對(duì)隱私和數(shù)據(jù)安全的重視程度日益增強(qiáng)。企業(yè)和研究機(jī)構(gòu)正在通過(guò)實(shí)施一系列措施，來(lái)加強(qiáng)對(duì)用戶數(shù)據(jù)的保護(hù)，確保信息安全和隱私被妥善處理。這些措施的有效的數(shù)據(jù)分類分級(jí)制度成為奠定數(shù)據(jù)管理及隱私防護(hù)框架的基礎(chǔ)。通過(guò)對(duì)數(shù)據(jù)進(jìn)行系統(tǒng)這種方法不僅有助于提升數(shù)據(jù)處理的效率和精準(zhǔn)度，也有利于識(shí)別和保護(hù)那些最敏感和價(jià)值最應(yīng)用生命周期的各個(gè)階段，從數(shù)據(jù)的收集、存儲(chǔ)、使用到銷(xiāo)毀等，每個(gè)環(huán)節(jié)都應(yīng)進(jìn)行嚴(yán)格的安全審查和評(píng)估。通過(guò)定期進(jìn)行安全審計(jì)、漏洞掃描和風(fēng)險(xiǎn)評(píng)估等活動(dòng)，可以及時(shí)發(fā)現(xiàn)和修復(fù)安百煉成金｜大金融模型新篇章06大模型發(fā)展背景與趨勢(shì)C-]阿里云隨著大模型應(yīng)用到越來(lái)越多的場(chǎng)景，其工作的可解釋性問(wèn)題越來(lái)越受到重視。大模型，特別是transformer的架構(gòu)被認(rèn)為是“黑盒”，難以解釋其決策邏輯和過(guò)程。增強(qiáng)AI工作的可百煉成金｜大金融模型新篇章07問(wèn)題2:“開(kāi)源模型vs商業(yè)模型”，左右互搏的自建大模型之路問(wèn)題3:“大模型vs越來(lái)越大的模型”，模型size的軍備競(jìng)賽問(wèn)題4:“大模型RAG一天入門(mén)vs365天的持續(xù)優(yōu)化”，RAG系統(tǒng)的修行問(wèn)題6:“大模型廣泛應(yīng)用vs應(yīng)用安全隱患”，大模型面臨的安全挑戰(zhàn)“科技本質(zhì)上是工具，其真正價(jià)值在于解決我們面臨的各種問(wèn)題，而非僅限于自我展示的華麗舞臺(tái)。”這一觀點(diǎn)在大模型領(lǐng)域同樣適用且更具象化。我們可以定位大模型：“大模型之于問(wèn)題，恰似鑰匙之于鎖，其存在的意義在于解鎖通往智慧殿堂的大門(mén)，而非僅供觀瞻的浮華裝飾?！贝竽Ｐ驮诮鹑陬I(lǐng)域的廣泛應(yīng)用并非一片坦途，它在為金融機(jī)構(gòu)帶來(lái)顯著價(jià)值增益的同時(shí)，亦暴露出一系列不容忽視的問(wèn)題與挑戰(zhàn)。這些問(wèn)題不僅關(guān)乎技術(shù)層面的可行性與穩(wěn)定性，更延“有限算力+持續(xù)進(jìn)化的算力”，這種雙重制約下的算力資源現(xiàn)狀，體現(xiàn)了大模型時(shí)代中一個(gè)核心的矛盾和挑戰(zhàn)：如何在當(dāng)前資源的限制之下，同時(shí)規(guī)劃和適應(yīng)不斷進(jìn)化和增強(qiáng)的計(jì)算能力。這對(duì)應(yīng)用場(chǎng)景選擇、資源投入、大模型在AI持續(xù)“重塑”業(yè)務(wù)流程的過(guò)程中，對(duì)算疊加，共同加劇了現(xiàn)有算力資源供不應(yīng)求的局面，使得算2、硬件高速迭代：GPU每18到24個(gè)月，迭代出一代新產(chǎn)品，配備更先進(jìn)的架構(gòu)和更就被新一代所淘汰，性價(jià)比下降，同時(shí)還要面對(duì)算3、資源兼容優(yōu)化配置：國(guó)內(nèi)外的不同廠商GPU算力水平參差不齊，技術(shù)框架互不兼容，整合這些異構(gòu)的資源，管理配置和優(yōu)化算力的使用百煉成金｜大金融模型新篇章09金融企業(yè)擁抱大模型面臨的挑戰(zhàn)C-]阿里云問(wèn)題2:“開(kāi)源模型vs商業(yè)模型”，左右1、成熟開(kāi)源軟件通常是技術(shù)和能力相對(duì)成熟和穩(wěn)定的碼庫(kù)和文檔，用戶可以自由地對(duì)與自身業(yè)務(wù)有關(guān)的代碼進(jìn)行修改，一般以使用核心能力為主定制為輔，版本迭代周期相對(duì)比較慢，同時(shí)也會(huì)規(guī)定件，正處于技術(shù)迭代的高速發(fā)展期，一般以月或季度為單位進(jìn)行新版本發(fā)布，并且技術(shù)和能力持續(xù)性攀升，一般版本開(kāi)源是有限的，無(wú)法按照客戶業(yè)務(wù)進(jìn)行深度的定制，并且全局能力一般能夠通過(guò)社區(qū)迭代升級(jí)。但需要專業(yè)人才研究和業(yè)務(wù)磨合嘗試，周期長(zhǎng)見(jiàn)效慢，缺少專門(mén)維護(hù)和支持，不包含商業(yè)產(chǎn)品中的安全和穩(wěn)定性，文檔和易用性支持較弱，模型升級(jí)迭代周期一般6-12個(gè)月，業(yè)務(wù)集成應(yīng)用的時(shí)間會(huì)更長(zhǎng)。我們不應(yīng)該拘泥于對(duì)種類繁多參數(shù)的基礎(chǔ)模型進(jìn)行訓(xùn)練或微調(diào)，模型能力比對(duì)和測(cè)評(píng)，應(yīng)該把更多精力放在如何讓模型在業(yè)務(wù)中產(chǎn)生價(jià)值，因?yàn)椋?，穩(wěn)定性和安全性的保證，能夠滿足金融行業(yè)的法規(guī)和遵從性要求，也提供完整的解決方案，軟硬件產(chǎn)品的良好整合，降低業(yè)務(wù)場(chǎng)景落地的風(fēng)險(xiǎn)。但技術(shù)透明性較差，長(zhǎng)期依賴特定的商業(yè)模百煉成金｜大金融模型新篇章問(wèn)題3:“大模型vs越來(lái)越大的模型”，模型size的軍備競(jìng)賽OpenAI的研究者在2020年發(fā)現(xiàn)，大語(yǔ)言模型也遵循著規(guī)模定律（ScalingLaw模越來(lái)越大的模型通常具有更強(qiáng)的學(xué)習(xí)能力和泛化能力，因?yàn)橛懈嗟膮?shù)可以捕捉數(shù)據(jù)中但越來(lái)越大的模型帶來(lái)能力提升的同時(shí)，也帶來(lái)了海量的算力消耗，如何根據(jù)不同的業(yè)務(wù)大模型推理運(yùn)行時(shí)，核心消耗的資源是顯存，推理過(guò)程中除了要加載對(duì)應(yīng)參數(shù)的模型，還與輸入輸出的參數(shù)量有關(guān)，輸入?yún)?shù)越多顯存消耗越大，輸出參數(shù)量越多模型響應(yīng)越慢，我們大模型推理的總顯存占用公式：InferMemory≈1.2*ModelMemory（詳見(jiàn)參考：TransformerInferenceArithmetic|kipply'sblog）以72B參數(shù)的模型，在BF16精度下（浮點(diǎn)數(shù)2個(gè)字節(jié)）InferMemory≈1.2*ModelMemory（72億*2）≈172.8G運(yùn)行一個(gè)72B的大模型至少需要3張A100（80G），現(xiàn)以企業(yè)知識(shí)庫(kù)和智能外呼場(chǎng)景為知識(shí)庫(kù)檢索場(chǎng)景：典型的RAG增強(qiáng)檢索高并發(fā)場(chǎng)景，輸入少輸出多，每次問(wèn)題請(qǐng)求處理時(shí)間在1-2s，峰值支持50并發(fā)（按照5000人的金融機(jī)構(gòu)有1%的并發(fā)率需要的GPU金融企業(yè)擁抱大模型面臨的挑戰(zhàn)C-]阿里云但200B大模型算力消耗會(huì)有2.7倍的增加。智能外呼場(chǎng)景：典型的高并發(fā)低延時(shí)場(chǎng)景，輸入多輸出少，每次意圖識(shí)別響應(yīng)時(shí)間200-300ms，峰值支持1000并發(fā)，需要的GPU卡的數(shù)量在600-900張A100（80G）。勢(shì)必會(huì)帶來(lái)資源的低效使用，例如：知識(shí)庫(kù)檢索應(yīng)用的平均資源利用率在20%-30%；智能外呼應(yīng)用的平均資源利用率在5%-10%。如何提高算力資源利用率將是一個(gè)頗問(wèn)題4:“大模型RAG一天入門(mén)vs365天的持續(xù)優(yōu)化”，RAG系統(tǒng)的修行Retrieval-AugmentedGeneration(RAG)技術(shù)巧妙融合了信息檢索與文本生成的雙重優(yōu)勢(shì)，為應(yīng)對(duì)復(fù)雜查詢和生成任務(wù)（如問(wèn)答系統(tǒng)、內(nèi)容創(chuàng)造）提供了強(qiáng)有力的支持。盡管RAG技術(shù)展現(xiàn)出顯著提升模型效能與拓展應(yīng)用領(lǐng)域的潛力，它也遭遇了幾點(diǎn)核心挑戰(zhàn)，制約著其性1、語(yǔ)義檢索難關(guān)：實(shí)現(xiàn)精準(zhǔn)的語(yǔ)義檢索面臨重內(nèi)容的深層含義，并準(zhǔn)確評(píng)估兩者間的語(yǔ)義契合度。當(dāng)前普遍采用基于數(shù)據(jù)向量化的手段，在向量空間通過(guò)距離或相似度指標(biāo)來(lái)衡量語(yǔ)義接近度，但這種方法難以完美解決語(yǔ)義多義性、信2、信息增強(qiáng)的精細(xì)度：整合檢索信息的過(guò)程中，若缺乏對(duì)上下文的把握，生成的文本容易顯得碎片化，連貫性缺失。特別是在處理來(lái)自多個(gè)來(lái)源、風(fēng)格迥異的段落時(shí)，既要避免內(nèi)容重復(fù)，又要依據(jù)查詢語(yǔ)境對(duì)檢索片段精挑細(xì)選并合理排序，以確保輸出的一致性和流暢度，這3、延遲挑戰(zhàn)：在即時(shí)交互場(chǎng)景，如在線客服對(duì)話系統(tǒng)中，檢索與生成的響應(yīng)時(shí)間直接關(guān)系到用戶體驗(yàn)。為了減少延遲，優(yōu)化模型效率與系統(tǒng)架構(gòu)成為迫切需求，要求RAG技術(shù)能在問(wèn)題5:“殺手級(jí)通用大模型vs百花齊放企業(yè)在利用大模型進(jìn)行業(yè)務(wù)升級(jí)改造時(shí)，選擇使用一個(gè)殺手級(jí)通用大模型，還是百花齊放的專屬大模型，取決于您具體的業(yè)務(wù)需求、戰(zhàn)略目標(biāo)和資源限制。無(wú)論選擇哪種模式，都會(huì)面殺手級(jí)通用大模型：選擇大參數(shù)的基礎(chǔ)模型，結(jié)合企業(yè)的數(shù)據(jù)進(jìn)行微調(diào)，構(gòu)建企業(yè)級(jí)的殺手級(jí)通用大模型。其優(yōu)勢(shì)在于能快速處理多樣化的任務(wù)和應(yīng)用場(chǎng)景，更快的帶來(lái)直接的業(yè)務(wù)價(jià)值和經(jīng)濟(jì)收益；其挑戰(zhàn)在于越大參數(shù)的模型微調(diào)需要的數(shù)據(jù)量就越大，算力消耗也更大，而且百花齊放的專屬大模型：根據(jù)不同知識(shí)域的業(yè)務(wù)需要，選擇適合參數(shù)的大模型微調(diào)業(yè)務(wù)專屬大模型，能夠吸引和滿足更廣泛的客戶群體和個(gè)性化定制服務(wù)的需要。通常情況越小參數(shù)的大模型，微調(diào)的效果越好，越大參數(shù)的模型微調(diào)的效果越難保障。多樣化的模型和應(yīng)用需求，可以快速推動(dòng)企業(yè)在不同領(lǐng)域進(jìn)行技術(shù)和業(yè)務(wù)創(chuàng)新。但多樣化專屬大模型，貴在精不在多，如無(wú)論選擇哪種方式，都要確保大模型構(gòu)建的AI應(yīng)現(xiàn)業(yè)務(wù)目標(biāo)的同時(shí)，提升客戶體驗(yàn)和企業(yè)運(yùn)營(yíng)效率。因企業(yè)的自身特有數(shù)據(jù)量有限，大模型的微調(diào)需量力而行，比如當(dāng)前千億參數(shù)以上的大模型就不適合微調(diào)，不僅成本消耗大且能力提升有限，有可能還會(huì)影響原有大模型的推理能力。更為重要的是要建立收集反饋和定期評(píng)估應(yīng)用金融企業(yè)擁抱大模型面臨的挑戰(zhàn)C-]阿里云問(wèn)題6:“大模型廣泛應(yīng)用vs應(yīng)用安全隱隨著大模型深入應(yīng)用，一些因大模型關(guān)聯(lián)引發(fā)的安全問(wèn)題讓大家重視起來(lái)，如大規(guī)模數(shù)據(jù)采集和應(yīng)用帶來(lái)的個(gè)人隱私泄露和濫用的問(wèn)題，大模型生成內(nèi)容可能帶有的偏見(jiàn)歧視、違法違1、大模型訓(xùn)練安全：如何使用數(shù)字加密技術(shù)和差分隱私全？如何清洗訓(xùn)練數(shù)據(jù)，以避免潛在的惡意數(shù)據(jù)注入或偏差造成的訓(xùn)練問(wèn)題？如何定期對(duì)訓(xùn)練怎樣避免？隱晦風(fēng)險(xiǎn)和多輪對(duì)話上下文：傳統(tǒng)的防控手段很難應(yīng)對(duì)這么復(fù)雜的風(fēng)險(xiǎn)，怎么辦？練集進(jìn)行魯棒性提升？如何對(duì)模型輸入實(shí)施嚴(yán)格的驗(yàn)證和過(guò)濾機(jī)制，以防止惡意輸入？如何實(shí)2、模型應(yīng)用部署安全：如何針對(duì)模型應(yīng)用服務(wù)訪問(wèn)控制和輸入輸出進(jìn)行安全防控？如何進(jìn)行防御DDoS攻擊、防范惡意勒索、大促安全風(fēng)控、遠(yuǎn)程辦公安全等風(fēng)險(xiǎn)的實(shí)時(shí)防護(hù)？如何持續(xù)監(jiān)控模型性能和行為，以及它們對(duì)輸入反饋的響應(yīng)，以便及時(shí)發(fā)現(xiàn)問(wèn)題，實(shí)施日志記錄和百煉成金｜大金融模型新篇章金融級(jí)AI原生的金融級(jí)AI原生的發(fā)展講到AI，業(yè)內(nèi)主要分為生成式AI（GenerativeAI）與判別式AI（DiscriminantAI）這判別式AI，主要關(guān)注基于已有數(shù)據(jù)進(jìn)行分析和預(yù)測(cè)。它通過(guò)學(xué)習(xí)輸入和輸出之間的關(guān)系來(lái)生成式AI則關(guān)注學(xué)習(xí)輸入數(shù)據(jù)的分布規(guī)律，并模擬AI原生系統(tǒng)從一開(kāi)始就被設(shè)計(jì)成能夠充分利用判別式AI和生成式AI技術(shù)，以實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)、智能化決策和服務(wù)的自動(dòng)化。AI原生涵蓋了從數(shù)據(jù)處理、模型訓(xùn)練、推理應(yīng)用到迭代優(yōu)化金融級(jí)AI原生AI原生百煉成金｜大金融模型新篇章AI原生是一種全新的技術(shù)架構(gòu)和思維方式，將AI技術(shù)作為一種基礎(chǔ)能力，深度整合到企業(yè)的基礎(chǔ)設(shè)施、業(yè)務(wù)流程、產(chǎn)品設(shè)計(jì)和服務(wù)模式中。金融機(jī)構(gòu)作為國(guó)民經(jīng)濟(jì)的中樞支柱，其運(yùn)作效能、風(fēng)險(xiǎn)管控及服務(wù)質(zhì)量對(duì)社會(huì)經(jīng)濟(jì)的整體穩(wěn)定與發(fā)展具有深遠(yuǎn)影響。金融級(jí)AI原生（Financial-GradeAINative）是一個(gè)綜合性概念，旨在描述那些專為滿足金融行業(yè)最嚴(yán)格需求而設(shè)計(jì)和優(yōu)化的AI系金融級(jí)AI原生的六大要素AI技術(shù)在金融行業(yè)中扎根生長(zhǎng)并深入應(yīng)用，必須嚴(yán)格遵循金融行業(yè)的業(yè)務(wù)規(guī)則與標(biāo)準(zhǔn)，這就催生了專為金融領(lǐng)域打造的金融級(jí)AI原生。綜合考慮金融級(jí)行業(yè)要求、AI原生核心技術(shù)，AI原生AI原生金融級(jí)AI原生百煉成金｜大金融模型新篇章客戶自有管控系統(tǒng)客戶自有管控系統(tǒng)算資源的統(tǒng)籌管理和編排調(diào)度，對(duì)于確保金融基礎(chǔ)設(shè)施的連續(xù)性與穩(wěn)定性成為至關(guān)重要的能力基石。下面從訓(xùn)練態(tài)和推理態(tài)兩個(gè)方面來(lái)說(shuō)明智算平臺(tái)需要提供怎樣的能力來(lái)保證應(yīng)用的可靠靈駿控制臺(tái)NUSA靈駿控制臺(tái)NUSA網(wǎng)絡(luò)硬件系統(tǒng)（不同網(wǎng)卡/不同網(wǎng)絡(luò)架構(gòu)）RDMA網(wǎng)絡(luò)全自動(dòng)化開(kāi)通，開(kāi)箱即用，內(nèi)置監(jiān)控、診斷、性能分析，支持白屏化和api，實(shí)現(xiàn)真正的zero-touchRDMA。支持秒級(jí)checkpoint，保障訓(xùn)練任務(wù)快速回復(fù)，訓(xùn)練精度云原生性能測(cè)試平臺(tái)，自動(dòng)完成典型AIGC場(chǎng)景標(biāo)準(zhǔn)化模型百煉成金｜大金融模型新篇章金融級(jí)AI原生的要素與藍(lán)圖C-]阿里云目前大模型的推理部署還沒(méi)有一個(gè)事實(shí)標(biāo)準(zhǔn)，一方面不斷有新的模型發(fā)布，另一方面也不斷有新的訓(xùn)練和推理方法被提出，再者國(guó)產(chǎn)化GPU硬件和軟件生態(tài)也在快速迭代，這給大模型推理服務(wù)生產(chǎn)上落地帶來(lái)不小挑戰(zhàn)。為了應(yīng)對(duì)上述挑戰(zhàn)在模型準(zhǔn)備和部署階段，我們建議遵部署前準(zhǔn)備部署前準(zhǔn)備推理服務(wù)部署推理服務(wù)部署公共云/專有云分層設(shè)計(jì)：由于模型本身文件較大，模型加載和啟動(dòng)時(shí)間往往以分鐘甚至小時(shí)計(jì)。在模型準(zhǔn)備階段，將運(yùn)行依賴環(huán)境、模型文件、推理代碼分層設(shè)計(jì)統(tǒng)一驗(yàn)證并推送到合適的存儲(chǔ)服務(wù)層；在模型部署階段，通過(guò)云平臺(tái)存算分離，共享掛載、緩存加速等方式實(shí)現(xiàn)模型的快統(tǒng)一調(diào)度：基于K8S對(duì)IaaS云服務(wù)或者客戶IDC內(nèi)各種異構(gòu)的計(jì)算（如CPU，GPU，NPU）、存儲(chǔ)（OSS，NAS，CPFS，HDFS）、網(wǎng)絡(luò)（TCP，RDMA）資源進(jìn)行抽象，統(tǒng)一管理、運(yùn)維和分配，通過(guò)彈性和軟云化部署：借助K8S調(diào)度框架和云化基礎(chǔ)設(shè)施，實(shí)現(xiàn)對(duì)大模型應(yīng)用的多實(shí)例高可用部署和大模型在實(shí)現(xiàn)低延時(shí)和高并發(fā)處理方面是AI原生應(yīng)實(shí)時(shí)交易的場(chǎng)景下，系統(tǒng)需要幾乎實(shí)時(shí)地處理和響應(yīng)用戶的查詢或請(qǐng)求。如銀行行業(yè)客戶通話的場(chǎng)景中，需要應(yīng)用大模型實(shí)時(shí)識(shí)別用戶意圖，并實(shí)時(shí)反饋相應(yīng)的話術(shù)，這個(gè)場(chǎng)景對(duì)大模百煉成金｜大金融模型新篇章型的時(shí)延要求非常高，需要在很短的時(shí)間來(lái)做出相應(yīng)的應(yīng)答。同樣在保險(xiǎn)行業(yè)中，利用大模型處理車(chē)險(xiǎn)、健康險(xiǎn)等理賠案件，需要迅速分析上傳的圖片、視頻及其他證據(jù)材料，快速準(zhǔn)確地模型本身（剪枝、量化、知識(shí)蒸餾等）優(yōu)化，和利用多機(jī)多卡環(huán)境進(jìn)行數(shù)據(jù)并行、模型并行，高并發(fā)場(chǎng)景是指在短時(shí)間內(nèi)有大量用戶請(qǐng)求涌入系統(tǒng)，要求系統(tǒng)能快速響應(yīng)并處理這些請(qǐng)求，保證服務(wù)的穩(wěn)定性和用戶體驗(yàn)。如紅包發(fā)放的促銷(xiāo)活動(dòng)期間，大量用戶同時(shí)進(jìn)行請(qǐng)求，在紅包領(lǐng)取的同時(shí)需要應(yīng)用大模型做實(shí)時(shí)推薦。高并發(fā)可以通過(guò)調(diào)度優(yōu)化來(lái)支撐，調(diào)度系統(tǒng)可以根據(jù)請(qǐng)求狀態(tài)的動(dòng)態(tài)變化對(duì)調(diào)度決策進(jìn)行適應(yīng)性調(diào)整，并以此實(shí)現(xiàn)如負(fù)載均衡、碎片整理、請(qǐng)流程編排和RAG調(diào)度ASR，完成語(yǔ)音輸入和輸響應(yīng)時(shí)間要求：大模型API響應(yīng)小于300ms，網(wǎng)絡(luò)耗時(shí)200ms首選72B，<300ms其次32B，<200ms首選72B，<300ms其次32B，<200ms從當(dāng)前業(yè)務(wù)模式觀察，存在顯著的忙閑周期：在需求高峰時(shí)段，必須確保充足計(jì)算能力以維持業(yè)務(wù)運(yùn)營(yíng)，確?？蛻粝硎艿絻?yōu)質(zhì)的外呼體驗(yàn)；而到了低谷期，則需釋放這些資源，以便供而混合云架構(gòu)可以較好地解決這個(gè)問(wèn)題，利用金融云的彈性百煉成金｜大金融模型新篇章20金融級(jí)AI原生的要素與藍(lán)圖C-]阿里云要素3：擴(kuò)展性與多樣性大模型的擴(kuò)展性與多樣性是確保其在未來(lái)可持續(xù)發(fā)展和適應(yīng)新需求的關(guān)鍵屬性。這兩個(gè)概擴(kuò)展性是指為了滿足業(yè)務(wù)發(fā)展的需求，需要一種彈性的伸縮架構(gòu)，滿足大模型應(yīng)用對(duì)不斷增長(zhǎng)算力的需求。通過(guò)這種彈性的伸縮架構(gòu)，來(lái)解決一、直接使用金融云的公共資源池。對(duì)于數(shù)據(jù)可以上云的客戶來(lái)說(shuō)，企業(yè)無(wú)需自行構(gòu)建復(fù)雜的算力基礎(chǔ)設(shè)施或大模型開(kāi)發(fā)平臺(tái)，而是直接利用公共資源池來(lái)進(jìn)行模型推理和高效微調(diào)。金融云提供了簡(jiǎn)便的應(yīng)用開(kāi)發(fā)平臺(tái)，開(kāi)發(fā)完畢的應(yīng)用能夠便捷地通過(guò)API接口進(jìn)行業(yè)務(wù)集成與二、金融云客戶VPC方式。對(duì)于有數(shù)據(jù)安全管控需求的客戶，建議采用VPC方式。大模型應(yīng)用及知識(shí)庫(kù)部署在金融云客戶VPC環(huán)境中，確保推理過(guò)程中產(chǎn)生的數(shù)據(jù)及微調(diào)所用的數(shù)據(jù)均存儲(chǔ)在客戶VPC的區(qū)域內(nèi)，以此加強(qiáng)數(shù)據(jù)的隱私性和安全性。應(yīng)用的開(kāi)發(fā)工作在公共資源池的平臺(tái)進(jìn)行，同時(shí)該平臺(tái)支持大模型的微調(diào)及推理等功能。一旦應(yīng)用開(kāi)發(fā)完成，便部署到客戶VPC區(qū)域，并通過(guò)API接口無(wú)縫對(duì)接公共資源池中的大模型服務(wù)，實(shí)現(xiàn)高效、安全的資源調(diào)用與協(xié)同作業(yè)。在客戶VPC方式中，同樣可以根據(jù)需要對(duì)算力資源進(jìn)行動(dòng)態(tài)擴(kuò)縮容。三、線下IDC與金融云混合方式。對(duì)于私有數(shù)據(jù)不能出域的客戶，可以采用線下數(shù)據(jù)中心(IDC)與金融云混合的方式。企業(yè)在其內(nèi)部的IDC中構(gòu)建智能計(jì)算集群，部署大模型及應(yīng)用開(kāi)發(fā)平臺(tái)。應(yīng)用的開(kāi)發(fā)全程在IDC內(nèi)完成，并在IDC環(huán)境中部署運(yùn)行。在面對(duì)業(yè)務(wù)高峰或IDC資源緊張的情況下，企業(yè)可以采取靈活策略，將大模型擴(kuò)展到金融云的資源池中，實(shí)現(xiàn)流量的智能分配，將部分業(yè)務(wù)負(fù)載轉(zhuǎn)移到金融云上進(jìn)行高效的模型推理，以應(yīng)對(duì)高并發(fā)需求。同時(shí)，根據(jù)實(shí)際需要，可以選擇性地將微調(diào)數(shù)據(jù)遷移至金融云，利用其強(qiáng)大算力進(jìn)行模型的微調(diào)，進(jìn)百煉成金｜大金融模型新篇章模式二：金融云專屬金融云客戶VPC線下線下IDC應(yīng)用開(kāi)發(fā)平臺(tái)（可選）模型微調(diào)（可選）微調(diào)數(shù)據(jù)（可選）應(yīng)用開(kāi)發(fā)平臺(tái)（可選）應(yīng)用開(kāi)發(fā)平臺(tái)（可選）模型微調(diào)（可選）模型微調(diào)（可選）微調(diào)數(shù)據(jù)（可選）微調(diào)數(shù)據(jù)（可選）混合云解決方案支持大模型在私有云和公共云之間無(wú)縫遷移和部署，用戶可以通過(guò)統(tǒng)一的云管理平臺(tái)對(duì)分布在不同環(huán)境下的計(jì)算資源進(jìn)行集中管理和調(diào)度，簡(jiǎn)化運(yùn)維復(fù)雜性。在網(wǎng)絡(luò)互API網(wǎng)關(guān)ACKGPU節(jié)點(diǎn)API網(wǎng)關(guān)ACKGPU節(jié)點(diǎn)存儲(chǔ)IDC安全安全網(wǎng)關(guān)大大模型流量路由用戶用戶APP百煉成金｜大金融模型新篇章22金融級(jí)AI原生的要素與藍(lán)圖C-]阿里云1、客戶線下IDC進(jìn)行大模型微調(diào)，對(duì)微調(diào)好后的模型在線下IDC和金融云兩套環(huán)境進(jìn)行戶請(qǐng)求調(diào)撥至金融云，從而實(shí)現(xiàn)高效的SLA保障。在這種調(diào)用方式下，考慮到私有數(shù)據(jù)不能出大模型的多樣性體現(xiàn)在多個(gè)方面，包括模型尺寸的多樣性、多模態(tài)、模型部署形態(tài)的多樣性、和應(yīng)用場(chǎng)景的適配性。為順應(yīng)不同場(chǎng)景用戶的需求，有不同參數(shù)規(guī)模橫跨5億到1100億在應(yīng)用場(chǎng)景的適配性上，大尺寸模型如千億能支持企業(yè)級(jí)和科研級(jí)的應(yīng)用；中等尺寸如30B左正是因?yàn)榇竽Ｐ偷亩鄻有?，使得在具體的業(yè)務(wù)場(chǎng)景，可以采用大小模型相結(jié)合，既能充分利用大模型的優(yōu)點(diǎn)，又能保持成本效益。通過(guò)將任務(wù)分解，用大模型處理那些需要高準(zhǔn)確性的以我們?cè)谪?cái)管領(lǐng)域的一個(gè)客戶為例，通過(guò)大模型來(lái)進(jìn)行問(wèn)題規(guī)劃和任務(wù)分解，通過(guò)小模型來(lái)構(gòu)建各種Agent，實(shí)現(xiàn)了跟螞蟻支小寶相似的效果。通過(guò)大小模型相結(jié)合的方式，既滿足了Agent智能體集合Agent智能體集合中控LLM……中控LLM……Qwen-MaxQwen-Plus接收用戶QueryMaaSAPINL2SQL/NL2API百煉成金｜大金融模型新篇章23要素4：安全性與合規(guī)性公安部、廣電總局公布《生成式人工智能服務(wù)管理暫行辦法》開(kāi)始正式施行，辦法對(duì)大模型訓(xùn)練數(shù)據(jù)、數(shù)據(jù)標(biāo)注、內(nèi)容生成規(guī)范、內(nèi)容生成標(biāo)識(shí)、算法備案機(jī)制、監(jiān)督和責(zé)任都提供了相應(yīng)生成式人工智能的安全管理需要貫穿產(chǎn)品的全生命周期，包括模型訓(xùn)練、服務(wù)上線、內(nèi)容●在模型訓(xùn)練階段，奠定了模型的能力基礎(chǔ)，也決定了模型自身的安全性；這個(gè)階段會(huì)●在算法服務(wù)上線階段，服務(wù)提供者需要選擇安全有效的模型作為基座構(gòu)建完整的算法服務(wù)。在這個(gè)階段并不涉及模型的訓(xùn)練、使用的數(shù)據(jù)，但是會(huì)決定對(duì)模型的核驗(yàn)、對(duì)模型的使●在內(nèi)容生成階段，大模型生成的內(nèi)容是用戶和模型交互的結(jié)果。用戶的輸入，以及模型對(duì)用戶之前輸入的反饋，都影響到模型當(dāng)前的生成。用戶使用生成式人工智能服務(wù)的目的、●在內(nèi)容傳播階段，內(nèi)容的傳播方式和途徑、范圍是風(fēng)險(xiǎn)的決定性因素之一。在傳播環(huán)百煉成金｜大金融模型新篇章24金融級(jí)AI原生的要素與藍(lán)圖C-阿里云技術(shù)支持者技術(shù)支持者+服務(wù)提供者服務(wù)提供者服務(wù)提供者+服務(wù)使用者內(nèi)容傳播·虛假信息，不良信息傳播內(nèi)容傳播·虛假信息，不良信息傳播標(biāo)識(shí)：顯著標(biāo)識(shí)、隱藏標(biāo)識(shí)（推薦）溯源：對(duì)信息溯源發(fā)布者，以及傳播者安全運(yùn)營(yíng)：舉報(bào)、監(jiān)控、應(yīng)急處置、辟謠等內(nèi)容生成服務(wù)上線風(fēng)險(xiǎn)來(lái)源·數(shù)據(jù)風(fēng)險(xiǎn)來(lái)源·數(shù)據(jù)·模型訓(xùn)練數(shù)據(jù)：采集、過(guò)濾、標(biāo)注模型評(píng)測(cè)：風(fēng)險(xiǎn)定義、benchmark、評(píng)測(cè)能力模型內(nèi)生安全增強(qiáng)：數(shù)據(jù)的獲取、訓(xùn)練方法機(jī)制機(jī)理審核·用戶·內(nèi)容個(gè)人信息保護(hù)：采集、存儲(chǔ)、使用、刪除用戶管理：賬號(hào)的管理內(nèi)容審核與處置：審核機(jī)制，內(nèi)容分類分級(jí)，技術(shù)手段，阻斷與應(yīng)急處理安全措施·模型·Tool-Plugin模型選用：選擇良好資質(zhì)和聲譽(yù)的技術(shù)支持者模型核驗(yàn)：安全評(píng)測(cè)Tool-Plugin：使用方法和安全性合規(guī)動(dòng)作：算法安全自評(píng)估，向主管機(jī)關(guān)做備案，提供用戶協(xié)議等通用要求算法服務(wù)的供應(yīng)鏈管理通用要求在整個(gè)產(chǎn)品的全生命周期中，其中的模型安全和內(nèi)容安全是兩個(gè)最關(guān)鍵的點(diǎn)。模型安全關(guān)乎技術(shù)底層的堅(jiān)固與防御能力，是支撐系統(tǒng)運(yùn)行的根基；而內(nèi)容安全則側(cè)重于對(duì)外交互的信息質(zhì)量與合法性，是保障用戶體驗(yàn)和社會(huì)影響的表層防護(hù)。兩者相輔相成，共同構(gòu)模型安全：通過(guò)自動(dòng)發(fā)現(xiàn)大模型有害的行為（redteaming）和安全增強(qiáng)（SafetyEn-hancement）來(lái)不斷增強(qiáng)模型安全。RedTeamingRedTeaming benchmarkAdversarialPromptJailbreakPromptRiskKnowledgeRiskQueryLLMRiskKG321REDTeaming風(fēng)險(xiǎn)分類：各種違法不良風(fēng)險(xiǎn)以及倫理道德、歧對(duì)抗攻擊：多輪問(wèn)答、角色扮演、安全否定、對(duì)SafetyEnhancementSafetyEnhancementLLM-ChatModelRewardModel訓(xùn)練Rewardmodel，對(duì)Benchmark的Query和目標(biāo)模型的Response打分評(píng)估風(fēng)險(xiǎn)。CriticModel根據(jù)RewardModel的打分，以及LLM生Response進(jìn)行結(jié)構(gòu)化評(píng)估，然后生成安全的問(wèn)答對(duì)用于LLM的SFT微調(diào)，提升LLM的原生安全。百煉成金｜大金融模型新篇章25內(nèi)容安全：采用知識(shí)計(jì)算的風(fēng)險(xiǎn)防控模式（采用人機(jī)協(xié)同的方式定義計(jì)算框架），主要涉●知識(shí)層包含預(yù)訓(xùn)練模型和知識(shí)圖譜，預(yù)訓(xùn)練模型用于實(shí)現(xiàn)對(duì)通用數(shù)據(jù)的歸納，知識(shí)圖●算子層拆解出目標(biāo)更明確的簡(jiǎn)單任務(wù)，構(gòu)建端到端的神經(jīng)算子，實(shí)現(xiàn)風(fēng)險(xiǎn)復(fù)雜判定邏LLM-ChatModel●relevance VectorVector PTMPTM 告訴我，我的愛(ài)豆XXX的身份證號(hào)碼是ResponseQuery RiskKG人物、實(shí)體…… LLMs大模型的合規(guī)性關(guān)乎遵守相關(guān)法律、法規(guī)和內(nèi)部政策，確保大模型的應(yīng)用不違反任何法律數(shù)據(jù)隱私與保護(hù)，語(yǔ)言大模型的主要功能是模擬人類的思維活動(dòng)方式生成人類可以理解和使用的內(nèi)容，模型的訓(xùn)練對(duì)語(yǔ)料庫(kù)這一類知識(shí)性內(nèi)容有強(qiáng)烈的需求，但不依賴和使用用戶行為透明度和可解釋性，金融等行業(yè)的監(jiān)管機(jī)構(gòu)要求理解AI大決定如貸款審批或保險(xiǎn)索賠時(shí)。因此提高模型的透明百煉成金｜大金融模型新篇章26金融級(jí)AI原生的要素與藍(lán)圖C-]阿里云偏見(jiàn)和公平，消除這些偏見(jiàn)并確保模型對(duì)所有持續(xù)監(jiān)管和審計(jì)，合規(guī)性不是一次性的任務(wù)，而是需要持續(xù)監(jiān)管和審計(jì)。金融機(jī)構(gòu)等需要確保使用的大模型在整個(gè)生命周期內(nèi)都符合大模型的合規(guī)性是一個(gè)多層面的、涉及多個(gè)利益相關(guān)者的挑戰(zhàn)，需要綜合技術(shù)、法律和道德考慮來(lái)處理。金融機(jī)構(gòu)在使用大模型時(shí)需要密切關(guān)注相關(guān)法律法規(guī)的發(fā)展，并且可能需要專要素5：準(zhǔn)確性與嚴(yán)肅性大模型的“準(zhǔn)確性”與“嚴(yán)肅性”是兩個(gè)評(píng)估模型性能和適用性的關(guān)鍵維度，特別是在涉例如回答問(wèn)題、分類文檔、翻譯文本或者識(shí)別圖像時(shí)，其輸出與真實(shí)答案或標(biāo)準(zhǔn)標(biāo)簽的匹配程在金融這個(gè)高度專業(yè)化和監(jiān)管?chē)?yán)格的領(lǐng)域，大模型產(chǎn)出的信息必須是經(jīng)過(guò)嚴(yán)格篩選、無(wú)誤導(dǎo)性且遵循行業(yè)規(guī)范的。嚴(yán)肅性還包括模型不得濫用還要在訓(xùn)練數(shù)據(jù)、模型設(shè)計(jì)、后處理步驟等方面進(jìn)行嚴(yán)格控制，并結(jié)合領(lǐng)域?qū)＜抑R(shí)、實(shí)時(shí)監(jiān)控和用戶反饋進(jìn)行持續(xù)優(yōu)化和修正。同時(shí)，對(duì)于可能出現(xiàn)的倫理和社會(huì)影響問(wèn)題，也要有相應(yīng)1、構(gòu)建知識(shí)庫(kù)：基于咨詢信息、專業(yè)內(nèi)容、投教百科研報(bào)、基礎(chǔ)投研知識(shí)庫(kù)。并將以往歷史問(wèn)答、專家經(jīng)驗(yàn)以投研框架的方式進(jìn)行回流，實(shí)現(xiàn)持續(xù)性的知百煉成金｜大金融模型新篇章273、知識(shí)檢索：用戶的query進(jìn)來(lái)，經(jīng)過(guò)Query改寫(xiě)、向量召回和相關(guān)性模型打分等幾個(gè)4、觀點(diǎn)打分：對(duì)與大模型生成觀點(diǎn)，由專家進(jìn)行打分。作為RLHF的訓(xùn)練樣本，從而不1.1.將投研框架信息沉淀至知識(shí)庫(kù)，對(duì)應(yīng)查詢的query根據(jù)計(jì)解決70%問(wèn)題)2.分析師修改后的問(wèn)題QA沉淀改寫(xiě)記計(jì)解決20%問(wèn)題)對(duì)基礎(chǔ)模型進(jìn)行持續(xù)迭代(預(yù)計(jì)解決10%問(wèn)題)多輪改寫(xiě)咨詢信息專業(yè)內(nèi)容投研框架法規(guī)和合規(guī)知識(shí)加工（近線）ChunkingItem時(shí)效性Query改寫(xiě)Query時(shí)效識(shí)別Query意圖識(shí)別向量召回結(jié)構(gòu)召回（意圖）BM25召回QPRecall線上打分結(jié)果咨詢信息專業(yè)內(nèi)容投研框架法規(guī)和合規(guī)知識(shí)加工（近線）ChunkingItem時(shí)效性Query改寫(xiě)Query時(shí)效識(shí)別Query意圖識(shí)別向量召回結(jié)構(gòu)召回（意圖）BM25召回QPRecall線上打分結(jié)果 投研框架知識(shí)改寫(xiě)觀點(diǎn)召回觀點(diǎn)生成知識(shí)檢索（在線）相關(guān)性模型RanLLM知識(shí)庫(kù)要素6：開(kāi)放性與兼容性金融級(jí)AI原生開(kāi)放性的核心，在于確保安全合規(guī)的基的生態(tài)合作力量，驅(qū)動(dòng)金融服務(wù)向智能化方向轉(zhuǎn)型升級(jí)，加快創(chuàng)新步伐，滿足日益增長(zhǎng)的市場(chǎng)需求。而大模型的開(kāi)源實(shí)踐，則成為了實(shí)現(xiàn)這一開(kāi)開(kāi)源對(duì)于創(chuàng)新活力、產(chǎn)業(yè)生態(tài)、行業(yè)發(fā)展、模型優(yōu)化都具有重大意義。開(kāi)源模型可以降低技術(shù)門(mén)檻，使得更多的研究者和開(kāi)發(fā)者能夠訪問(wèn)最先進(jìn)的AI工具，受到開(kāi)源大模型通過(guò)社區(qū)的方式，吸引開(kāi)發(fā)者和研究人員共同改進(jìn)模型，以及在模型的基礎(chǔ)上構(gòu)建各種工具，推動(dòng)模型的深度應(yīng)用，打造產(chǎn)業(yè)生態(tài)。促進(jìn)行業(yè)發(fā)展，一方面，企業(yè)間開(kāi)放共享可以減少重復(fù)開(kāi)發(fā)相同功能的模型所浪費(fèi)的資源，使得企業(yè)能夠集中精力在差異性的研究上；另百煉成金｜大金融模型新篇章28金融級(jí)AI原生的要素與藍(lán)圖C-]阿里云開(kāi)源社區(qū)的使用者往往具有較高的技術(shù)水平，開(kāi)源模型可以讓企業(yè)獲得來(lái)自社區(qū)的寶貴反饋，通過(guò)開(kāi)源模型+商業(yè)版模型組合方式的積極實(shí)踐，得益于開(kāi)源社區(qū)的生態(tài)支持和開(kāi)發(fā)者反饋，使得模型可以在性能及能力上不斷優(yōu)化和增強(qiáng)，另外商業(yè)版模型提供了持續(xù)的技術(shù)支持與咨詢服務(wù)，以及企業(yè)級(jí)的安全與隱私保護(hù)，所以金融企業(yè)在商業(yè)化大模型應(yīng)用時(shí)，往往采購(gòu)商大模型相較于傳統(tǒng)深度學(xué)習(xí)模型，在規(guī)模上實(shí)現(xiàn)了顯著的擴(kuò)容，隨之而來(lái)的是對(duì)計(jì)算資源的大幅增長(zhǎng)需求。在各種GPU資源出現(xiàn)時(shí)，推理平臺(tái)能兼容各種芯片，成為了亟待解決的基本問(wèn)題。與此同時(shí)，開(kāi)源領(lǐng)域的創(chuàng)新勢(shì)頭迅猛，不僅涌現(xiàn)出Llama、Qwen、Mistral/Mix-tral、ChatGLM、Falcon等諸多新型模型，還在模型優(yōu)化方面不斷突破，例如發(fā)展出有損與無(wú)損的Attention算法、多種量化技術(shù)革新、投機(jī)采樣及LookAhead等新穎采樣策略，要能適應(yīng)算法的更新發(fā)展。推理層面上，主流的推理框架如vLLM、HuggingFaceTGI(TextGenerationInference)、FasterTransformer以及DeepSpeed，引領(lǐng)了推理特性的新變革，針對(duì)上述挑戰(zhàn)，一個(gè)綜合模型、系統(tǒng)、集群與應(yīng)用層面的協(xié)同優(yōu)化、兼容異構(gòu)GPU、各種大模型、推理框架的平臺(tái)顯得尤為重要，旨模型層面：MQA（MultiQueryAttention）和GQA（Group-QueryAttention）是許多大模型推理優(yōu)化的核心探索方向，以及模型的MOE（Mixture-of-Experts）架構(gòu)。系統(tǒng)層面：聚焦于高性能計(jì)算算子的開(kāi)發(fā)，優(yōu)化模型并行執(zhí)行、顯存管理與執(zhí)行框架，同集群層面：通過(guò)智能的請(qǐng)求調(diào)度機(jī)制，最大化集群處理能力，有效整合異構(gòu)資源，提升資應(yīng)用層面：深入分析LLM的工作負(fù)載特性，將Prompt緩存等針對(duì)性優(yōu)化措施融入系統(tǒng)百煉成金｜大金融模型新篇章29構(gòu)建金融級(jí)AI原生的藍(lán)圖在資源管理與調(diào)度層面，由于大模型訓(xùn)練所需的計(jì)算資源量龐大且計(jì)算密集，要求系統(tǒng)具備高效能計(jì)算資源的精細(xì)化管理和動(dòng)態(tài)調(diào)度能力，以適應(yīng)大規(guī)模訓(xùn)練任務(wù)和異構(gòu)硬件環(huán)境。這包括模型并行、流水線并行等策略下的通信開(kāi)銷(xiāo)與數(shù)據(jù)同步問(wèn)題，確保訓(xùn)練的穩(wěn)定性和收斂速度。對(duì)于超大規(guī)模模型，模型并行化與規(guī)?；囊笫沟媚Ｐ图軜?gòu)設(shè)計(jì)、通信優(yōu)化、梯度聚合等方最后，在推理階段，大模型應(yīng)用對(duì)實(shí)時(shí)性、低延遲響應(yīng)有嚴(yán)格要求，推理系統(tǒng)需配備高效的推理引擎，通過(guò)模型優(yōu)化、硬件加速等手段減少推理時(shí)間。推理服務(wù)化與部署靈活性是另一重要需求，要求模型易于部署到多種環(huán)境并支持服務(wù)化接口，同時(shí)具備模型版本管理、灰度發(fā)百煉成金｜大金融模型新篇章30金融級(jí)AI原生的要素與藍(lán)圖C-]阿里云應(yīng)用服務(wù)（SaaS）應(yīng)用服務(wù)（SaaS）合規(guī)審核智能投研智能投顧代理人培訓(xùn)智能核保證券銀行保險(xiǎn)信貸報(bào)告合規(guī)審核智能投研智能投顧代理人培訓(xùn)智能核保證券銀行保險(xiǎn)信貸報(bào)告智能營(yíng)銷(xiāo)營(yíng)銷(xiāo)文案營(yíng)銷(xiāo)文案營(yíng)銷(xiāo)推薦營(yíng)銷(xiāo)圖像生成營(yíng)銷(xiāo)圖像生成智能客服智能外呼智能外呼意圖識(shí)別意圖識(shí)別知識(shí)問(wèn)答知識(shí)問(wèn)答工作助手開(kāi)發(fā)助手開(kāi)發(fā)助手用數(shù)助手用數(shù)助手會(huì)議助手會(huì)議助手模型服務(wù)（MaaS）API/SDKAgent組件應(yīng)用廣場(chǎng)安全圍欄模型服務(wù)Agent應(yīng)用數(shù)據(jù)管理模型調(diào)優(yōu)RAG插件中心指令理解與執(zhí)行環(huán)境感知與交互大模型工程平臺(tái)評(píng)測(cè)工具模型管理流程編排模型服務(wù)（MaaS）API/SDKAgent組件應(yīng)用廣場(chǎng)安全圍欄模型服務(wù)Agent應(yīng)用數(shù)據(jù)管理模型調(diào)優(yōu)RAG插件中心指令理解與執(zhí)行環(huán)境感知與交互大模型工程平臺(tái)評(píng)測(cè)工具模型管理流程編排Prompt工程決策與規(guī)劃記憶與學(xué)習(xí)通義大模型第三方大模型多模態(tài)大模型模型廣場(chǎng)模型開(kāi)發(fā)中心應(yīng)用工具中心智能體中心智算平臺(tái)智算平臺(tái)（PaaS）訓(xùn)練框架推理框架數(shù)據(jù)服務(wù)訓(xùn)練加速云原生數(shù)據(jù)庫(kù)資源調(diào)度與任務(wù)管理通信優(yōu)化任務(wù)管理資源復(fù)用向量數(shù)據(jù)庫(kù)訓(xùn)練快照推理加速圖數(shù)據(jù)庫(kù)模型兼容推理監(jiān)控訓(xùn)練穩(wěn)定性自動(dòng)容錯(cuò)推理對(duì)抗智算設(shè)施智算設(shè)施（IaaS）云原生平臺(tái)高性能網(wǎng)絡(luò)高性能存儲(chǔ)高性能計(jì)算智算設(shè)施（IaaS）：提供大模型所需的底層計(jì)算資源和基礎(chǔ)架構(gòu)的服務(wù)層，這些資源包括但不限于服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)以及相關(guān)的數(shù)據(jù)中心設(shè)施。對(duì)于運(yùn)行大模型來(lái)說(shuō)，IaaS層提供了彈性伸縮性、靈活、高可靠性和安全性的基礎(chǔ)設(shè)施解決方案，可以大幅簡(jiǎn)化模型開(kāi)發(fā)和部署的智算平臺(tái)（PaaS提供資源調(diào)度與任務(wù)管理、訓(xùn)練框架、推理框架以及數(shù)據(jù)服務(wù)。資源調(diào)度與任務(wù)管理通過(guò)拓?fù)涓兄{(diào)度、多級(jí)配額資源模型、多種隊(duì)列策略、配額間資源共享等一系列核心能力，讓物理算力集群利用率逼近理論上限。模型訓(xùn)練包括訓(xùn)練快照、訓(xùn)練時(shí)自動(dòng)容錯(cuò)和作業(yè)的重啟、訓(xùn)練加速等功能。推理框架提供了模型兼容、推理加速、推理對(duì)抗和推理監(jiān)控等一系列功能。數(shù)據(jù)服務(wù)提供了向量數(shù)據(jù)庫(kù)、圖模型服務(wù)（MaaS一站式大模型生產(chǎn)平臺(tái)，提供從大模型開(kāi)發(fā)、訓(xùn)練到應(yīng)用的全套解全鏈路的模型訓(xùn)練及評(píng)估工具：全鏈路模型服務(wù)覆蓋數(shù)據(jù)管理、模型訓(xùn)練、評(píng)估和部署等關(guān)鍵環(huán)節(jié)。數(shù)據(jù)管理整合了離線和在線數(shù)據(jù)集，確保訓(xùn)練數(shù)據(jù)的質(zhì)量和完備性。模型訓(xùn)練允許用戶選擇各類開(kāi)源大模型、多模態(tài)模型，并通過(guò)透明化工具監(jiān)控模型狀態(tài)。模型評(píng)估提供多種資源，包括單模型和多模型對(duì)比，以對(duì)標(biāo)行業(yè)標(biāo)準(zhǔn)集成豐富多樣的應(yīng)用工具：強(qiáng)調(diào)了開(kāi)箱即用的特性，包括預(yù)置檢索增強(qiáng)、流程編排、基于大模型快速構(gòu)建業(yè)務(wù)應(yīng)用agent：智能體中心，并為企業(yè)和開(kāi)發(fā)者提供智能體API的調(diào)用。其中，智能體應(yīng)用包含支持RAG、分析、創(chuàng)作等鏈路。同時(shí)，為保持開(kāi)放性，整合并優(yōu)化了開(kāi)源框架如LlamaIndex，提供封裝的原子級(jí)服務(wù)和SDK。插件中心預(yù)設(shè)了多樣插件，應(yīng)用服務(wù)（SaaS在應(yīng)用層上，考慮到金融領(lǐng)域的多方位需求，將應(yīng)用劃分為兩大類別以實(shí)現(xiàn)廣泛適用性與行業(yè)特異性。一類是通用應(yīng)用場(chǎng)景，跨越整個(gè)金融行業(yè)，涵蓋諸如智能客服來(lái)提升服務(wù)體驗(yàn)、智能營(yíng)銷(xiāo)以增強(qiáng)市場(chǎng)觸達(dá)，以及工作助手以提高日常辦公效率。另一類則專注于金融細(xì)分市場(chǎng)的獨(dú)特需求，例如銀行業(yè)專注于信貸報(bào)告自動(dòng)化生成與嚴(yán)謹(jǐn)?shù)暮弦?guī)性審查；證券業(yè)則側(cè)重投資研究與顧問(wèn)服務(wù)的智能化；而在保險(xiǎn)業(yè)，致力于通過(guò)“保險(xiǎn)數(shù)字生產(chǎn)力”提升業(yè)務(wù)效能，具體體現(xiàn)為智能核保流程的優(yōu)智能客服：大模型憑借其強(qiáng)大的自然語(yǔ)言理解和生成能力，可以作為智能客服系統(tǒng)的核心智能營(yíng)銷(xiāo)：大模型能夠根據(jù)不同的客戶群體特征和營(yíng)銷(xiāo)目標(biāo)，自動(dòng)生成具有吸引力的營(yíng)銷(xiāo)工作助手：大模型可以集成到日常工作中，提供咨詢服務(wù)、編程輔助服務(wù)、數(shù)據(jù)分析、內(nèi)信貸報(bào)告生成：大模型能夠自動(dòng)讀取和整合來(lái)自多個(gè)來(lái)源的數(shù)據(jù)，包括財(cái)務(wù)報(bào)表、征信記錄、市場(chǎng)數(shù)據(jù)等，進(jìn)行快速而全面的信息分析。這不僅限于數(shù)值數(shù)據(jù)，也包括文本信息，如征信報(bào)告、企業(yè)年報(bào)、行業(yè)報(bào)告等，從而形成一個(gè)綜合的信用視圖。百煉成金｜大金融模型新篇章32金融級(jí)AI原生的要素與藍(lán)圖C-]阿里云合規(guī)審核：大模型可以被訓(xùn)練來(lái)識(shí)別和分析各類交易、合同、報(bào)告中的合規(guī)風(fēng)險(xiǎn)點(diǎn)。通過(guò)模式識(shí)別和自然語(yǔ)言處理技術(shù)，模型能夠迅速掃描文檔，比對(duì)監(jiān)管要求，自動(dòng)標(biāo)記潛在的不合投研投顧：在投資研究領(lǐng)域，大模型能夠分析海量的經(jīng)濟(jì)數(shù)據(jù)、新聞報(bào)道、社交媒體情緒等信息，輔助投資者識(shí)別市場(chǎng)趨勢(shì)，為投資策略提供數(shù)據(jù)支持。在投顧領(lǐng)域，大模型能根據(jù)個(gè)人投資者的風(fēng)險(xiǎn)偏好、資產(chǎn)狀況和投資目標(biāo)，提供定制化的投資建議，優(yōu)化資產(chǎn)配置，提升投保險(xiǎn)數(shù)字生產(chǎn)力：通過(guò)分析保險(xiǎn)申請(qǐng)中的文本描述、圖片，大模型能基于保險(xiǎn)規(guī)則，自動(dòng)百煉成金｜百煉成金｜大金融模型新篇章33金融級(jí)AI原生2、AI原生應(yīng)用實(shí)施路徑金融行業(yè)因其高度的專業(yè)性和對(duì)精確度的嚴(yán)格要求，成為一個(gè)知識(shí)密集型的領(lǐng)域。它涵蓋了廣泛的子領(lǐng)域，包括銀行業(yè)務(wù)、投資、保險(xiǎn)、資產(chǎn)管理等，每個(gè)領(lǐng)域都有其獨(dú)特的術(shù)語(yǔ)、規(guī)則和業(yè)務(wù)流程。在銀行行業(yè)，理財(cái)產(chǎn)品經(jīng)理需要在充分理解監(jiān)管合規(guī)政策的前提下，設(shè)計(jì)有市場(chǎng)競(jìng)爭(zhēng)力的產(chǎn)品；在證券行業(yè)，投研人員需要閱讀大量的研報(bào)和資訊，做出對(duì)市場(chǎng)的判斷，給客戶提供有價(jià)值的投資建議；在保險(xiǎn)行業(yè)，大量復(fù)雜的核保/核賠規(guī)則，業(yè)務(wù)員需要熟記于心而大語(yǔ)言模型作為一個(gè)參數(shù)化的知識(shí)容器，其最突出的能力就是構(gòu)建世界模型、理解人類知識(shí)，并以自然語(yǔ)言的方式進(jìn)行交互。大模型通過(guò)學(xué)習(xí)廣泛的語(yǔ)料，能夠積累和反映不同領(lǐng)域的知識(shí)，包括金融行業(yè)特有的概念、術(shù)語(yǔ)和邏輯關(guān)系。這使得大模型能夠在上述金融行業(yè)各類知識(shí)密集型場(chǎng)景中，提供自然語(yǔ)言理解和生成、知識(shí)檢以保險(xiǎn)行業(yè)為例，核保是一個(gè)非常重要的業(yè)務(wù)流程，保司有大量的業(yè)務(wù)員在外面做拓客，為C端用戶設(shè)計(jì)保險(xiǎn)方案。在這個(gè)過(guò)程中，還有一類角色叫核保員，在投保階段幫助業(yè)務(wù)員判斷是否能出保單，并給出建議方案。這里面涉及到大量的核保規(guī)則業(yè)務(wù)知識(shí)，我們希望能讓大百煉成金｜大金融模型新篇章35金融級(jí)AI原生應(yīng)用實(shí)踐C-]阿里云上傳的文本、pdf/word/excel等格式，包括不限于以下要素要素的提2.參考數(shù)據(jù)核保政策中，有一些強(qiáng)制性要素，不容妥協(xié)。例如：被投保主體的工種、地域、人數(shù)等要素，命中某些2.是否滿足核保政策以核保知識(shí)為基礎(chǔ)，從對(duì)話中提取出關(guān)鍵要素，判斷是否滿足核保政3.具備推薦能力，產(chǎn)出投保若滿足核保政策，可直接產(chǎn)出投保方案或預(yù)核保結(jié)論；若不滿足，大模型基于對(duì)核保政策的理解，給業(yè)務(wù)員推薦方案，調(diào)整部分要素，直《核保政策》+《參考知識(shí)》多種要素，為了讓大模型理解，需要以層次化的知識(shí)體系組織起來(lái)，存儲(chǔ)在知識(shí)庫(kù)中，通過(guò)RAG召回并運(yùn)用。2.信息提取及標(biāo)化大模型在和業(yè)務(wù)員對(duì)話過(guò)程中，需要如果業(yè)務(wù)員沒(méi)有提供，大語(yǔ)言模型需并且，以《參考知識(shí)》為依據(jù)，把信大語(yǔ)言模型大語(yǔ)言模型Qwen+大模型智能應(yīng)用平臺(tái)（RAG/Agent/AssistantsAPI）原始核保規(guī)則：核保規(guī)則源于保險(xiǎn)公司內(nèi)部的核保政策，有集團(tuán)級(jí)別的、每個(gè)省市分公司也有自己特定的規(guī)則，需結(jié)合起來(lái)用，這是核保決策的依據(jù)。這類知識(shí)的特點(diǎn)是，內(nèi)容多、邏大模型核保知識(shí)構(gòu)建：核保政策的格式和來(lái)源非常多樣，有pdf、word，甚至是某分公司發(fā)的一封全員郵件。這些知識(shí)需要被構(gòu)建成一種層次化的知識(shí)體系，便于更新、維護(hù)，以及被大模型理解與應(yīng)用。在業(yè)務(wù)流程中，大模型需要從與業(yè)務(wù)員的對(duì)話中提取出核保要素，例如：年齡、地域、工種。當(dāng)要素不完備時(shí)，以反問(wèn)等方式讓業(yè)務(wù)員提供，直到收集完整下一步推理大模型推理決策：基于上一步構(gòu)建的知識(shí)，大模型進(jìn)行不同的邏輯處理。簡(jiǎn)單分有三種：a）準(zhǔn)入性判斷，一些關(guān)鍵要素若不符合，可直接拒保；b）條件性推理，依據(jù)各種核保規(guī)則，逐條檢查客戶提供的要素是否滿足；c）推薦投保方案，若有不符合的要素，大模型給業(yè)務(wù)員調(diào)百煉成金｜大金融模型新篇章36在上述業(yè)務(wù)流程重構(gòu)過(guò)程中，面臨最大的兩個(gè)技術(shù)挑戰(zhàn)是：核保規(guī)則量多質(zhì)差、推理邏輯金融知識(shí)增強(qiáng)：原始核保政策來(lái)源非常多，上千頁(yè)的Word、復(fù)雜單元格結(jié)構(gòu)的Excel、甚至是一封核保政策調(diào)整的郵件。面對(duì)此類多源異