大模型行業(yè)可信應(yīng)用框架研究報(bào)告2024

螞集ANTGROUP大模型行業(yè)可信應(yīng)用框架研究報(bào)告TrustworthyApplicationFramewo序一當(dāng)前，新一代人工智能技術(shù)變革方興未艾，大模型技術(shù)作為其代表，正在成為推動(dòng)產(chǎn)業(yè)智能化升級(jí)和經(jīng)濟(jì)高質(zhì)量發(fā)展的重要引擎。國(guó)家高度重視人工智能發(fā)展，已經(jīng)出臺(tái)一系列政策措施，為人工智能與實(shí)體經(jīng)濟(jì)深度融合指明了方向。然而，正如人類歷史上的每一次科技革命，新技術(shù)的應(yīng)用在帶來(lái)巨大發(fā)展機(jī)遇的同時(shí)，也伴隨著潛在的風(fēng)險(xiǎn)與挑戰(zhàn)。如何確保人工智能技術(shù)安全、可靠、可控地發(fā)展和應(yīng)用，這份研究報(bào)告聚焦大模型可信應(yīng)用這一前沿課題，深入探討了大模型在金融、醫(yī)療、政務(wù)等專業(yè)領(lǐng)域應(yīng)用所面臨的挑戰(zhàn)，并提出了系統(tǒng)化的解決方案。報(bào)告立足于技術(shù)架構(gòu)和體系建設(shè)，從數(shù)據(jù)質(zhì)量提升、模型能力增強(qiáng)、推理過(guò)程可控、系統(tǒng)安全保障、評(píng)測(cè)體系健全等多個(gè)維度，構(gòu)建了面向?qū)I(yè)領(lǐng)域的這份報(bào)告的發(fā)布恰逢其時(shí)，我相信它將對(duì)推動(dòng)人工智能技術(shù)與產(chǎn)業(yè)的深度融合，促進(jìn)大模型技術(shù)的可信落地應(yīng)用產(chǎn)生積極的影響。期待未來(lái)有更多科研機(jī)構(gòu)、企業(yè)和個(gè)人參與到這一領(lǐng)域的研究和實(shí)踐中，共同努力構(gòu)建出安全、可靠、可控的大模型應(yīng)用生態(tài)，為新時(shí)代的智能化產(chǎn)業(yè)升級(jí)和經(jīng)濟(jì)高質(zhì)量發(fā)序二然而，我們應(yīng)該認(rèn)識(shí)到，雖然大模型在智能客服、知識(shí)管理、軟件開發(fā)等場(chǎng)景中的落地應(yīng)用越來(lái)越這份報(bào)告結(jié)合了中國(guó)信通院研究和相關(guān)企業(yè)的實(shí)踐經(jīng)驗(yàn)，系統(tǒng)梳理了大模型可信應(yīng)用面臨的問(wèn)題和實(shí)踐路徑。在概念上，報(bào)告分析了金融、醫(yī)療、政務(wù)等多個(gè)領(lǐng)域的大模型的應(yīng)用實(shí)踐經(jīng)驗(yàn)，提出了“面模型可信應(yīng)用的核心目標(biāo)，并針對(duì)數(shù)據(jù)質(zhì)量提升、模型知識(shí)增強(qiáng)、內(nèi)容生成可控等七個(gè)維度提出落地實(shí)序三勁動(dòng)力。作為以科技創(chuàng)新為根本驅(qū)動(dòng)力的科技企業(yè)，螞蟻集團(tuán)也在持續(xù)投入資源，積極探索大模型在專本報(bào)告提出了面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架，旨在為解決這些問(wèn)題提供一些思路和方案。我們相信，只有通過(guò)產(chǎn)業(yè)上下游的通力協(xié)作，才能真正推動(dòng)大模型在產(chǎn)業(yè)中的規(guī)?；尚艖?yīng)用，助力產(chǎn)業(yè)前言助力產(chǎn)業(yè)智能化升級(jí)和經(jīng)濟(jì)發(fā)展。大模型在產(chǎn)業(yè)端已經(jīng)開始在任務(wù)簡(jiǎn)單、容錯(cuò)率高的場(chǎng)景得到廣泛地使目錄圖目錄大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第一章｜大模型可信應(yīng)用背景和需求大模型可信應(yīng)用背景和需求本章梳理了當(dāng)前大模型在垂直行業(yè)的落地場(chǎng)景路徑，通過(guò)分析當(dāng)前產(chǎn)業(yè)界人工智能可信的內(nèi)涵和定02大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第一章｜大模型可信應(yīng)用背景和需求海量長(zhǎng)尾應(yīng)用場(chǎng)景。IDC預(yù)測(cè)①,全球生成式人工智能市支持大模型落地從簡(jiǎn)單容錯(cuò)率高場(chǎng)景逐漸向復(fù)雜容錯(cuò)率低場(chǎng)景滲透法律文書政務(wù)服務(wù)一網(wǎng)通辦處理智能導(dǎo)診/問(wèn)診金融市場(chǎng)情緒分析城市治理一網(wǎng)統(tǒng)管政治智能決策支持公共資源風(fēng)險(xiǎn)管理政府辦公一網(wǎng)協(xié)同法律案件分析游戲內(nèi)容智能營(yíng)銷個(gè)性化推薦金融智能客服智能搜索游戲策略優(yōu)化支持大模型落地從簡(jiǎn)單容錯(cuò)率高場(chǎng)景逐漸向復(fù)雜容錯(cuò)率低場(chǎng)景滲透法律文書政務(wù)服務(wù)一網(wǎng)通辦處理智能導(dǎo)診/問(wèn)診金融市場(chǎng)情緒分析城市治理一網(wǎng)統(tǒng)管政治智能決策支持公共資源風(fēng)險(xiǎn)管理政府辦公一網(wǎng)協(xié)同法律案件分析游戲內(nèi)容智能營(yíng)銷個(gè)性化推薦金融智能客服智能搜索游戲策略優(yōu)化對(duì)話式產(chǎn)品商品描述文生圖產(chǎn)品編程助手軟件游戲營(yíng)銷和用戶畫像非游戲玩家玩家行為分析游戲政務(wù)法律咨詢分析合規(guī)/反洗錢金融市場(chǎng)分析預(yù)測(cè)智能投顧消費(fèi)市場(chǎng)分析預(yù)測(cè)優(yōu)化管理 合同審查 智能客服軟件03大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第一章｜大模型可信應(yīng)用背景和需求用可擴(kuò)展到智能投顧、風(fēng)險(xiǎn)管理和預(yù)測(cè)。在法律領(lǐng)域，大模型可被用于復(fù)雜的案件分析和判決結(jié)論生成在人工智能的發(fā)展過(guò)程中，源于對(duì)人工智能系統(tǒng)安全性、透明度、公平性等方面的關(guān)注，可信04大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第一章｜大模型可信應(yīng)用背景和需求Availab- lability質(zhì)量Reliability易用性Usability透明性Transpar-真實(shí)性Authen-責(zé)任性Accoun-tability魯棒性包容性Inclusiv-enessResilie-信息安全準(zhǔn)確性Accuracy多樣性完整性公平性Fairness安全性Safety05大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第一章｜大模型可信應(yīng)用背景和需求06大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第一章｜大模型可信應(yīng)用背景和需求要在提供決策支持時(shí)遵循專業(yè)領(lǐng)域的方法、過(guò)程和指引。這意味著，模型需要能準(zhǔn)確理解專業(yè)領(lǐng)域的術(shù)語(yǔ)內(nèi)涵和用戶問(wèn)題意圖，并能夠在領(lǐng)域?qū)I(yè)語(yǔ)境下進(jìn)行問(wèn)題分析，通過(guò)符合專業(yè)規(guī)范建議；在金融投顧場(chǎng)景中，模型需要準(zhǔn)確理解客戶的投資需求，并給出符合金融專業(yè)標(biāo)準(zhǔn)和流07大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第一章｜大模型可信應(yīng)用背景和需求可控性可控性夠透明可解釋；二是模型在專業(yè)領(lǐng)域應(yīng)用中的推理結(jié)果和決策可控，即能夠確保從推理結(jié)果到最終決策的過(guò)程可被有效控制和調(diào)整。也就是說(shuō)，大模型在推理過(guò)程中，可以通過(guò)任務(wù)分拆執(zhí)行、輸出結(jié)果核驗(yàn)、執(zhí)行反饋糾正等中間過(guò)程，引導(dǎo)系統(tǒng)的輸出結(jié)果收斂到合理范圍內(nèi)，同時(shí)，模型的輸出結(jié)果能夠被專業(yè)人員有效審核和必要時(shí)進(jìn)行人工干預(yù)，以保證最終決策的準(zhǔn)確持續(xù)改進(jìn)其建議，同時(shí)專業(yè)投顧人員可以審核和必要時(shí)調(diào)整模型的建議，最終幫助用戶做出可真實(shí)性真實(shí)性量避免虛假信息和幻覺。這要求模型具備足夠可靠的通用常識(shí)和邏輯能力，在生成時(shí)盡量不出息的安全，這是大模型在行業(yè)應(yīng)用的基礎(chǔ)保障。這需要結(jié)合系統(tǒng)安全、算法安全、數(shù)據(jù)安全，針對(duì)大模型在應(yīng)用過(guò)程中潛在的安全風(fēng)險(xiǎn)與挑戰(zhàn)，采用更有針對(duì)性的安全措施進(jìn)行安全保障與使用、或者在模型輸出結(jié)果中不當(dāng)泄露患者隱私，模型的管理也應(yīng)該設(shè)立嚴(yán)格的權(quán)限體系。同時(shí)，還需要防范可能針對(duì)醫(yī)療大模型系統(tǒng)的網(wǎng)絡(luò)攻擊與滲透，確保系統(tǒng)和模型本身的安全性和來(lái)源：中國(guó)信息通信研究院，螞蟻集團(tuán)大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第二章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用挑戰(zhàn)面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用挑戰(zhàn)09大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第二章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用挑戰(zhàn)可信應(yīng)用亟需高標(biāo)準(zhǔn)嚴(yán)要求 不足且難以驗(yàn)證，大模型的內(nèi)置知識(shí)是以隱式的方式存儲(chǔ)在模型的海量參數(shù)中，內(nèi)部推理過(guò)程是個(gè)“黑大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第二章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用挑戰(zhàn)我我生命周期中各個(gè)環(huán)節(jié)都面臨著新的風(fēng)險(xiǎn)與挑戰(zhàn)，需要制被攻擊系統(tǒng)執(zhí)行任意命令或加載惡意軟件）等。該漏洞的影響范圍廣泛，涉及OpenAI、Hugging-face、Stripe等多家企業(yè)，導(dǎo)致用戶身份安全憑證被竊取，并由此可能導(dǎo)致模型被濫用或者敏感數(shù)據(jù)泄露。值得進(jìn)一步注意的是，伴隨大模型智能體的廣泛應(yīng)用，它們往往會(huì)被賦予更高的權(quán)限來(lái)訪問(wèn)敏感的大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第二章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用挑戰(zhàn)產(chǎn)業(yè)界體系化方案仍然缺乏大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架知識(shí)庫(kù)知識(shí)知識(shí)庫(kù)知識(shí)通識(shí)通用數(shù)據(jù)領(lǐng)域?qū)Ｓ袛?shù)據(jù)代頁(yè)代頁(yè)網(wǎng)書籍文獻(xiàn)新聞媒體碼等書籍論公共數(shù)書籍論公共數(shù)領(lǐng)域據(jù)領(lǐng)域數(shù)據(jù)集專業(yè)文等服務(wù)業(yè)數(shù)過(guò)程服務(wù)業(yè)數(shù)過(guò)程數(shù)據(jù)工作流數(shù)據(jù)數(shù)據(jù)工作流數(shù)據(jù)來(lái)源：中國(guó)信息通信研究院，螞蟻集團(tuán)二是通過(guò)豐富、完整的專業(yè)知識(shí)增強(qiáng)大模型的專業(yè)能力，一般需要通過(guò)知識(shí)工程抽取的領(lǐng)域?qū)I(yè)知大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架此外，在系統(tǒng)上線應(yīng)用前，還需要通過(guò)全面、充分的評(píng)測(cè)來(lái)驗(yàn)證大模型系統(tǒng)已經(jīng)達(dá)到預(yù)期目標(biāo)。最（二）大模型在專業(yè)領(lǐng)域可信應(yīng)用的技術(shù)實(shí)現(xiàn)領(lǐng)域?qū)Ｓ袛?shù)據(jù)領(lǐng)域通用數(shù)據(jù)通識(shí)通用數(shù)據(jù)領(lǐng)域?qū)Ｓ袛?shù)據(jù)領(lǐng)域通用數(shù)據(jù)（1）數(shù)據(jù)分類介紹詞元②),內(nèi)容范圍廣泛，覆蓋多種主題和領(lǐng)域。數(shù)據(jù)來(lái)源一般包括網(wǎng)頁(yè)數(shù)據(jù)、書籍文獻(xiàn)、新聞數(shù)據(jù)、百大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架一般經(jīng)過(guò)標(biāo)注并開放出來(lái)供研究和開發(fā)使一般經(jīng)過(guò)標(biāo)注并開放出來(lái)供研究和開發(fā)使等，例如金融領(lǐng)域的上市公司財(cái)報(bào)、公司性高、更新頻率穩(wěn)定，例如國(guó)家統(tǒng)計(jì)局網(wǎng)?領(lǐng)域的專業(yè)書籍、文獻(xiàn)、論文等，例如BookCorpus免費(fèi)書籍、已發(fā)表學(xué)術(shù)期刊操作步驟、行業(yè)或領(lǐng)域?qū)＜医鉀Q問(wèn)題的分操作步驟、行業(yè)或領(lǐng)域?qū)＜医鉀Q問(wèn)題的分的產(chǎn)品文檔、技術(shù)文檔、研究實(shí)驗(yàn)數(shù)據(jù)、開發(fā)者為了更好地訓(xùn)練大模型在特定領(lǐng)域的專業(yè)指令遵循能力，而專門構(gòu)建的經(jīng)過(guò)標(biāo)注的高質(zhì)量指令數(shù)據(jù)集等，實(shí)踐中宜同時(shí)包含正負(fù)樣例的指令數(shù)據(jù)，可以使模型服務(wù)過(guò)程中記錄下的數(shù)據(jù)，如服務(wù)過(guò)程中客服與客戶的對(duì)話數(shù)據(jù)、醫(yī)療診療過(guò)程中醫(yī)生與患者對(duì)話數(shù)據(jù)、客戶對(duì)產(chǎn)品服務(wù)的評(píng)價(jià)和反饋數(shù)據(jù)、服務(wù)過(guò)程中的客戶行為中國(guó)國(guó)家數(shù)據(jù)，/醫(yī)療領(lǐng)域開源數(shù)據(jù)集匯總鏈接，/onejun大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架（2）數(shù)據(jù)質(zhì)量提升方法多的數(shù)據(jù)樣本⑥。此外，也可通過(guò)開發(fā)專門的大模型⑦來(lái)合成高質(zhì)量數(shù)據(jù)，但應(yīng)用過(guò)程中需要注意解決合/news/data-quality-may-be-all-you-need//blog/nemotron-4-synthetic-data-generation-llm-training/大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架尊重生命保護(hù)隱私...尊重生命保護(hù)隱私...穩(wěn)健...網(wǎng)頁(yè)代碼等網(wǎng)頁(yè)代碼等新聞媒體新聞媒體領(lǐng)域通用數(shù)據(jù)公共數(shù)公共數(shù)領(lǐng)域據(jù)領(lǐng)域數(shù)據(jù)集文等書籍論文等書籍論專業(yè)領(lǐng)域?qū)Ｓ袛?shù)據(jù)過(guò)程業(yè)數(shù)過(guò)程業(yè)數(shù)企據(jù)等工作流數(shù)據(jù)服務(wù)企據(jù)等工作流數(shù)據(jù)大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架（1）知識(shí)工程取引擎OneKE⑧,基于大模型實(shí)現(xiàn)了中英文雙語(yǔ)、多領(lǐng)域多任務(wù)的泛化知識(shí)抽取能力，并提供了完知識(shí)圖譜構(gòu)建是指將抽取的知識(shí)元素組織成結(jié)構(gòu)化的知識(shí)圖譜,主要包括：實(shí)體鏈接，即將抽取的實(shí)體鏈接到知識(shí)庫(kù)中的實(shí)體；知識(shí)融合，即將從多源異構(gòu)數(shù)據(jù)中抽取的知識(shí)進(jìn)行去重、去噪、補(bǔ)全等處理，融合形成統(tǒng)一的知識(shí)圖譜；圖譜存儲(chǔ)，即將構(gòu)建的知識(shí)圖譜持久化存儲(chǔ)，支持高效查詢和推理等。目前，也可結(jié)合大模型來(lái)增強(qiáng)知識(shí)圖譜，包括幫助圖譜進(jìn)行命名實(shí)體識(shí)別與鏈接、知識(shí)庫(kù)補(bǔ)全、豐富圖（2）專業(yè)知識(shí)注入些數(shù)據(jù)繼續(xù)訓(xùn)練原有的通用大模型，從而提升模型的領(lǐng)域?qū)I(yè)能力。例如，金融領(lǐng)域彭博社混合了其專/大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架（3）價(jià)值對(duì)齊專家反饋強(qiáng)化學(xué)習(xí)，把大模型應(yīng)用到專業(yè)領(lǐng)域時(shí)，領(lǐng)域?qū)＜业母哔|(zhì)量經(jīng)驗(yàn)和知識(shí)反饋尤為重要，可以利用專家提供的反饋數(shù)據(jù)來(lái)構(gòu)建獎(jiǎng)勵(lì)模型，并通過(guò)強(qiáng)化學(xué)習(xí)優(yōu)化大模型的行為。此外，由于收集專家的反饋成本較高，也可以利用AI生成的反饋數(shù)據(jù)來(lái)訓(xùn)練大模型，即AI反饋強(qiáng)化學(xué)習(xí)（Reinforcement和標(biāo)注的成本，且AI生成的反饋數(shù)據(jù)具有更高的一致性和可重復(fù)性，一定程度也可減少人類主觀偏見帶?,直接從人類反饋中得出的偏好數(shù)據(jù)來(lái)計(jì)行為和決策進(jìn)一步進(jìn)行對(duì)齊約束，即專業(yè)價(jià)值對(duì)齊。例如，金融領(lǐng)域價(jià)值觀一般包括“誠(chéng)信、專業(yè)、穩(wěn)OpenAI,Weak-to-stronggeneralization,/index/weak-to-strong-generalization//abs/2305.18290.20大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架領(lǐng)域知識(shí)圖譜領(lǐng)域知識(shí)圖譜濃量化工具決策模型 ●●大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架（1）檢索增強(qiáng)生成相結(jié)合的技術(shù)，其核心思想是通過(guò)檢索與當(dāng)前輸入請(qǐng)求相關(guān)的外部知識(shí),包括領(lǐng)域知識(shí)圖譜、網(wǎng)絡(luò)搜索引擎、企業(yè)和個(gè)人知識(shí)庫(kù)等，并將其作為額外的上下文信息引入到模型生成過(guò)程中,從而可以提升其內(nèi)容生用外部知識(shí)源時(shí)需能夠?qū)⒆匀徽Z(yǔ)言轉(zhuǎn)換為結(jié)構(gòu)化查詢語(yǔ)言，例如Nl2SQL、Nl2Cypher、Nl2GraphQL2122大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架（2）工具學(xué)習(xí)會(huì)如何正確調(diào)用和使用外部工具，包括API調(diào)用、參數(shù)賦值等，并根據(jù)這些工具通過(guò)訓(xùn)練大模型學(xué)會(huì)如何使用領(lǐng)域的專業(yè)工具庫(kù)或者垂直專業(yè)模型，可以實(shí)現(xiàn)大模型+專業(yè)工具/模（3）圍欄工具23大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架知識(shí)庫(kù)......（1）智能體范式拓展大模型可信應(yīng)用范圍ZhixuanChu,YanWang,FengLanguageModelsintoAutonomousExpertswithHuman-LevelCompetencie24大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架息或協(xié)同完成任務(wù)。任務(wù)執(zhí)行完成后，智能體會(huì)對(duì)任務(wù)執(zhí)行結(jié)果進(jìn)行評(píng)估，這包括檢查任務(wù)是否成功完（2）智能體通過(guò)人機(jī)交互進(jìn)一步確保決策質(zhì)量和安全25大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架我優(yōu)化和可信應(yīng)用水平提升，可以減少人工干預(yù)和交互。自我優(yōu)化減少了對(duì)人工的依賴，降低了維護(hù)成（3）多智能體協(xié)同進(jìn)一步提升推理可信程度26大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架行緩解?？梢砸劳邪踩叫星忻婕夹g(shù)?,通過(guò)原生安全范式引導(dǎo)并建設(shè)大模型專業(yè)應(yīng)用的基礎(chǔ)底座安全保運(yùn)用智能體切點(diǎn)植入技術(shù)，提升基于身份的訪問(wèn)控制、工具調(diào)用，Prompt會(huì)話交互等數(shù)據(jù)內(nèi)視能安全平行切面白皮書，/aspect_oriented_security_white_paper.pdf27大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架際操作者，避免攻擊者通過(guò)智能體代理進(jìn)行惡意操作后身份無(wú)法識(shí)別的窘境。隨著大模型應(yīng)用的功能增模型專業(yè)應(yīng)用關(guān)鍵鏈路上設(shè)計(jì)和布置訪問(wèn)控制點(diǎn)，比如在大模型輸入、或者智能體交互的時(shí)候設(shè)置檢測(cè)點(diǎn)，識(shí)別類似Prompt注入攻擊的安全風(fēng)險(xiǎn)e，同時(shí)也可以在大模型輸出的時(shí)候設(shè)置檢測(cè)點(diǎn)，保障敏感數(shù)LangChain注入攻擊漏洞./vuln/detail/CVE-2023-36258.28大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架深和展化深和展拓景數(shù)拓景數(shù)場(chǎng)案和據(jù)場(chǎng)案和據(jù)化饋反評(píng)例估和驗(yàn)化饋反評(píng)例估和驗(yàn)集優(yōu)證集優(yōu)證域數(shù)據(jù)域數(shù)據(jù)領(lǐng)模型和領(lǐng)模29大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架適的評(píng)估指標(biāo)和構(gòu)建高質(zhì)量的評(píng)測(cè)數(shù)據(jù)集，要全面評(píng)估大模型的性能，需大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第三章｜面向?qū)I(yè)領(lǐng)域的大模型可信應(yīng)用框架Capabilities:Metric,Data,andAlgorithm,/abs/2403.16446.大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第四章｜大模型可信應(yīng)用框架助力千行百業(yè)智能化轉(zhuǎn)型大模型可信應(yīng)用框架助力千行百業(yè)智能化轉(zhuǎn)型大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第四章｜大模型可信應(yīng)用框架助力千行百業(yè)智能化轉(zhuǎn)型一是金融投資市場(chǎng)信息量大、更新快，應(yīng)用過(guò)程中大模型需要能夠快速理解和處理這些實(shí)時(shí)數(shù)據(jù)，同時(shí)又因存在較多的沖突和噪聲，需要大模型并在解決信息沖突和過(guò)濾噪聲后，提取出有價(jià)值的信息并二是用戶投資決策是在信息不對(duì)稱情況下做出，大模型在給出投資建議時(shí)，需能夠根據(jù)客戶需要詳細(xì)解釋推導(dǎo)過(guò)程以及所依賴的信息來(lái)源依據(jù)等，并確保符合金融領(lǐng)域的合規(guī)性和適當(dāng)性等要求，幫助用三是數(shù)據(jù)安全與隱私保護(hù)，智能投顧場(chǎng)景中可能會(huì)需要收集和處理大量敏感的個(gè)人和財(cái)務(wù)數(shù)據(jù)（例如在對(duì)客戶風(fēng)險(xiǎn)偏好進(jìn)行分析時(shí)），大模型在處理相關(guān)敏感數(shù)據(jù)時(shí)必須確保數(shù)據(jù)安全，防止數(shù)據(jù)泄露和大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第四章｜大模型可信應(yīng)用框架助力千行百業(yè)智能化轉(zhuǎn)型2.實(shí)踐方案金融知識(shí)挖掘金融知識(shí)挖掘資產(chǎn)/市場(chǎng)/行業(yè)分析新聞/政策/事件解讀公告/研報(bào)/財(cái)報(bào)解讀財(cái)經(jīng)稿/分析報(bào)告撰寫研報(bào)庫(kù)財(cái)報(bào)庫(kù)金融信息公告咨詢螞蟻智庫(kù)通用常識(shí)表達(dá)指導(dǎo)Reviewing解讀思路信息收集表達(dá)要求基金分析基金經(jīng)理Planning信息收集指導(dǎo)<Expressing知識(shí)框架選取框架主體研報(bào)庫(kù)財(cái)報(bào)庫(kù)金融信息公告咨詢螞蟻智庫(kù)通用常識(shí)表達(dá)指導(dǎo)Reviewing解讀思路信息收集表達(dá)要求基金分析基金經(jīng)理Planning信息收集指導(dǎo)<Expressing知識(shí)框架選取框架主體報(bào)告解讀標(biāo)的分析信息查詢Level2構(gòu)建高質(zhì)量的動(dòng)態(tài)金融專業(yè)知識(shí)庫(kù)。首先構(gòu)建高質(zhì)量的動(dòng)態(tài)金融專業(yè)知識(shí)庫(kù)。首先該系統(tǒng)整新聞資訊、行情數(shù)據(jù)等，目前已形成了包括研報(bào)庫(kù)、投報(bào)庫(kù)、金融信息、公告資訊等多個(gè)知識(shí)庫(kù)，同時(shí)通過(guò)多種知識(shí)挖掘鏈路來(lái)過(guò)濾沖突信息和數(shù)據(jù)噪聲，提取到實(shí)時(shí)金融市場(chǎng)知識(shí)并動(dòng)態(tài)更新到金融知識(shí)庫(kù)中。其次，還邀請(qǐng)金融專家對(duì)金融領(lǐng)域中典型任務(wù)整理出問(wèn)題分析專家論，沉淀多類典型定性分析場(chǎng)景和多個(gè)細(xì)分專家框架，用于后續(xù)問(wèn)題拆解、知識(shí)運(yùn)用、推理核大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第四章｜大模型可信應(yīng)用框架助力千行百業(yè)智能化轉(zhuǎn)型應(yīng)用多種方法增強(qiáng)模型專業(yè)性，并利用金融知識(shí)庫(kù)和專業(yè)金融工具庫(kù)，提升模型生成內(nèi)容應(yīng)用多種方法增強(qiáng)模型專業(yè)性，并利用金融知識(shí)庫(kù)和專業(yè)金融工具庫(kù)，提升模型生成內(nèi)容庫(kù)并采用直接偏好優(yōu)化算法等,優(yōu)化大模型的金融專業(yè)能力。在此基礎(chǔ)上，通過(guò)檢索增強(qiáng)生成融領(lǐng)域業(yè)務(wù)指標(biāo)的要求。同時(shí)，打通與企業(yè)目前已沉淀出的現(xiàn)有多個(gè)專業(yè)金融接口工具，包括創(chuàng)新金融專家多智能體協(xié)同框架，實(shí)現(xiàn)投資研究分析過(guò)程的透明可控。創(chuàng)新金融專家多智能體協(xié)同框架，實(shí)現(xiàn)投資研究分析過(guò)程的透明可控。通過(guò)仿金融專家的工作流程，將復(fù)雜的問(wèn)題抽象為計(jì)劃（Planning）、執(zhí)行（ing）和評(píng)價(jià)（Reviewing）四個(gè)環(huán)節(jié)，并構(gòu)建出相應(yīng)的金融推出專業(yè)金融領(lǐng)域任務(wù)測(cè)評(píng)集，對(duì)大模型在金融領(lǐng)域的可信應(yīng)推出專業(yè)金融領(lǐng)域任務(wù)測(cè)評(píng)集，對(duì)大模型在金融領(lǐng)域的可信應(yīng)數(shù)據(jù)來(lái)源：FIN-EVA公開數(shù)據(jù)，/alipay/?nancial_evaluation_dataset大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第四章｜大模型可信應(yīng)用框架助力千行百業(yè)智能化轉(zhuǎn)型3.應(yīng)用成效期以上的LPR進(jìn)行了自2019年LPR改革以來(lái)的最大幅度調(diào)整，從期以上的LPR進(jìn)行了自2019年LPR改革以來(lái)的最大幅度調(diào)整，從市產(chǎn)生積極的影響。主要原因在于LPR的下調(diào)有助于降低實(shí)體經(jīng)濟(jì)及的貸款利率下調(diào)空間，旨在刺激消費(fèi)和購(gòu)房，同時(shí)考慮到CPI和這次LPR的調(diào)整策略不僅反映了對(duì)當(dāng)前經(jīng)濟(jì)形勢(shì)的積極應(yīng)對(duì)，也是決心。這種非對(duì)稱的降息方式，被視為歷史上“最不對(duì)稱”的降和樓市，推動(dòng)經(jīng)濟(jì)回穩(wěn)向上。這次大幅度的LPR下調(diào)打破了LPR與期以上LPR的調(diào)整，將對(duì)股市帶來(lái)積極影響，支持長(zhǎng)久期資產(chǎn)的價(jià)大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第四章｜大模型可信應(yīng)用框架助力千行百業(yè)智能化轉(zhuǎn)型理、智能就醫(yī)（導(dǎo)診/問(wèn)診）、藥物研發(fā)、醫(yī)學(xué)科研等。在當(dāng)前國(guó)家高度重視“互聯(lián)網(wǎng)+醫(yī)療健康”背景一是就醫(yī)相關(guān)的信息完備度與準(zhǔn)確性要求極高。模型必須達(dá)到專業(yè)標(biāo)準(zhǔn)，并且有詢證邏輯，做到來(lái)源可信，需要掌握大量的專業(yè)醫(yī)療知識(shí)。二是醫(yī)療不同場(chǎng)景下需要為患者提供差異化服務(wù)。在了解用戶意圖后，大模型除了進(jìn)行正確分診、掛號(hào)就醫(yī)外，還需按照醫(yī)生專業(yè)口吻給出建議，并兼顧到病人情緒提供病人安撫服務(wù)。三是需在遵守相關(guān)的醫(yī)療法規(guī)和標(biāo)準(zhǔn)同時(shí)不影響模型性能效果。例如，醫(yī)療數(shù)據(jù)的2.實(shí)踐方案大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第四章｜大模型可信應(yīng)用框架助力千行百業(yè)智能化轉(zhuǎn)型構(gòu)建高質(zhì)量的醫(yī)療數(shù)據(jù)集，涵蓋領(lǐng)域知識(shí)圖譜、知識(shí)庫(kù)構(gòu)建高質(zhì)量的醫(yī)療數(shù)據(jù)集，涵蓋領(lǐng)域知識(shí)圖譜、知識(shí)庫(kù)南、藥品藥械說(shuō)明書等，通過(guò)高效數(shù)據(jù)抽取搭建檢、醫(yī)生、醫(yī)院等關(guān)鍵醫(yī)療信息，并結(jié)合內(nèi)外部專家撰寫、與醫(yī)院打通等多種方式，構(gòu)建出有專家背書的醫(yī)療知識(shí)庫(kù)。同時(shí)，還實(shí)現(xiàn)了醫(yī)療領(lǐng)域?qū)I(yè)全網(wǎng)搜索，相關(guān)網(wǎng)站來(lái)源均有認(rèn)證，保以及對(duì)大模型針對(duì)性調(diào)優(yōu)以增強(qiáng)模型選擇正確性語(yǔ)料的能力，構(gòu)造出真實(shí)可控的大模型回答生作流程作為基礎(chǔ)，保障診斷推理邏輯過(guò)程的專業(yè)、可控，同時(shí)結(jié)合診斷交互過(guò)程可依據(jù)經(jīng)驗(yàn)不斷動(dòng)態(tài)調(diào)整的特性，做到與具體診斷任務(wù)的靈活適配。推理過(guò)程中可將知識(shí)圖譜與思維鏈相結(jié)合，并基于用戶檢查報(bào)告中的異常指標(biāo)和癥狀（可通過(guò)多模態(tài)識(shí)別進(jìn)行分析），進(jìn)行可控的疾推出專科醫(yī)療人工智能評(píng)測(cè)數(shù)據(jù)集，對(duì)大模推出?？漆t(yī)療人工智能評(píng)測(cè)數(shù)據(jù)集，對(duì)大模RJUA-AQ是模型研發(fā)方與醫(yī)院合作創(chuàng)建了?？漆t(yī)療人工智能數(shù)據(jù)集?,并為保障數(shù)據(jù)集的專業(yè)和權(quán)威性，做了以下設(shè)計(jì)與考量：數(shù)據(jù)集包括單輪臨床問(wèn)答、多輪診斷對(duì)話以及臨床診斷推理三方面，其中單輪臨床問(wèn)答的數(shù)據(jù)來(lái)源于臨床專家根據(jù)咨詢經(jīng)驗(yàn)編寫的虛擬案例，使得數(shù)據(jù)集更加逼真，并確保數(shù)據(jù)隱私；多輪診斷對(duì)話的問(wèn)題涵蓋泌尿?qū)W的多個(gè)方面，占所有泌尿疾病的大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第四章｜大模型可信應(yīng)用框架助力千行百業(yè)智能化轉(zhuǎn)型3.應(yīng)用成效目前該智能就醫(yī)助理已在浙江全省92家醫(yī)院使用，服務(wù)點(diǎn)擊可達(dá)1.3萬(wàn)/日，具體健康問(wèn)答應(yīng)用示例后續(xù)，就醫(yī)助理將繼續(xù)在病歷生成、輔助診斷等方面進(jìn)行應(yīng)用拓展，以進(jìn)一步提高診斷效率與質(zhì)大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第四章｜大模型可信應(yīng)用框架助力千行百業(yè)智能化轉(zhuǎn)型40大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第四章｜大模型可信應(yīng)用框架助力千行百業(yè)智能化轉(zhuǎn)型2.實(shí)踐方案模1模型0420型模3模1模型0420型模3業(yè)務(wù)引擎模型....傳出智能API多模態(tài)識(shí)別引擎權(quán)責(zé)....●●城運(yùn)分派執(zhí)法錄入群眾上報(bào)天眼巡查建議建議建議信息信息信息視頻信息城市多源事件數(shù)據(jù)知識(shí)結(jié)果反饋，持續(xù)進(jìn)化領(lǐng)域知識(shí)進(jìn)化中心模型0大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第四章｜大模型可信應(yīng)用框架助力千行百業(yè)智能化轉(zhuǎn)型多模態(tài)多源城市治理信息的采集與融合。多模態(tài)多源城市治理信息的采集與融合。城市各類事件成因復(fù)雜、涉及面廣，且事件演變路徑不清晰，需要全方位、深入理解事件信息。通過(guò)接入12345便民熱線、市民小程序隨手拍、城運(yùn)中心派單、基層執(zhí)法人員錄入、城市天眼巡查等眾多信息渠道，實(shí)現(xiàn)城市治理事件各類信息（文本、語(yǔ)音、圖像及視頻）的數(shù)據(jù)采集和匯總?；谶@些多模態(tài)多源數(shù)據(jù)，一方面可以通過(guò)訓(xùn)練調(diào)優(yōu)提升了大模型在復(fù)雜城市事件治理的專業(yè)能力，另一方面可以在推理過(guò)程中為大模型提供更為及時(shí)的數(shù)據(jù)，以支撐其在各類復(fù)雜城市治理事件的及時(shí)發(fā)現(xiàn)、準(zhǔn)確判定及精準(zhǔn)認(rèn)知計(jì)算認(rèn)知計(jì)算隨手拍城運(yùn)分派執(zhí)法錄入群眾上報(bào)天眼巡查文本信息語(yǔ)言信息信息視頻信息大模型大模型數(shù)學(xué)能力邏輯推理能力語(yǔ)言理解能力代碼能力多模態(tài)能力行業(yè)模型4142大模型行業(yè)可信應(yīng)用框架研究報(bào)告ac第四章｜大模型可信應(yīng)用框架助力千行百業(yè)智能化轉(zhuǎn)型跨領(lǐng)域知識(shí)庫(kù)構(gòu)建及業(yè)務(wù)協(xié)同處置建模。跨領(lǐng)域知識(shí)庫(kù)構(gòu)建及業(yè)務(wù)協(xié)同處置建模。城市治理涉及的業(yè)務(wù)領(lǐng)域及關(guān)鍵主體眾多，涵蓋市場(chǎng)監(jiān)管、綜合執(zhí)法及環(huán)保等領(lǐng)域，各業(yè)務(wù)領(lǐng)域知識(shí)專業(yè)度高、業(yè)務(wù)復(fù)雜性高。通過(guò)收集相關(guān)領(lǐng)域的法律法規(guī)、處置規(guī)范、優(yōu)秀歷史案例等構(gòu)建出高質(zhì)量的城市治理數(shù)據(jù)集，并進(jìn)行知識(shí)抽取形成全面準(zhǔn)確的行業(yè)知識(shí)庫(kù)，搭建出城市治理各領(lǐng)域知識(shí)模型。應(yīng)用中，依托大模型的語(yǔ)義理解能力，精準(zhǔn)匹配各類事件權(quán)責(zé)知識(shí)和流轉(zhuǎn)知識(shí)，實(shí)現(xiàn)對(duì)復(fù)雜城市治理事件的深度理解、智有效減少重復(fù)派單現(xiàn)象的發(fā)生。此外，大模型會(huì)基于事件分派的執(zhí)行情況和反饋信息，持續(xù)學(xué)..................大模型行業(yè)可信應(yīng)用框架研究報(bào)告