大規(guī)模語(yǔ)言模型在馬上金融的應(yīng)用實(shí)踐

大規(guī)模語(yǔ)言模型在馬上金融的應(yīng)用實(shí)踐大規(guī)模語(yǔ)言模型在馬上金融的應(yīng)用實(shí)踐單位：馬上消費(fèi)金融股份有公司時(shí)間：2023年12月目錄目錄01/公司介紹02/馬消已落地大模型場(chǎng)景介紹03/營(yíng)銷外呼大模型應(yīng)用實(shí)踐04/經(jīng)驗(yàn)總結(jié)和問題公司介紹2.大模型自身的幻覺、安全性、邏輯問題帶來的新的風(fēng)險(xiǎn)。?“您的逾期金額是XXX，你的每月應(yīng)該還的【利息】是XXX”?“您的逾期金額是XXX，你的每月應(yīng)該還的【金額】是XXX”政府認(rèn)可馬上消費(fèi)，數(shù)智驅(qū)動(dòng)的科技創(chuàng)新金融機(jī)構(gòu)政府認(rèn)可AI方面的主要成果對(duì)話文對(duì)話文本SQL生成大模型文檔大模型代碼對(duì)話大模型對(duì)話大模型3.推理加速>量化模型>算子融合>模型編譯3.推理加速>量化模型>算子融合>模型編譯>硬件支持>流式推理>動(dòng)態(tài)batch5.定研專屬模型>適配定制研發(fā)業(yè)務(wù)需>解決1.硬件部署>GPU選型>機(jī)柜（高電,網(wǎng)絡(luò)）4.模型驗(yàn)證和服務(wù)>快速驗(yàn)證開源大模>提供測(cè)試能力>支持原生開源大模容>管理、監(jiān)控預(yù)警2.訓(xùn)練加速2.訓(xùn)練加速>數(shù)據(jù)并行>模型并行>流水線并>checkpoint技術(shù)>offload技術(shù)劣勢(shì)劣勢(shì)優(yōu)勢(shì)大模型應(yīng)用劣勢(shì)劣勢(shì)優(yōu)勢(shì)大模型應(yīng)用求傳統(tǒng)人工電銷>智能營(yíng)銷發(fā)展經(jīng)歷了“產(chǎn)品導(dǎo)向—客戶導(dǎo)向—用戶導(dǎo)向—全生命周期的線上化服務(wù)”的四個(gè)階段，目前已進(jìn)入營(yíng)銷4.0階段，強(qiáng)調(diào)“以人為本”。>在新時(shí)代的金融市場(chǎng)，面臨著極致自動(dòng)化和全真互聯(lián)的新發(fā)展挑戰(zhàn)，這要求盡快探索有效、精準(zhǔn)、智能化的營(yíng)銷體驗(yàn)。傳統(tǒng)智能電銷傳統(tǒng)智能電銷金融對(duì)客場(chǎng)景中應(yīng)用大模型的難點(diǎn)大模型對(duì)數(shù)據(jù)質(zhì)量金融營(yíng)銷業(yè)務(wù)場(chǎng)景金融營(yíng)銷場(chǎng)景對(duì)信金融營(yíng)銷場(chǎng)景對(duì)客金融營(yíng)銷手段千變要求極高，金融營(yíng)復(fù)雜，大模型如何息的準(zhǔn)確性要求極戶隱私的保護(hù)、營(yíng)萬(wàn)化、營(yíng)銷策略日銷數(shù)據(jù)規(guī)模巨大，針對(duì)不同業(yè)務(wù)場(chǎng)景高，用戶信息幻覺銷合規(guī)性的要求、新月異，大模型如如何篩選高質(zhì)量訓(xùn)進(jìn)行靈活適配，生問題對(duì)金融營(yíng)銷大數(shù)據(jù)安全性的要求何快速學(xué)習(xí)、敏捷練數(shù)據(jù)是首要問題。成多樣性話術(shù)對(duì)客模型整體服務(wù)質(zhì)量都極高，大模型需迭代是一大難題。戶體驗(yàn)至關(guān)重要。影響十分明顯。要因地制宜。營(yíng)銷外呼大模型訓(xùn)練主要環(huán)節(jié)馬消垂直場(chǎng)景的大模型生產(chǎn)主要分為兩塊：數(shù)據(jù)的收集和大模型的訓(xùn)練>>歷史業(yè)務(wù)數(shù)據(jù)：優(yōu)秀坐席服務(wù)語(yǔ)音對(duì)話、文本對(duì)話>業(yè)務(wù)文檔數(shù)據(jù)：涉及貸前、貸中、貸后等超數(shù)萬(wàn)篇服務(wù)文檔>業(yè)務(wù)規(guī)則數(shù)據(jù)：客服機(jī)器人配置規(guī)則和決策樹及各個(gè)節(jié)點(diǎn)的話術(shù)>技術(shù)相關(guān)數(shù)據(jù)：所有SQL代碼及注釋，數(shù)據(jù)庫(kù)定義和描述>用戶特征數(shù)據(jù)：用戶的靜態(tài)特征描述，包括用戶基本信息、行對(duì)話大模型訓(xùn)練過程數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量金融合金融合規(guī)問題處理線上措施數(shù)據(jù)處理措施五個(gè)五個(gè)環(huán)節(jié)訓(xùn)練數(shù)據(jù)生成過程后置處理智能質(zhì)檢人工反饋?對(duì)話輪次選擇（業(yè)務(wù)上有意義的對(duì)話?ASR問題處理（規(guī)則+分類+kenlm提示工程技術(shù).提示工程（PromptEngineering）將更多背景細(xì)節(jié)以文本形式放置于問題內(nèi)，從而使得模型產(chǎn)生更加符合業(yè)務(wù)要求的結(jié)果。本質(zhì)是知識(shí)工程，通過引導(dǎo)激發(fā)大模型自帶的AI能力，例如：提示工程生成問題大模型回復(fù)的話術(shù)情景假設(shè)““假設(shè)你現(xiàn)在是一打動(dòng)客戶來使用?！毙睦硖崾具^激情緒”回復(fù)要求類以上敏感詞”關(guān)聯(lián)事實(shí)3500元，有免息券”客戶客戶:您好哪位？客戶:是啊什么事？”大模型訓(xùn)練與評(píng)估n訓(xùn)練：基于ColossalChat框架/hpcaitech/ColossalAI/評(píng)估.大模型幻覺：LLMs偶爾會(huì)產(chǎn)生看似合理但與用戶輸入、先前生成的上下文或事實(shí)知識(shí)偏離的輸出。將嚴(yán)重?fù)p害LLMs在現(xiàn)實(shí)世界場(chǎng)景中的可靠性。你們安逸花的貸款利息是多少呢？提供在線理財(cái)?shù)确?wù)。您可以到APP辦理解法：異構(gòu)云原生推理平臺(tái)推理加速解法：異構(gòu)云原生推理平臺(tái)在延時(shí)要求高、并發(fā)大場(chǎng)景在延時(shí)要求高、并發(fā)大場(chǎng)景，如何解決資源和速度問題？解法：軟硬件多種組合技術(shù)通過將FP32/16精度量化為INT8或算模型服務(wù)質(zhì)量穩(wěn)定與GPU利用率平衡問題？大模型在營(yíng)銷場(chǎng)景的應(yīng)用案例大模型對(duì)于個(gè)性化場(chǎng)景應(yīng)對(duì)自如，能夠在準(zhǔn)確理解“客戶在開車，可能不方便接聽電話”的前提下合理的展開營(yíng)銷步驟。大模型的安全合規(guī)性高，能夠準(zhǔn)確理解“客戶的爸爸不在家，客戶是個(gè)小孩子”，并主動(dòng)停止對(duì)未成年人進(jìn)行營(yíng)銷。應(yīng)用場(chǎng)景智能營(yíng)銷大模型在馬上消費(fèi)營(yíng)銷場(chǎng)景的應(yīng)用應(yīng)用場(chǎng)景智能營(yíng)銷客戶服務(wù)客戶服務(wù)廠資產(chǎn)管理資產(chǎn)管理廠陪練機(jī)器人陪練機(jī)器人平均通話時(shí)長(zhǎng)提升50%提升50%交互輪次提升83%客戶滿意度客戶滿意度提升28%提升28%業(yè)績(jī) 提升30%智能人工平均大模型人工績(jī)優(yōu)?我上次聯(lián)系您時(shí)介紹過XX；??我上次聯(lián)系您時(shí)介紹過XX；?您的銀行卡后四位是【XXXX】?用戶：我在開車/我在高速上開車?“您的逾期金額是XXX，你的每月應(yīng)該還的【利息】是XXX”?“您的逾期金額是XXX，你的每月應(yīng)該還的【金額】是XXX”?上文你的合同號(hào)是xxx嗎？下文再次問題到02003金融合規(guī)問題特定幻覺問題和長(zhǎng)尾意圖02003金融合規(guī)問題??金融行業(yè)和企業(yè)自身合規(guī)標(biāo)準(zhǔn)。?標(biāo)準(zhǔn)隨時(shí)間變化。?用戶：能給我做分期/免息嗎？主要經(jīng)驗(yàn)和技術(shù)問題經(jīng)驗(yàn)：1、初期可以不用太大的模型，快速驗(yàn)證，也便于推理加速2、如果微調(diào)數(shù)據(jù)量夠的話，可以選擇直接微調(diào)base模型，而不是chat模型3、如果微調(diào)數(shù)據(jù)質(zhì)量還行的話，可以先不用強(qiáng)化學(xué)習(xí)，效果也不錯(cuò)4、數(shù)據(jù)的篩選很重要，要