大模型在金融知識和作業(yè)密集型場景的挑戰(zhàn)和實(shí)踐 2024-姜睿思

在金融知識和作業(yè)密大模型集場景的挑戰(zhàn)和實(shí)踐在金融知識和作業(yè)密大模型集場景的挑戰(zhàn)和實(shí)踐演講人：姜睿思大模型近期發(fā)展介紹 大模型在金融知識和作業(yè)密集場景的挑戰(zhàn)和實(shí)踐 大模型近期發(fā)展介紹 大模型在金融知識和作業(yè)密集場景的挑戰(zhàn)和實(shí)踐 大模型能力樹國外AI巨頭近期發(fā)布?gpt4o數(shù)據(jù)分析能力近期大模型的發(fā)展方向基座大模型型垂類大模型模型類度度果模型性能模型性能資源占用資源占用模型優(yōu)化類語音接入語音接入調(diào)用價格應(yīng)用類大模型近期發(fā)展介紹 大模型在金融知識和作業(yè)密集場景的挑戰(zhàn)和實(shí)踐 大模型應(yīng)用之Agent引導(dǎo)智能實(shí)現(xiàn)結(jié)果的手段或工具引導(dǎo)智能實(shí)現(xiàn)結(jié)果的手段或工具自主性、交互性、反應(yīng)性和適應(yīng)性自主性、交互性、反應(yīng)性和適應(yīng)性司內(nèi)大模型應(yīng)用技術(shù)技術(shù)場景客服，外呼，助手，數(shù)面向提升業(yè)務(wù)效果和客戶體驗(yàn)的應(yīng)用面向司內(nèi)作業(yè)提質(zhì)提大模型應(yīng)用場景分類提升準(zhǔn)確度，提升體驗(yàn)知識密集（如ChatBI）提升準(zhǔn)確度，提升體驗(yàn)知識密集（如ChatBI）作業(yè)密集（智能客服Agent）企業(yè)數(shù)字化轉(zhuǎn)型與大模型應(yīng)用數(shù)據(jù)算法ALGORITHM算法ALGORITHM數(shù)據(jù)VS知識腳印狄仁杰蹄印獵手企業(yè)知識定義規(guī)章制度流程、制度、規(guī)范業(yè)務(wù)運(yùn)營業(yè)務(wù)知識、運(yùn)營、營銷、風(fēng)控組織建設(shè)人、分工、組織、團(tuán)體技術(shù)基礎(chǔ)數(shù)據(jù)庫表、技術(shù)/產(chǎn)品文檔企業(yè)文化健身、交通、聚餐、下午茶知識密集型應(yīng)用ChatBI（Chat-basedBusinessIntelligence）是一種基于聊天界面的商業(yè)智能系統(tǒng)，它允許用戶通過自然語言與系統(tǒng)進(jìn)行交互，獲取所需的業(yè)務(wù)數(shù)據(jù)和洞察。核心功能包括：使ChatBI能夠理解和處理用戶的自然語言查詢。機(jī)器學(xué)習(xí)通過分析歷史數(shù)據(jù)和用戶行為，ChatBI能夠提供個性化的建議和預(yù)測。數(shù)據(jù)分析與可視化ChatBI能夠處理和展示復(fù)雜的數(shù)據(jù)集，幫助用戶快速獲ChatBI應(yīng)用場景客戶服務(wù)與客戶服務(wù)的輔助工具，提供即時的查詢響應(yīng)和問題解決支持決策支持系報表查詢，實(shí)時的數(shù)據(jù)分析和業(yè)務(wù)洞察，輔助、決策統(tǒng)生產(chǎn)監(jiān)控實(shí)時監(jiān)控生產(chǎn)線狀態(tài)，及時發(fā)現(xiàn)并報告生產(chǎn)問題生產(chǎn)監(jiān)控預(yù)測性維護(hù)預(yù)測設(shè)備故障，減少停機(jī)時間，提高生產(chǎn)效率預(yù)測性維護(hù)個性化營銷通過分析客戶歷史購買數(shù)據(jù)、提供個性化的產(chǎn)品推薦或預(yù)測風(fēng)險個性化營銷ChatBI產(chǎn)品功能數(shù)據(jù)獲取數(shù)據(jù)獲取文件數(shù)據(jù)API接口數(shù)據(jù)分析數(shù)據(jù)分析數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用智能分析助手智能分析助手大模型出現(xiàn)后Text2SQLChatBI核心能力大模型出現(xiàn)后Text2SQL基于大模型的Prompt優(yōu)化：關(guān)鍵詞提取、實(shí)體檢索、上下文檢索、列篩選、表選擇、列選擇、候選生成、修訂。核心能力1核心能力1基于模板、規(guī)則基于模板、規(guī)則→seq2seq框架的編碼解碼優(yōu)化→多任務(wù)槽位填充核心能力2ExactMatchAccuracy(ValidEfficiencyScoChatBI關(guān)鍵結(jié)果SQL復(fù)雜度（行數(shù)）總SQL查詢數(shù)占比SQL生成準(zhǔn)確率ChatBI的問題庫表信息缺失&不前20%的sql查詢了80%的庫表信息缺失&不平均每次生成，調(diào)用敏感信息“泄露”模型5次以上ChatBI的后續(xù)優(yōu)化知識/信息按照敏感等知識/信息按照敏感等級分類，敏感信息處理安全數(shù)據(jù)/數(shù)倉的基礎(chǔ)信息建設(shè)，數(shù)據(jù)/數(shù)倉的基礎(chǔ)信息建設(shè)，數(shù)據(jù)收集與數(shù)據(jù)治理，企業(yè)知識數(shù)據(jù)與花費(fèi)瓶頸歷史查詢緩存，SQL知工程性能大模型助力新一代智能客服智能識別用戶問題，實(shí)時觸發(fā)與問題相關(guān)的SOP流程導(dǎo)航，包括溝通要點(diǎn)與推薦話術(shù)，引導(dǎo)坐席采用最佳策略，并給出最佳回復(fù)對話即分析的深度客戶洞察通過自然語言的提問，就能獲取針對海量客服會話的分析結(jié)果，并支持下鉆到具體會話，對客戶原聲的提純和洞察更深入、更高效知識運(yùn)營支持多種格式文檔導(dǎo)入知識管理后臺，可替代問答對直接生成答案。相比傳統(tǒng)問答模式，可覆蓋問題更多，直接回答率提升30%作業(yè)密集型---智能客服AgentAgentAssist為呼叫中心座席人員提供個性化輔導(dǎo)和上下文相關(guān)的實(shí)時協(xié)助，確保他們能夠快速、無縫地滿足客戶要求，最終提高客AgentAssist主要優(yōu)勢達(dá)到關(guān)鍵績效指標(biāo)達(dá)到關(guān)鍵績效指標(biāo)提高成本效益。最大限度地提高座席利用率并轉(zhuǎn)移重復(fù)呼叫。包括語音生物識別和實(shí)時欺智能客服Agent主要功能流程導(dǎo)航輔助坐席更好的回答用戶問題，提升用戶體驗(yàn)確保知道下一步該做什么話術(shù)推薦流程導(dǎo)航輔助坐席更好的回答用戶問題，提升用戶體驗(yàn)確保知道下一步該做什么話術(shù)推薦情緒識別標(biāo)簽提醒情緒識別標(biāo)簽提醒實(shí)時標(biāo)簽提示客戶狀態(tài)分析對話并提供實(shí)時指導(dǎo)，以便更好地與客戶互動實(shí)時標(biāo)簽提示客戶狀態(tài)知識庫知識庫實(shí)時將內(nèi)容推送到座席桌面準(zhǔn)實(shí)時總結(jié)通話內(nèi)容并存儲整個上下文，以便分析和訪問實(shí)時將內(nèi)容推送到座席桌面智能客服Agent架構(gòu)銷售經(jīng)理投資顧問理財經(jīng)理銷售經(jīng)理投資顧問理財經(jīng)理通話小結(jié)違規(guī)提醒通話小結(jié)違規(guī)提醒知識庫搜索情緒識別流程導(dǎo)航用戶畫像搜索服務(wù)核心服務(wù)層搜索服務(wù)核心服務(wù)層AI算法能力推薦引擎語義識別AI算法能力推薦引擎語義識別數(shù)據(jù)接入層數(shù)據(jù)接入層智能客服Agent主要特點(diǎn)支持定制化提示詞調(diào)優(yōu)大小模型融合的應(yīng)答模式支持定制化提示詞調(diào)優(yōu)全面保障數(shù)據(jù)安全開箱即用上傳文檔，設(shè)置應(yīng)答邏輯全面保障數(shù)據(jù)安全智能客服Agent提效成果功能名稱提效指標(biāo)提效成果智能會話摘要會話結(jié)束后3~5秒內(nèi)智能生成會話小記，支持人工校審、編輯采納率90%+，小結(jié)完備率提升60%智能工單分類工單所需字段，智能提取會話中的關(guān)鍵內(nèi)容或直接將會話分類。根據(jù)用戶情緒推薦工單優(yōu)先級采納率超85%+，工單類話后時長降低20%，ready率提升2%SOP流程導(dǎo)航智能識別用戶問題，實(shí)時觸發(fā)問題相關(guān)的SOP流程導(dǎo)航，包括溝通要點(diǎn)與推薦話術(shù)，引導(dǎo)坐席采用最佳策略，給出最佳回復(fù)采納率超75%，ATT通秒降低22秒AI應(yīng)答推薦根據(jù)上下文語境，結(jié)合內(nèi)部文檔、知識庫，問題庫等生成“應(yīng)答話術(shù)”，支持修改后發(fā)送采納率超80%，呼入通話次數(shù)人均提升40%智能知識庫搜索支持企業(yè)將多種格式文檔導(dǎo)入機(jī)器人知識管理后臺，可替代問答對，直接生回答率提升30%，準(zhǔn)確率提升20%深度客戶洞察通過對歷史會話分析，提取關(guān)鍵標(biāo)簽，為機(jī)器學(xué)習(xí)模型提供特征數(shù)據(jù)；提取業(yè)務(wù)知識點(diǎn)，反哺業(yè)務(wù)進(jìn)行業(yè)務(wù)層面優(yōu)化300+標(biāo)簽，平均準(zhǔn)確率85%+智能客服Agent提升點(diǎn)與主要技術(shù)功能名稱大模型提升點(diǎn)主要涉及技術(shù)智能會話摘要相較于傳統(tǒng)總結(jié)具有很強(qiáng)的上下文理解能力和復(fù)雜語義的理解能力。智能工單分類更強(qiáng)的語義理解能力，可以應(yīng)用在更廣泛的場景SOP流程導(dǎo)航更強(qiáng)的復(fù)雜、大量信息的處理能力與適應(yīng)性AI應(yīng)答推薦更強(qiáng)的對話生成能力智能知識庫搜索更強(qiáng)的語義理解能力，更廣泛的應(yīng)用型，更人性化的回答深度客戶洞察大模型近期發(fā)展介紹 大模型在金融知識和作業(yè)密集場景的挑戰(zhàn)和實(shí)踐 大模型應(yīng)用效益閉環(huán)推廣和持續(xù)優(yōu)化機(jī)制實(shí)現(xiàn)效益閉環(huán)AI文化培養(yǎng)GPTIdeathon、大模型講堂與培訓(xùn)、AI輔助編程大賽數(shù)字人參與重要會議AI活動體驗(yàn)AI文化建設(shè)成果1，GPTIdeathon：歷時3個月，共63個創(chuàng)意提報。搭建GPTLAB，已經(jīng)支持4個外部大模型，支持文本圖片上傳文件等多種功能。內(nèi)外部行業(yè)專家培訓(xùn)，覆蓋人次達(dá)到數(shù)千人，培訓(xùn)時長達(dá)到近30小時。3，AI輔助編程大賽：超過25各隊(duì)125人參與。技術(shù)人員Copilot活躍率超過70%，行采納率超過20%。4，宣傳：月更AI快報，企業(yè)外部公眾號發(fā)布5篇以上AI成果展示。5，智能體中心：已經(jīng)上線3個智能體，另有2個正在建設(shè)當(dāng)中。實(shí)現(xiàn)效益閉環(huán)數(shù)據(jù)運(yùn)營運(yùn)營策略數(shù)據(jù)策略模型效益閉環(huán)成果發(fā)現(xiàn)運(yùn)營問題，反推業(yè)務(wù)優(yōu)化