智譜AI（孫萬(wàn)禮）：GLM大模型：場(chǎng)景落地的探索與實(shí)踐

20*20=400ImagetokensImageToken采樣掩碼區(qū)域x0x1x2x3x4x5x6x7x8…x3x4[BOI]ImageTokenText20*20=400ImagetokensImageToken采樣掩碼區(qū)域x0x1x2x3x4x5x6x7x8…x3x4[BOI]ImageTokenTextTokenImageTokenx7x8 項(xiàng)0目方法自回歸填空預(yù)訓(xùn)練架構(gòu)多模態(tài)預(yù)訓(xùn)練框架10B的參數(shù)量的WebGLM性能逼近175BWebGPT獲得十倍的效率優(yōu)勢(shì)離散化圖像Tokenizer文本Tokenizer智能汽車銷售金牌話術(shù)醫(yī)療健康智能導(dǎo)診、在智能汽車銷售金牌話術(shù)醫(yī)療健康智能導(dǎo)診、在報(bào)告解讀、病歷金融證券金融數(shù)智營(yíng)員工金融數(shù)智知識(shí)財(cái)務(wù)早報(bào)生成、研報(bào)結(jié)信貸風(fēng)控報(bào)告定期財(cái)務(wù)報(bào)告文化旅游景區(qū)客服、酒店客服游記輔助寫(xiě)作、照片生旅行社宣傳文游戲娛樂(lè)對(duì)話類游戲如狼人殺A通用辦公周報(bào)生成、報(bào)新聞資訊收企業(yè)內(nèi)部知蘭能源制造工業(yè)質(zhì)檢報(bào)告智能產(chǎn)線故市場(chǎng)分析報(bào)告消費(fèi)零售消費(fèi)者數(shù)據(jù)新品研發(fā)調(diào)研智能購(gòu)物推消費(fèi)者評(píng)論LM+PromptLM+PromptLM+RAGLM+RAGLM+SFT/Lora通用大模型不能滿足特定場(chǎng)景需求，需要微調(diào)訓(xùn)LM+SFT/Lora通用大模型不能滿足特定場(chǎng)景需求，需要微調(diào)訓(xùn)LM+FunctionLM+Function通過(guò)大模型functioncall，實(shí)現(xiàn)與現(xiàn)技術(shù)人員技術(shù)人員 本地私有化部署ChatGLM產(chǎn)品信息收集產(chǎn)品信息收集廣告文案生成業(yè)務(wù)場(chǎng)景?菜品推薦：大模型根據(jù)5輪對(duì)話，抽取關(guān)鍵詞并調(diào)用搜?閑聊：當(dāng)用戶意圖不是菜品推薦時(shí)，可與用戶進(jìn)行聊天2.其次是麻辣燙火鍋超市(芍藥居店)，業(yè)務(wù)場(chǎng)景?菜品推薦：大模型根據(jù)5輪對(duì)話，抽取關(guān)鍵詞并調(diào)用搜?閑聊：當(dāng)用戶意圖不是菜品推薦時(shí)，可與用戶進(jìn)行聊天2.其次是麻辣燙火鍋超市(芍藥居店)，A：麻辣燙火鍋超市"4.5