大模型在辦公方向的實踐與思考

在辦公方向的實踐與思考分享人：阿里巴巴

釘釘

李祎嵩釘釘文檔DINGTALK

DOCS02釘釘AI助理架構(gòu)03大模型訓練的實踐和思考04展望與思考01大模型在釘釘辦公場景案例大模型在釘釘辦公場景案例AI助理

生成周報文檔

翻譯文檔

LUI文檔

LUI白板

涂鴉作畫白板

圖片風格遷移白板

智能海報IM

文件速讀IM

視頻速讀IM

圖片速讀釘釘AI助理架構(gòu)大模型訓練的實踐和思考01大模型訓練概述大模型訓練的起手式02

大模型訓練核心流程大模型訓練的起手式SFT在業(yè)務(wù)上的思考核心流程標注數(shù)據(jù)，用于SFT根據(jù)人類反饋，訓練獎勵模型通過強化學習優(yōu)化模型產(chǎn)品設(shè)計生成多張圖片讓用戶選擇點贊和點踩回流用戶反饋數(shù)據(jù)03

SFT與RLHF大模型訓練的起手式微調(diào)是指在已經(jīng)預(yù)訓練好的大模型基礎(chǔ)上，使用特定數(shù)據(jù)集進行進一步的訓練，使模型適應(yīng)特定任務(wù)或領(lǐng)域。SFT

可以激發(fā)模型解決問題的能力，讓模型能夠準確地理解用戶指令，給出合理的輸出結(jié)果。簡單來說，微調(diào)主要目的是完成知識注入和指令對齊SFTSFT、訓練獎勵模型（Reward

Model，RM)、強化學習（Reinforcement

Learning，RL）。RLHFDPODPO的目的和RLHF一樣都是可以讓模型的輸出更偏向于人類喜好，但是相比RLHF，DPO不依賴于明確的獎勵建?；驈娀瘜W習，性能和計算成本更加輕量級。04

SFT常用方法大模型訓練的起手式LoRA在原模型旁邊增加一個旁路，通過低秩分解（先降維再升維）來模擬參數(shù)的更新，在訓練時只訓練矩陣A和B。FullParameterFine

Tuning通過更新所有參數(shù)來最大程度地優(yōu)化模型對新任務(wù)的理解和表現(xiàn)。FFT

訓練成本比較高，因為參數(shù)量和預(yù)訓練的相同。Adapter-basedTuning一種以串行形式加入到原模型中的模塊，使模型在推理時的速度降低了4%-6%，這使得在實際部署中往往不會考慮Adapter方法。Prefix

TuningPrefix

Tuning在每個Attention層都加入Prefix

Embedding來增加額外的參數(shù)。05

數(shù)據(jù)更加重要大模型訓練的起手式ChatmodelORbase

model預(yù)訓練模型選擇數(shù)據(jù)過于領(lǐng)域的數(shù)據(jù)會災(zāi)難性遺忘，但也某些實際業(yè)務(wù)場景，可以通過意圖識別+業(yè)務(wù)專屬模型解決。數(shù)據(jù)過多可能導致過擬合文本數(shù)據(jù)中，短文本多用戶交互，更多長文本均使用“文件”形式表達，“文檔理解”尤為重要。參數(shù)LR、

warmup、Epoch的目是讓Loss更快收斂文檔格式轉(zhuǎn)換釘釘文檔轉(zhuǎn)換為各種類型文檔，長圖、PDF、word、ppt..各類型文件的相互轉(zhuǎn)換場景分析一：文檔生成長圖文檔格式引擎文檔格式解析文檔與大模型交互，文檔還原度決定模型效果。超大文檔、超長文檔如何解決。場景分析二：文檔速讀場景文檔格式引擎場景分析三：文檔問答場景RAG

：文檔理解、分片、向量化Query優(yōu)化、召回策略排序策略架構(gòu)/產(chǎn)品：先學習，在檢索文檔格式引擎OOXML文檔格式引擎Markup

languagesOOXML核心OPC文檔格式引擎WordprocessingMLDocx是什么內(nèi)存結(jié)構(gòu)文檔格式引擎docx舉個例子內(nèi)存結(jié)構(gòu)文檔格式引擎文檔格式引擎PDF舉個例子協(xié)議數(shù)據(jù)文檔格式引擎文檔格式引擎大模型訓練實踐-AIPPT產(chǎn)品形態(tài)生成一個

PPT訓練模型生成

PPT核心問題大模型訓練實踐-AIPPTPPT內(nèi)存結(jié)構(gòu)訓練目標復(fù)雜場景的推理與訓練基于分治推理方案，整體任務(wù)使用樹描述遍歷推理。推理具備拆解任務(wù)的dataset具備葉子結(jié)點獨立計算的dataset具備任務(wù)回溯父節(jié)點的dataset訓練展望與思考安全更加重要模型訓練的數(shù)據(jù)安全模型應(yīng)用的數(shù)據(jù)安全大模型效果持續(xù)提升多模態(tài)迅速發(fā)展大模型成本持續(xù)降低Thanks！