黃武偉：小米大模型端側(cè)部署落地探索-2024-10-新勢力

小米大模型端側(cè)部署落地探索小米/大模型算法工程師 02LLM端側(cè)部署的挑戰(zhàn) 03 03相關(guān)技術(shù)探索 04總結(jié)與展望在終端設(shè)備上直接運(yùn)行和處理人工智能算法隱私和安全：所有數(shù)據(jù)的存儲和計隱私和安全：所有數(shù)據(jù)的存儲和計算都在本地完成，避免了數(shù)據(jù)傳輸?shù)皆贫丝赡軒淼陌踩L(fēng)險。可靠性：端側(cè)AI減少了對網(wǎng)絡(luò)連接的依賴，即使在網(wǎng)絡(luò)不穩(wěn)定或斷開的情況下也能正常工作，提高了系統(tǒng)的魯棒成本效益：端側(cè)A成本效益：端側(cè)AI減少了對云端計算資源的需求，有助于降低成本，特別是在大規(guī)模部署時更為明顯。個性化服務(wù)：端側(cè)AI可以根據(jù)用戶的具體使用習(xí)慣和偏好提供更加個性化的服務(wù)，增強(qiáng)用戶體驗(yàn)。小米為什么做端側(cè)AIl輕量化、本地部署是小米大模型技術(shù)主力突破方向l小米的端側(cè)設(shè)備數(shù)量大LLM端側(cè)部署的挑戰(zhàn)存儲差異存儲差異服務(wù)器GPU手機(jī)計算能力數(shù)百TFLOPS的算力（如相對較低大容量顯存有限的內(nèi)存和存儲（通常幾個GB到十幾GB）功耗設(shè)計用于高功耗環(huán)境，散熱要求高低功耗設(shè)計，優(yōu)化能效帶寬A100顯存帶寬接近1.6TB/sNPU約70G/s6B模型6B模型模型分片？推理速度對于母語讀者，平均閱讀速度通常在300至500個字每分鐘。（50+字/s）快速閱讀者或經(jīng)過訓(xùn)練的讀者可以達(dá)到500至700字每分鐘，甚至更高。（100+字/s）相關(guān)技術(shù)探索大模型推理時延減少計算量減小數(shù)據(jù)搬運(yùn)?投機(jī)推理移除神經(jīng)網(wǎng)絡(luò)中不重要的權(quán)重，或者完全移除這些權(quán)重對應(yīng)的神經(jīng)元連接。非結(jié)構(gòu)化剪枝結(jié)構(gòu)化剪枝半結(jié)構(gòu)化剪枝結(jié)構(gòu)化剪枝目前硬件支持最友好剪層剪Head剪枝校準(zhǔn)目標(biāo)：加mask訓(xùn)練模型，優(yōu)化一般的Sheared-Llama會剪深度和?損失較大?KVcache壓縮不足l剪枝+少量恢復(fù)訓(xùn)練超越相同大小的預(yù)訓(xùn)練模型l簡單但很重要，這個結(jié)論讓剪枝有了意義我們的結(jié)構(gòu)設(shè)計有以下特點(diǎn)：3）參數(shù)量相近時，KVcache顯著減小剪枝效果結(jié)構(gòu)搜索?在深度學(xué)習(xí)領(lǐng)域，量化是將浮點(diǎn)數(shù)值轉(zhuǎn)化為定點(diǎn)數(shù)值的方法。優(yōu)點(diǎn)存儲開銷帶寬開銷（顯存->SRAM）計算開銷量化反量化量化反量化?z)·s影響量化精度的幾個因素?量化位寬?量化粒度?量化范圍量化中權(quán)重的Outlier對于精度影響較大[0.1,0.2,3.6]->[0,0,4]消除權(quán)重中的異常值！[0.1,0.2,0.6]->[0,0.2,0.6]消除權(quán)重中的異常值！數(shù)值分布范圍縮小，量化相對容易!參數(shù)彌補(bǔ)?逐行量化參數(shù)，適當(dāng)調(diào)整未量化的權(quán)重來彌補(bǔ)造成已經(jīng)量化參數(shù)的損失量化方法選擇上注意的問題結(jié)合硬件特性額外計算和存儲開銷?對于每個通道的minmax進(jìn)行放縮?使用MSEloss獲得最優(yōu)的放縮系數(shù)?將權(quán)重和激活中難量化的值進(jìn)行等價轉(zhuǎn)移操作大模型推理的兩個階段預(yù)填充KVcache自回歸1）每次前向計算只生成一個詞2）LLM前向需要大量的數(shù)據(jù)訪問和搬運(yùn)解決方案：投機(jī)推理?充分利用算力?減少帶寬壓力?一次前向生成多個tokens投機(jī)推理的流程解碼候選采用原LLM對解碼候選做并行驗(yàn)證，保留符合輸出條件的部分生成投機(jī)詞通過：Attentionmask?采樣和驗(yàn)證融合