智能計(jì)算系統(tǒng)：從深度學(xué)習(xí)到大模型 第2版課件 9、第九章-大模型計(jì)算系統(tǒng)

智能計(jì)算系統(tǒng)

第九章大模型計(jì)算系統(tǒng)中國(guó)科學(xué)院計(jì)算技術(shù)研究所李威副研究員liwei2017@本章內(nèi)容定位2輸入輸出建模實(shí)現(xiàn)運(yùn)行大模型計(jì)算系統(tǒng)將前面各章介紹的智能算法、編程框架、芯片架構(gòu)、編程語(yǔ)言等內(nèi)容串聯(lián)起來(lái)，使讀者能真正融會(huì)貫通，從而全面地理解智能計(jì)算系統(tǒng)。提綱本章概述大模型算法分析大模型驅(qū)動(dòng)范例：BLOOM大模型系統(tǒng)軟件大模型基礎(chǔ)硬件本章小結(jié)3本章概述4大模型計(jì)算系統(tǒng)的整體架構(gòu)提綱本章概述大模型算法分析大模型驅(qū)動(dòng)范例：BLOOM大模型系統(tǒng)軟件大模型基礎(chǔ)硬件本章小結(jié)56VS大語(yǔ)言模型多模態(tài)大模型通過(guò)對(duì)自然語(yǔ)言進(jìn)行建模得到概率模型來(lái)預(yù)測(cè)某個(gè)位置的詞序列的概率從早期的統(tǒng)計(jì)語(yǔ)言模型發(fā)展到如今最受關(guān)注的大語(yǔ)言模型在各類(lèi)自然語(yǔ)言理解與生成任務(wù)中表現(xiàn)出了強(qiáng)大的能力在文本數(shù)據(jù)的基礎(chǔ)上將圖像、語(yǔ)音等多種模態(tài)數(shù)據(jù)也引入大模型重點(diǎn)是將多種模態(tài)數(shù)據(jù)對(duì)齊后進(jìn)行信息交互和融合將語(yǔ)言對(duì)應(yīng)的文本數(shù)據(jù)作為標(biāo)桿、將多種模態(tài)數(shù)據(jù)與文本數(shù)據(jù)進(jìn)行對(duì)齊，是實(shí)現(xiàn)多模態(tài)大模型的高效而實(shí)用的手段大語(yǔ)言模型是多模態(tài)大模型的基礎(chǔ)大語(yǔ)言模型和多模態(tài)大模型的比較大模型的獲得和使用7大模型的獲得和使用訓(xùn)練推理預(yù)訓(xùn)練微調(diào)在訓(xùn)練階段，需要使用大量的語(yǔ)料數(shù)據(jù)和大規(guī)模的計(jì)算資源，從頭訓(xùn)練大模型的模型參數(shù)推理是指在大模型訓(xùn)練完成后，使用大模型完成相關(guān)的任務(wù)預(yù)訓(xùn)練是使用大量無(wú)標(biāo)注的語(yǔ)料數(shù)據(jù)，旨在通過(guò)訓(xùn)練讓大模型學(xué)習(xí)到通用的語(yǔ)言能力和知識(shí)微調(diào)則是為了提升大模型在特定下游任務(wù)的表現(xiàn)，因此微調(diào)階段使用特定任務(wù)的數(shù)據(jù)訓(xùn)練大模型大模型算法分類(lèi)8僅編碼器架構(gòu)編碼器-解碼器架構(gòu)僅解碼器架構(gòu)編碼器解碼器大模型算法發(fā)展歷程9僅解碼器成為主流大模型算法計(jì)算需求10模型隨著其參數(shù)量和訓(xùn)練數(shù)據(jù)規(guī)模的不斷發(fā)展，其所需的訓(xùn)練資源越來(lái)越多，意味著對(duì)智能計(jì)算系統(tǒng)的需求也越來(lái)越復(fù)雜。DeepMind：訓(xùn)練所需計(jì)算量正比于參數(shù)規(guī)模x數(shù)據(jù)集規(guī)模大模型與智能計(jì)算芯片發(fā)展11需要從智能計(jì)算系統(tǒng)的軟硬件層面進(jìn)行系統(tǒng)的優(yōu)化設(shè)計(jì)，實(shí)現(xiàn)高效的大模型計(jì)算系統(tǒng)。五年十倍五年一萬(wàn)倍提綱本章概述大模型算法分析大模型驅(qū)動(dòng)范例：BLOOM大模型系統(tǒng)軟件大模型基礎(chǔ)硬件本章小結(jié)12大模型范例vs風(fēng)格遷移范例13BLOOM全名為

BigScienceLargeOpen-scienceOpen-accessMultilingualLanguageModel是由BigScience研究團(tuán)隊(duì)于2022年7月推出的開(kāi)源大模型大模型驅(qū)動(dòng)范例與風(fēng)格遷移驅(qū)動(dòng)范例對(duì)比BLOOM-176B模型結(jié)構(gòu)14BLOOM模型包含1760億個(gè)參數(shù)（下稱(chēng)BLOOM-176B模型），使用ROOTS數(shù)據(jù)集訓(xùn)練。BLOOM-176B模型主要包括70個(gè)解碼器塊。ROOTS語(yǔ)料庫(kù)是由BigScience研究團(tuán)隊(duì)提出的開(kāi)源語(yǔ)料庫(kù)，由498個(gè)數(shù)據(jù)集的組成，包含46種自然語(yǔ)言和13種編程語(yǔ)言在內(nèi)共59種語(yǔ)言，總共1.61TB文本。文本數(shù)據(jù)經(jīng)過(guò)分詞器進(jìn)行分詞后，可以轉(zhuǎn)化為1660億（166B）個(gè)詞元用于BLOOM-176B模型的訓(xùn)練。BLOOM-176B運(yùn)行平臺(tái)15集群共含52個(gè)高性能計(jì)算節(jié)點(diǎn)。實(shí)際運(yùn)行：48個(gè)計(jì)算節(jié)點(diǎn)，即總計(jì)384

GPUs熱備節(jié)點(diǎn)：4個(gè)計(jì)算節(jié)點(diǎn)混合并行技術(shù)—數(shù)據(jù)并行、張量并行（算子內(nèi)模型并行）、流水線(xiàn)并行訓(xùn)練拓展到數(shù)百塊GPU的同時(shí)保持高GPU利用率，加快訓(xùn)練速度BLOOM-176B模型包含70個(gè)解碼器塊，第1個(gè)階段分配了1個(gè)嵌入層與5個(gè)解碼器塊，第12階段分配了5個(gè)解碼器塊與1個(gè)嵌入層，其余階段均分配6個(gè)解碼器塊16模型并行度4流水線(xiàn)并行度1248個(gè)GPU處理一個(gè)數(shù)據(jù)并行模型副本的訓(xùn)練計(jì)算數(shù)據(jù)并行度8共384個(gè)GPUBLOOM-176B模型的訓(xùn)練過(guò)程張量并行MLP：矩陣按照行和列切分

Self-Attention：按照Head切分和按照行切分17BLOOM-176B模型的訓(xùn)練過(guò)程BLOOM-176B模型的訓(xùn)練過(guò)程數(shù)據(jù)并行與流水線(xiàn)并行18流水線(xiàn)并行組：P2P通信19并行組：每一個(gè)組內(nèi)的智能處理器之間會(huì)通過(guò)通信庫(kù)實(shí)現(xiàn)數(shù)據(jù)通信，是實(shí)際通信時(shí)的操作單元。進(jìn)一步可以分為數(shù)據(jù)并行組（dataparallelgroup）、張量模型并行組（tensormodelparallelgroup）和流水線(xiàn)模型并行組（pipelinemodelparallelgroup）BLOOM-176B模型的訓(xùn)練過(guò)程張量并行：ALL-Reduce通信數(shù)據(jù)并行：ALL-Reduce通信BLOOM-176B模型的推理過(guò)程自回歸推理由于缺乏正確的參考序列，在生成新詞元時(shí)依賴(lài)于之前結(jié)果，模型必須依賴(lài)于自身在前面的輸出來(lái)生成下一個(gè)詞元硬件：1個(gè)計(jì)算節(jié)點(diǎn)并行計(jì)算策略：張量并行或者流水線(xiàn)并行皆可20語(yǔ)言模型根據(jù)輸入句子的一部分文本來(lái)預(yù)測(cè)下一個(gè)詞StepNStepN+1StepN+221對(duì)于一個(gè)解碼器塊而言，

正向傳播時(shí)的浮點(diǎn)運(yùn)算主要分為5個(gè)部分按照運(yùn)算密度歸類(lèi)：

①④：Dense1

②③：Attention

⑤：Dense2①②③④⑤Attention①②③④⑤計(jì)算分析計(jì)算分析隨著序列變長(zhǎng)，注意力

計(jì)算量占總比逐漸提升但注意力的運(yùn)算密度始終低于智能處理器的運(yùn)算密度22多頭注意力的運(yùn)算可能成為大模型訓(xùn)練計(jì)算中的一個(gè)瓶頸。計(jì)算分析總浮點(diǎn)計(jì)算量：反向傳播計(jì)算量=正向傳播計(jì)算量*2。微批量b=2，全局批量B=16時(shí)，需34.8PFLOPs忽略存儲(chǔ)容量，一塊A100需要算數(shù)十分鐘23存儲(chǔ)分析243525GB需要至少45個(gè)80GB的智能處理器！實(shí)際應(yīng)用中，還需要存放神經(jīng)元數(shù)據(jù)，這進(jìn)一步增加了對(duì)存儲(chǔ)空間的需求模型權(quán)重優(yōu)化器狀態(tài)權(quán)重梯度激活值激活值梯度神經(jīng)元數(shù)據(jù)權(quán)重?cái)?shù)據(jù)AdamW優(yōu)化器FP32計(jì)算精度包括優(yōu)化器模型權(quán)重、優(yōu)化器動(dòng)量、優(yōu)化器方差僅梯度更新時(shí)

使用通信分析25除了通信數(shù)據(jù)量大以外，大模型訓(xùn)練的通信還具有以下特點(diǎn)：通信次數(shù)多，無(wú)論數(shù)據(jù)并行、張量并行、流水線(xiàn)并行，均會(huì)產(chǎn)生必要的數(shù)據(jù)通信和同步；通信分布不均勻，由于模型的前向和反向傳播時(shí)的算子依賴(lài)關(guān)系，某些層可能需要等待其他層完成后才能通信，導(dǎo)致通信在時(shí)間上不均勻。提綱本章概述大模型算法分析大模型驅(qū)動(dòng)范例：BLOOM大模型系統(tǒng)軟件大模型基礎(chǔ)硬件本章小結(jié)26為什么采用大模型系統(tǒng)軟件27傳統(tǒng)的深度學(xué)習(xí)系統(tǒng)軟件已經(jīng)難以滿(mǎn)足大模型的特殊需求。大模型系統(tǒng)軟件的出現(xiàn)是為了解決模型并行化、存儲(chǔ)管理、通信優(yōu)化等。大模型系統(tǒng)軟件更加注重資源利用的高效性、分布式計(jì)算的優(yōu)化、以及模型的可擴(kuò)展性。大模型系統(tǒng)軟件還需要考慮如何在有限的硬件資源上實(shí)現(xiàn)有效訓(xùn)練。傳統(tǒng)的深度學(xué)習(xí)系統(tǒng)軟件大模型系統(tǒng)軟件訓(xùn)練場(chǎng)景中計(jì)算相關(guān)優(yōu)化28稀疏注意力機(jī)制：通常情況下當(dāng)前詞與相鄰若干詞存在關(guān)聯(lián)，與很遠(yuǎn)的詞關(guān)聯(lián)較弱所有詞計(jì)算自注意力->信息冗余->注意力存在稀疏性稀疏注意力機(jī)制在原本全局注意力的基礎(chǔ)上，額外引入了局部注意力和隨機(jī)注意力的概念通過(guò)基于塊的稀疏運(yùn)算，將原始注意力機(jī)制的計(jì)算需求降低幾個(gè)數(shù)量級(jí)。通過(guò)稀疏注意力機(jī)制優(yōu)化，DeepSpeed可以用6倍的加速比執(zhí)行10倍長(zhǎng)的輸入序列，優(yōu)化效果顯著長(zhǎng)序列時(shí)，Attention的計(jì)算量顯著增加黃色、綠色和橙色分別表示全局注意力、局部注意力和隨機(jī)注意力訓(xùn)練場(chǎng)景中計(jì)算相關(guān)優(yōu)化29專(zhuān)用數(shù)據(jù)類(lèi)型：除了傳統(tǒng)的單精度浮點(diǎn)數(shù)據(jù)類(lèi)型（FP32）和半精度浮點(diǎn)數(shù)據(jù)類(lèi)型（FP16）之外，各類(lèi)智能硬件還設(shè)計(jì)了專(zhuān)用數(shù)據(jù)類(lèi)型，在基于混合精度訓(xùn)練的大模型訓(xùn)練過(guò)程中廣泛使用。數(shù)據(jù)類(lèi)型浮點(diǎn)算力FP3219.5TFLOPSTF32156TFLOPS（8xFP32）BF16/FP16312TFLOPS（16xFP32）使用TF32代替FP32可以幾乎不降低精度的情況下，提升運(yùn)算速度訓(xùn)練場(chǎng)景中存儲(chǔ)相關(guān)優(yōu)化——ZeRO系列存儲(chǔ)優(yōu)化ZeRO（零冗余優(yōu)化器）一級(jí)優(yōu)化301，優(yōu)化器狀態(tài)最多

2，數(shù)據(jù)并行訓(xùn)練存在多個(gè)副本優(yōu)化器狀態(tài)被分塊并分配到所有數(shù)據(jù)并行的GPU上，而不是被復(fù)制，并在訓(xùn)練過(guò)程中使用基于all-gather/broadcast的通信集合即時(shí)重建訓(xùn)練場(chǎng)景中存儲(chǔ)相關(guān)優(yōu)化——ZeRO系列存儲(chǔ)優(yōu)化31ZeRO系列存儲(chǔ)優(yōu)化策略ZeRO（零冗余優(yōu)化器）ZeRO-OffloadZeRO-Infinity將模型權(quán)重、梯度優(yōu)化以及優(yōu)化器這些數(shù)據(jù)分配到所有數(shù)據(jù)并行的GPU上，而不是被復(fù)制它將大模型訓(xùn)練時(shí)部分的模型參數(shù)和狀態(tài)卸載（Offload）到CPU上進(jìn)行存儲(chǔ)和計(jì)算以解決單個(gè)DLP存儲(chǔ)容量不足的問(wèn)題它不僅涉及到DLP片外存儲(chǔ)與CPU內(nèi)存之間的交互，更將部分?jǐn)?shù)據(jù)，特別是激活值，遷移到了高速的存儲(chǔ)介質(zhì)（如NVMeSSDs）訓(xùn)練場(chǎng)景中存儲(chǔ)相關(guān)優(yōu)化——重計(jì)算優(yōu)化32重計(jì)算優(yōu)化（recomputation）指的是在正向傳播時(shí)不保存所有層的激活值，而是僅保留部分層的計(jì)算結(jié)果作為檢查點(diǎn)（checkpoint），然后在反向傳播時(shí)再根據(jù)檢查點(diǎn)重新計(jì)算所需的激活值。選擇性重計(jì)算（selectiveactivationrecomputation），通過(guò)對(duì)Transformer層內(nèi)部計(jì)算量和和存儲(chǔ)量的量化分析，選擇性的將中間層的激活值保留或舍棄，最終能夠在引入可忽略不計(jì)的計(jì)算量的前提下，將激活值的存儲(chǔ)使用減少5倍。正向傳播反向傳播正向傳播時(shí)的激活值需要一直保留到反向傳播時(shí)使用，占用了很大的存儲(chǔ)空間計(jì)算換存儲(chǔ)，計(jì)算增加約30%-40%訓(xùn)練場(chǎng)景中存儲(chǔ)相關(guān)優(yōu)化——注意力機(jī)制融合優(yōu)化33長(zhǎng)序列時(shí)，Attention的計(jì)算中間結(jié)果存儲(chǔ)需求顯著增加，因此較長(zhǎng)的上下文長(zhǎng)度會(huì)引發(fā)了較大的訪(fǎng)存量，進(jìn)而影響了整體訓(xùn)練的性能。訓(xùn)練場(chǎng)景中存儲(chǔ)相關(guān)優(yōu)化——注意力機(jī)制融合優(yōu)化34注意力機(jī)制融合優(yōu)化可以對(duì)帶有softmax的矩陣乘法進(jìn)行分塊和融合，從而避免了O(s2)的片外訪(fǎng)存。最高3倍的性能提升訓(xùn)練場(chǎng)景中通信相關(guān)優(yōu)化35通信優(yōu)化旨在減少數(shù)據(jù)傳輸量、提高通信效率和減少通信與計(jì)算的競(jìng)爭(zhēng)。典型的如DeepSpeed中專(zhuān)為大模型訓(xùn)練引入的1-bitAdam算法優(yōu)化。通過(guò)1-bitAdam算法優(yōu)化，DeepSpeed可以在保持模型精度的同時(shí)，最大減少5倍的通信量，并獲得最高3.3倍的訓(xùn)練性能提升。具體來(lái)說(shuō)，1-bitAdam在每個(gè)訓(xùn)練步驟中首先計(jì)算出梯度的均值和方差，然后使用這些統(tǒng)計(jì)數(shù)據(jù)將梯度量化為1位，從而將原始的32位梯度值被壓縮為1位，減少了通信的數(shù)據(jù)量。此外，1-bitAdam還采用了累積誤差修正機(jī)制，確保量化過(guò)程中的誤差不會(huì)累積。推理場(chǎng)景中計(jì)算相關(guān)優(yōu)化——批處理優(yōu)化36(a)多個(gè)任務(wù)直接批處理：該方法靜態(tài)地設(shè)計(jì)一個(gè)最長(zhǎng)的序列長(zhǎng)度，若有任務(wù)提前結(jié)束（即輸出“END”），則其需要等待同一個(gè)批量中所有任務(wù)都完成后才能結(jié)束，因此會(huì)由于負(fù)載不均衡導(dǎo)致整體的吞吐較低。(b)連續(xù)批處理方法：該方法動(dòng)態(tài)地對(duì)任務(wù)進(jìn)行批處理。當(dāng)一個(gè)任務(wù)提前結(jié)束時(shí)，其會(huì)動(dòng)態(tài)地選擇一個(gè)新的任務(wù)進(jìn)行處理，其中選擇策略對(duì)于最終的吞吐率有很大的影響。一種常見(jiàn)的選擇策略是先到先服務(wù)策略，該策略選擇最近到達(dá)的任務(wù)進(jìn)行調(diào)度。推理場(chǎng)景中計(jì)算相關(guān)優(yōu)化——鍵值緩存優(yōu)化37鍵值緩存（KVcache）優(yōu)化指在處理一個(gè)序列時(shí)，通過(guò)緩存過(guò)去的生成結(jié)果以避免重復(fù)計(jì)算的方法，從而減少大模型推理的計(jì)算量。推理場(chǎng)景中存儲(chǔ)相關(guān)優(yōu)化——鍵值緩存分頁(yè)優(yōu)化38前述KVcache優(yōu)化中，由于碎片化和過(guò)度保守的分配策略，可能導(dǎo)致60%到80%的存儲(chǔ)浪費(fèi)。針對(duì)KVcache的分頁(yè)優(yōu)化借鑒了操作系統(tǒng)中的分頁(yè)思想，通過(guò)分頁(yè)的方法提高系統(tǒng)對(duì)存儲(chǔ)的利用率。將每個(gè)序列的KVcache劃分為塊，每個(gè)塊包含固定數(shù)目token的鍵（Key）和值（Value），采用非連續(xù)的存儲(chǔ)分配方案，其中塊內(nèi)數(shù)據(jù)連續(xù)，則可以將空間浪費(fèi)率降低至5.5%推理場(chǎng)景中存儲(chǔ)相關(guān)優(yōu)化——量化優(yōu)化32位存儲(chǔ)下，大模型的模型權(quán)重和激活值將占據(jù)大量的存儲(chǔ)空間。大模型量化的難度體現(xiàn)在激活值量化上，因?yàn)榧せ顝埩吭谕ǖ谰S度上存在少量（約0.1%）的異常值如果都使用一個(gè)縮放系數(shù)對(duì)整個(gè)張量進(jìn)行量化，則會(huì)導(dǎo)致取值較小的通道有嚴(yán)重的精度損失，導(dǎo)致整體精度較差。解決思路：僅權(quán)重量化、混合精度分解以及量化難度轉(zhuǎn)移39模型權(quán)重權(quán)重?cái)?shù)據(jù)激活值神經(jīng)元數(shù)據(jù)提綱本章概述大模型算法分析大模型驅(qū)動(dòng)范例：BLOOM大模型系統(tǒng)軟件大模型基礎(chǔ)硬件本章小結(jié)40大模型計(jì)算節(jié)點(diǎn)——計(jì)算節(jié)點(diǎn)的拓?fù)浣Y(jié)構(gòu)41單個(gè)大模型計(jì)算節(jié)點(diǎn)主要包括若干CPU構(gòu)成的控制單元、主機(jī)端存儲(chǔ)單元和若干DLP板卡構(gòu)成的計(jì)算單元。大模型計(jì)算節(jié)點(diǎn)——計(jì)算節(jié)點(diǎn)的拓?fù)浣Y(jié)構(gòu)42不同拓?fù)浣Y(jié)構(gòu)主要影響的是：處理器與DLP板卡之間的總通信帶寬，DLP板卡之間互相通信的帶寬，DLP板卡之間互相通信的延遲。大模型計(jì)算節(jié)點(diǎn)——智能處理器的互聯(lián)43AcceleratorL