計(jì)算機(jī)-ChatGPT技術(shù)演進(jìn)及研究框架

證券研究報(bào)告行業(yè)動態(tài)報(bào)告ChatGPTChatGPT技術(shù)演進(jìn)及研究框架yanguicheng@yufangbo@發(fā)布日期：2023年3月3日本報(bào)告由中信建投證券股份有限公司在中華人民共和國(僅為本報(bào)告目的，不包括香港、澳門、臺灣)提供。在遵守適用的法律法規(guī)情況下，本報(bào)告亦可能由中信建投(國際)證券有限公司在香港提供。同時(shí)請參閱最后一頁的重要聲明。觀點(diǎn)觀點(diǎn)：Transformer模型融合了詞向量、注意力機(jī)制和預(yù)訓(xùn)練模式的諸多優(yōu)勢，其出現(xiàn)標(biāo)志著深度學(xué)習(xí)進(jìn)入大模型時(shí)代。OpenAI推出基Transformer反饋強(qiáng)化學(xué)習(xí)的ChatGPT以其強(qiáng)大的語義理解和生成能力引爆了市場。技術(shù)側(cè)重點(diǎn)理解大模型訓(xùn)練中的核心四要素：模型進(jìn)入巨量化參數(shù)時(shí)代，模型算力需求邁上新臺階。相關(guān)投資機(jī)遇中，AI應(yīng)用落地情況。une。練算估算單次訓(xùn)練租用云服務(wù)器的成本是328萬美金。大模型在商業(yè)化落地之后，大量的客戶訪問還會帶來不菲的運(yùn)行成本，近期ChatGPT官網(wǎng)每日訪客數(shù)量接近5000萬，估算云上月租金576萬美元/每月，頭部企業(yè)開發(fā)大模型競爭力更強(qiáng)。AInAI二、訓(xùn)練好大模型的要素三、算力需求的展望四、投資邏輯梳理1.1早期自然語言處理(NLP)：基于規(guī)則方法/統(tǒng)計(jì)方法?第一階段(1950s-1980s)基于規(guī)則的方法：基于語言學(xué)家制定的規(guī)則完成相關(guān)任務(wù)。在對于訓(xùn)練數(shù)據(jù)的依賴?第二階段(1980s-2000s)基于統(tǒng)計(jì)的方法：將語言問題轉(zhuǎn)化為概率問題進(jìn)行模型構(gòu)建。優(yōu)點(diǎn)：數(shù)據(jù)驅(qū)動；相較于規(guī)則模型泛化能力強(qiáng)語言規(guī)則(例)：“from”總是指某些東西最初來自哪里，所以我ORIGIN“to”總是指某些東西的去向是哪里，所以用NATION1.2四大核心進(jìn)展推動神經(jīng)網(wǎng)絡(luò)方法在NLP領(lǐng)域發(fā)展?第三階段(2000s至今)：基于神經(jīng)網(wǎng)絡(luò)的方法逐步發(fā)展并得到大幅提升泛化能力更強(qiáng)，逐步挖掘語言知識缺點(diǎn)：數(shù)據(jù)需求大(質(zhì)量/數(shù)量)，訓(xùn)練成本高；可解釋性有限?核心進(jìn)展：1)詞向量的應(yīng)用明確了訓(xùn)練目標(biāo)，構(gòu)建起語義信息和數(shù)據(jù)之間的橋梁2)LSTM/注意力機(jī)制增強(qiáng)上下文理解能力，提高語義信息學(xué)習(xí)能力3)Transformer推動串行走向并行優(yōu)化計(jì)算結(jié)構(gòu)，大幅提升算法和語言模型的訓(xùn)練速度4)預(yù)訓(xùn)練明確了訓(xùn)練思路，解決了數(shù)據(jù)量不足的問題，降低了模型應(yīng)用的門檻?我們認(rèn)為以上核心進(jìn)展，推動了自然語言理解走向大模型，推動了語義理解和生成的大幅提高，并在更多場景落地應(yīng)用。圖表：基于神經(jīng)網(wǎng)絡(luò)的自然語言處理重要算法時(shí)間軸語言模型語言模型rmerERTTword2vecword2vecword2vec模型示意圖LSTM模型示意圖Transformer模型示意圖GPT模型示意圖語義關(guān)系的詞組具有相似的向量關(guān)系例：國家和首都的關(guān)系(紅框)形容詞比較級之間的關(guān)系(藍(lán)框)?詞向量(wordembedding)在早期的神經(jīng)網(wǎng)絡(luò)語言模型中便已經(jīng)出現(xiàn)，但一直沒有受到重視和關(guān)注，語義關(guān)系的詞組具有相似的向量關(guān)系例：國家和首都的關(guān)系(紅框)形容詞比較級之間的關(guān)系(藍(lán)框)?詞向量的重要意義：1)通過數(shù)學(xué)方法表征了語義信息(例如：通過余弦相似度計(jì)算單詞相關(guān)性)2)相較于過去的方法(獨(dú)熱編碼)其表征詞匯的矩陣大小被有效控制。?Word2Vec中詞向量的缺陷：缺少對于上下文文本的分析，一詞多義問題成為當(dāng)時(shí)限制模型語言分析能力的一大障礙。?我們認(rèn)為，詞向量的應(yīng)用，讓NLP領(lǐng)域的神經(jīng)網(wǎng)絡(luò)訓(xùn)練的訓(xùn)練目標(biāo)變得明確，為后續(xù)模型的發(fā)展奠定了基礎(chǔ)。圖表：利用Word2Vec產(chǎn)生單詞對應(yīng)的詞向量圖表：Word2Vec產(chǎn)生的詞向量能夠反映單詞之間的語義關(guān)系(二維)1.4RNN/LSTM/ELMO：逐步強(qiáng)化模型分析上下文能力右向的紅色箭頭表示當(dāng)前時(shí)刻的輸出參與下一時(shí)刻的計(jì)算遺忘門：決定向下傳遞中需要保留的內(nèi)容Xt為當(dāng)前時(shí)刻的輸入ht為當(dāng)前時(shí)刻的輸出?RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))解決了短程時(shí)序依賴問題右向的紅色箭頭表示當(dāng)前時(shí)刻的輸出參與下一時(shí)刻的計(jì)算遺忘門：決定向下傳遞中需要保留的內(nèi)容Xt為當(dāng)前時(shí)刻的輸入ht為當(dāng)前時(shí)刻的輸出?LSTM(長短期記憶)部分解決了長程時(shí)序依賴問題：LSTM引入了“遺忘”的結(jié)構(gòu)，在信息傳遞過程中改善了“信息過長，信息丟失”的問題，進(jìn)而使得模型可以學(xué)到相對遠(yuǎn)距離的信息。但其效果依然有限，串行計(jì)算也顯著影響了訓(xùn)練效率。?ELMO完善了上下文時(shí)序依賴問題：采用雙向LSTM結(jié)構(gòu)，同時(shí)學(xué)習(xí)上下文信息。?我們認(rèn)為，LSTM/ELMO強(qiáng)化了模型分析上下文的能力，進(jìn)而增強(qiáng)了模型的語義理解能力，較好解決了一詞多義問題。個(gè)過程便是短程依賴；文本內(nèi)容的學(xué)習(xí)便是長程依賴。綠綠色部分相當(dāng)于RNN結(jié)構(gòu)的ALanguageUnderstanding1.5注意力機(jī)制增強(qiáng)語義關(guān)聯(lián)，賦予模型并行運(yùn)算能力?核心思路：從文本中有選擇地篩選出少量重要信息并聚焦到這些重要信息上，忽略不重要的信息。?實(shí)現(xiàn)方法：單獨(dú)計(jì)算目標(biāo)單詞和全文所有單詞的“重要性”，進(jìn)而理解單詞和句子在語境中的含義。?重要意義：1)解決了“信息過長，信息丟失”問題：任意位置詞向量可關(guān)聯(lián)計(jì)算，一次性獲得局部和全局信息的關(guān)聯(lián)。2)擁有并行能力：每個(gè)單詞詞向量的計(jì)算不依賴于前個(gè)單詞詞向量，可實(shí)現(xiàn)并行計(jì)算。3)賦予了詞向量新的內(nèi)涵：提供了一些可解釋性(句法層面的特征)，如句子結(jié)構(gòu)中主語和謂語之間的關(guān)系?缺陷：對序列中的位置信息缺少考慮(后續(xù)通過在詞向量中加入位置信息解決)?變種：Self-Attention、MaskedSelf-Attention、Multi-HeadSelf-Attention等圖表：注意力機(jī)制獲得的單詞間重要性關(guān)系(SelfMaskedAttention)ention詞語而言重要的信息ntion個(gè)單詞而言重要的信息tention信息的重要性，不考adAttention含義重要的信息，再“組合”起來示重要性越強(qiáng)；例如對于第四句The詞用的是SelfMaskedtion門檻?預(yù)訓(xùn)練模型原理：對于語言/圖像處理而言，其淺層特征是通用的：底層網(wǎng)絡(luò)參數(shù)在面對不同任務(wù)時(shí)均可以復(fù)用。但隨著網(wǎng)絡(luò)層數(shù)增加，越深層的特征與具體任務(wù)的相關(guān)性便越強(qiáng)。例如人、車、大象圖像的淺層特征都是線條和輪廓。因此在模型淺層部分通過海量數(shù)據(jù)的預(yù)訓(xùn)練(Pre-training)，再根據(jù)具體下游場景訓(xùn)練深層特征做微調(diào)(Fine-tuning)。?我們認(rèn)為，預(yù)訓(xùn)練的應(yīng)用是具有跨時(shí)代意義的。一方面其解決了因神經(jīng)網(wǎng)絡(luò)日益復(fù)雜而帶來的數(shù)據(jù)需求日益增加的問題。另一方面，基于海量數(shù)據(jù)預(yù)訓(xùn)練后的模型，下游具體任務(wù)的訓(xùn)練速度被大大加快，準(zhǔn)確度也進(jìn)一步提高。圖圖表：預(yù)訓(xùn)練模型：基礎(chǔ)知識學(xué)習(xí)+具體任務(wù)學(xué)習(xí)游任務(wù)的訓(xùn)練速度法律文書知識英文小說創(chuàng)作小說知識PreTraining?Transformer模型的核心結(jié)構(gòu)是：編碼器(encoder)-解碼器(decoder)?工作原理：對于Transformer最初應(yīng)用的翻譯任務(wù)而言，其過程為輸入文本通過encoder編碼，經(jīng)過多層注意力增強(qiáng)機(jī)制提取特征后，學(xué)習(xí)并理解語句含義轉(zhuǎn)為詞向量，再由decoder解碼，基于前文詞向量生成文本，完成翻譯任務(wù)。?共同點(diǎn)：encoder和decoder都采取了多層多頭注意力進(jìn)行特征提取和學(xué)習(xí)，能夠深入挖掘文本的語義關(guān)聯(lián)信息?差異點(diǎn)：encoder：同時(shí)對上下文進(jìn)行理解，有更強(qiáng)的語言理解能力。decoder：使用多頭掩碼注意力機(jī)制，將輸入文本當(dāng)前詞以后的單詞掩蓋(masked)進(jìn)行訓(xùn)練，這與語言生成過程邏輯一致(由前往后逐詞生成，下一個(gè)單詞只與前文信息相關(guān))，因此decoder擁有更強(qiáng)的文本生成能力。圖表：Transformer模型結(jié)構(gòu)資料來源：Attentionisallyouneed，中信建投1.8基于Transformer，BERT&GPT分別采取了不同的策略?GPT：建立在TransformerDecoder的基礎(chǔ)上、具有良好的自然語言生成能力，然而當(dāng)前詞的語義只能由其前序詞決定，因此在語義理解上不足。一定程度上犧牲語義理解能力，換取更強(qiáng)的生成能力。BERTTransformerEncoder雖然使用雙向編碼讓BERT文本生成能力被削弱，?二者均采用預(yù)訓(xùn)練方法：第一階段使用大規(guī)模無標(biāo)簽語料訓(xùn)練基礎(chǔ)語言模型。第二階段根據(jù)指定任務(wù)的少量帶標(biāo)簽數(shù)據(jù)進(jìn)行微調(diào)訓(xùn)練。?我們認(rèn)為：1.Transformer創(chuàng)新性架構(gòu)設(shè)計(jì)為后續(xù)的語言模型奠定基礎(chǔ)，開啟了預(yù)訓(xùn)練大語言模型的時(shí)代。?2.谷歌和OpenAI引領(lǐng)大模型發(fā)展：谷歌和OpenAI先后于2018年提出基于Encoder的BERT和基于Decoder的GPT。谷歌在3年后加入OpenAIDecoderOpenAI極強(qiáng)的ChatGPT，引領(lǐng)全行業(yè)。BERTGPT圖表：Google和OpenAI在語言模型中的發(fā)展時(shí)間線資料來源：BERT：Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding，公司官網(wǎng)，中信建投1.9GPT1-3:不斷發(fā)掘模型容量和數(shù)據(jù)量增加帶來的性能提升?GPT-1使用了BooksCorpus數(shù)據(jù)集，這個(gè)數(shù)據(jù)集包含7,000本沒有發(fā)布的書籍。1.數(shù)據(jù)集擁有更長的上下文依賴關(guān)系，使得模型能學(xué)得更長期的依賴關(guān)系；2.這些書籍因?yàn)闆]有發(fā)布，所以很難在下游數(shù)據(jù)集上見到，更能驗(yàn)證模型的泛化能力。?GPT-2的文章取自于Reddit上高贊的文章，命名為WebText。數(shù)據(jù)集共有約800萬篇文章，累計(jì)體積約40G。為了避免和測試集的沖48/1600，滑動窗口大小為1024(一次性對于上下文的1024個(gè)單詞進(jìn)行關(guān)聯(lián)語義挖掘)。?GPT-3共訓(xùn)練了5個(gè)不同的語料，分別是低質(zhì)量的CommonCrawl，高質(zhì)量的WebText2，Books1，Books2和Wikipedia。GPT-3采用r?我們認(rèn)為，在Transformer模型的廣泛應(yīng)用中，參數(shù)量和預(yù)訓(xùn)練數(shù)據(jù)量的提升，快速提升了模型的表現(xiàn)能力。千億級參數(shù)量的模圖表：GPT系列模型的參數(shù)量與數(shù)據(jù)量不斷提升模型發(fā)布時(shí)間參數(shù)量預(yù)訓(xùn)練數(shù)據(jù)量0GBGPT-35TB1.10GPT1-3:針對下游任務(wù)輸入的不斷革新?GPT1-3的下游任務(wù)訓(xùn)練方法：GPT-1：針對不同下游任務(wù)，通過特殊格式的少量標(biāo)注數(shù)據(jù)集進(jìn)行訓(xùn)練(提供特殊格式的例子)。GPT-2：zero-shot，完全不提供例子，直接使用自然語言描述問題(taskdescription)，但實(shí)際效果有限。GPTzeroshotoneshotfewshot型完成相應(yīng)的下游任務(wù)。圖表：GPT-1對于不同下游任務(wù)的訓(xùn)練數(shù)據(jù)格式圖表：GPT3采用的zero-shot/one-shot/few-shot方法(左)與對應(yīng)性能(右)的強(qiáng)化學(xué)習(xí)?基于人類反饋的強(qiáng)化學(xué)習(xí)(RLHF)的強(qiáng)化學(xué)習(xí)1.使用人工標(biāo)注形成標(biāo)準(zhǔn)答案：在ChatGPT的兄弟版本InstructGPT中，40位人工標(biāo)注員針對一個(gè)詳細(xì)說明了下游任務(wù)的數(shù)據(jù)集，完成了13000個(gè)問答，基于這些這些問答組成的訓(xùn)練數(shù)據(jù)來調(diào)整模型。2.訓(xùn)練一個(gè)獎勵模型：針對模型給出的相同問題的多個(gè)回答，然后人工給這些問答對按一些標(biāo)準(zhǔn)(可讀性、無害、正確性等)進(jìn)行排序，訓(xùn)練一個(gè)獎勵模型/偏好模型來打分(rewardmodel)。3.持續(xù)更新網(wǎng)絡(luò)參數(shù)，在獎勵模型的激勵下使模型生成的答案不斷趨近于定義的標(biāo)準(zhǔn)答案。圖表：InstructGPT引入人類反饋的強(qiáng)化學(xué)習(xí)示意圖圖表：ChatGPT能力的來源 存儲知識的能力大語言模型中的海量參數(shù) 遵循不同指令的能力廣泛的指令學(xué)習(xí)資料來源：Traininglanguagemodelstofollowinstructionswithhumanfeedback，"HowdoesGPTObtainitsAbility?TracingEmergentAbilitiesofLanguageModelstotheirSources"，中信建投1.12ChatGPT與Bard對比GPTGPT包含1750億個(gè)參數(shù)量，預(yù)訓(xùn)練數(shù)據(jù)量為45TB。?在訓(xùn)練方式上，ChatGPT在GPT-3基礎(chǔ)上加入了人類反饋強(qiáng)化學(xué)習(xí)(RLHF)，采用人工標(biāo)注的方式將自然語言和強(qiáng)化學(xué)習(xí)結(jié)合起來，升了模型的效率和學(xué)習(xí)能力。?在數(shù)據(jù)集上，雖然原始LaMDA預(yù)訓(xùn)練數(shù)據(jù)量不如GPT-3，但Bard數(shù)據(jù)更新且與谷歌搜索引擎集成后能訪問大量數(shù)據(jù)，在獲取信息的 atGPT21年及以前的數(shù)據(jù)庫服務(wù)有免費(fèi)的也有付費(fèi)計(jì)劃選項(xiàng)更改谷歌設(shè)置即可獲得BardAI搜索，有比ChatGPT更新的數(shù)據(jù)服務(wù)是免費(fèi)的階段資料來源：谷歌，微軟，中信建投?微軟發(fā)布多模態(tài)大型語言模型(MLLM)KOSMOS-1。其基于Transformer模型，不但可以完成文本學(xué)習(xí)、指令遵循、上下文學(xué)習(xí)、文本生成等任務(wù)，還能夠?qū)⑽谋疽酝獾哪B(tài)(如視覺圖像、語音)嵌入到模型中，進(jìn)而完成多模態(tài)的下游任務(wù)。研究證明，在多個(gè)下游任務(wù)中，該模型具有非常優(yōu)異的性能。?其訓(xùn)練數(shù)據(jù)集包括文本語料庫、圖像-字幕對、圖像和文本交叉數(shù)據(jù)集；模型的參數(shù)總量為16億。?重要意義：多模態(tài)感知是實(shí)現(xiàn)通用人工智能的重要條件，多模態(tài)技術(shù)的發(fā)展將進(jìn)一步增強(qiáng)人工智能的知識獲取能力和高價(jià)值場景應(yīng)?我們認(rèn)為，多模態(tài)大語言模型蘊(yùn)含著更廣泛的應(yīng)用場景和更高的商業(yè)價(jià)值，將成為未來人工智能行業(yè)發(fā)展重要的競爭賽道，多模態(tài)技術(shù)的成熟也將進(jìn)一步加速人工智能技術(shù)在不同場景的落地應(yīng)用。圖表：KOSMOS-1在視覺問答方面的測試樣例圖表：KOSMOS-1在圖像對話/邏輯問答方面的測試樣例1.14預(yù)訓(xùn)練自然語言大模型學(xué)術(shù)研究情況?預(yù)訓(xùn)練自然語言的大模型相關(guān)研究得到爆發(fā)式發(fā)展。2017年Transformer模型誕生之后，隨即被應(yīng)用到自然語言、視覺識別等諸多領(lǐng)域，2018年自然語言預(yù)訓(xùn)練大模型的概念逐漸興起，通過在webofscience上檢索pre-trainedlanguagemodel(PLM)，我們發(fā)現(xiàn)自2018年之后，預(yù)訓(xùn)練大模型得到了學(xué)術(shù)圈的廣泛研究，相關(guān)學(xué)術(shù)論文數(shù)量也呈現(xiàn)爆發(fā)式增長。?2022年大部分企業(yè)都加大了自然語言大模型的研發(fā)力度。通過對相關(guān)企業(yè)的文獻(xiàn)數(shù)量研究，我們能夠窺測到：微軟、谷歌在自然語言大模型領(lǐng)域進(jìn)入較早且持續(xù)投入較大。整體來看，大部分企業(yè)在2022年都加快了自然語言模型的研發(fā)進(jìn)程，在ChatGPT爆圖：大模型的相關(guān)學(xué)術(shù)研究論文數(shù)量圖：不同企業(yè)的大模型學(xué)術(shù)論文的發(fā)表頻次0015712018201920202021202220238642020182019202020212022微軟華為阿里巴巴谷歌百度臉書IBM二、訓(xùn)練好大模型的要素三、算力需求的展望四、投資邏輯梳理型的參數(shù)增加到一定程度，模型性能會有一些突破性，參數(shù)量保持相同型的參數(shù)增加到一定程度，模型性能會有一些突破性，參數(shù)量保持相同的數(shù)據(jù)集會對模型預(yù)訓(xùn)練產(chǎn)生較好的性能提升。batchsize難度可以提升模型性能。PromptFinetune表現(xiàn)參數(shù)型訓(xùn)練與模型稀疏性是提升訓(xùn)練效率的三種方式 與模型稀疏性是提升訓(xùn)練效率的三種方式2.1大模型與小模型界定?大模型，又稱為基礎(chǔ)模型或者大規(guī)模預(yù)訓(xùn)練模型，是“大算力+強(qiáng)算法”結(jié)合的產(chǎn)物，大模型是人工智能發(fā)展的趨勢和未來。?大模型的一般訓(xùn)練過程：數(shù)據(jù)獲取-數(shù)據(jù)清洗-大模型訓(xùn)練-下游適配-終端應(yīng)用?大模型與小模型沒有非常清晰的界定，站在當(dāng)前時(shí)點(diǎn)來看，大模型一般具備如下特征：參數(shù)量(十億量級)和訓(xùn)練數(shù)據(jù)量(GB以上)巨大，一般采用transformer架構(gòu)；采用預(yù)訓(xùn)練模式，在通用數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，而不是直接在特定數(shù)據(jù)集進(jìn)行特定任務(wù)的訓(xùn)練；具備遷移學(xué)習(xí)能力，遷移學(xué)習(xí)的思想是將從一項(xiàng)任務(wù)(例如，圖像中的對象識別)中學(xué)到的“知識”應(yīng)用到另一項(xiàng)任務(wù)(例如，視頻中的行為識別)中，在Zero/One-shot中具有較好的表現(xiàn)，即訓(xùn)練樣本很少或者沒有的情況下，仍有較好性能。模型的訓(xùn)練過程依賴云端設(shè)備，無法在離線個(gè)人終端上實(shí)現(xiàn)；數(shù)據(jù)獲取數(shù)據(jù)清洗大模型訓(xùn)練下游適配終端應(yīng)用資料來源：OntheOpportunitiesandRisksofFoundationModels，中信建投2.2大模型與小模型建模過程的差異性?在訓(xùn)練步驟方面。大模型的訓(xùn)練過程主要包含如下步驟：數(shù)據(jù)獲取→數(shù)據(jù)清洗→大模型訓(xùn)練→下游適配→終端應(yīng)用，小模型的訓(xùn)練過程主要包含如下幾個(gè)步驟：任務(wù)制定→數(shù)據(jù)獲取→數(shù)據(jù)清洗→模型訓(xùn)練→模型調(diào)試→終端應(yīng)用。訓(xùn)練過程的差異性主要存在于以下兩個(gè)步驟中：?在數(shù)據(jù)獲取環(huán)節(jié)方面，大模型的訓(xùn)練文本一般是通用數(shù)據(jù)集，其訓(xùn)練文本并未針對特定領(lǐng)域進(jìn)行篩選。小模型的訓(xùn)練過程中首先制定任務(wù)目標(biāo)，針對特定目標(biāo)搜選訓(xùn)練數(shù)據(jù)集，適用于監(jiān)督學(xué)習(xí)的數(shù)據(jù)集同時(shí)需要標(biāo)注員進(jìn)行人工標(biāo)注。?在訓(xùn)練模式方面，大模型一般采用預(yù)訓(xùn)練模式，訓(xùn)練過程中并未針對下游特定任務(wù)，訓(xùn)練之后需要fine-tune(微調(diào))去在下游應(yīng)用領(lǐng)域適用。小模型在訓(xùn)練時(shí)包含特定任務(wù)，訓(xùn)練結(jié)束后經(jīng)過一定的參數(shù)微調(diào)，便可應(yīng)用到下游領(lǐng)域。圖表：BERT模型的預(yù)訓(xùn)練過程和下游任務(wù)微調(diào)?模型參數(shù)量對大模型的性能有重要影響，大模型的性能往往隨著模型參數(shù)量的增加而上升，多數(shù)是可以預(yù)見的，模型性能通常是依靠知識和簡單的文本操作來提高。大模型還存在一種不可預(yù)見現(xiàn)象，被稱為大模型的突現(xiàn)能力(emergentabilitiesorbreakthroughness)，指在特定任務(wù)中，伴隨著模型參數(shù)量的增加，會發(fā)生一些不存在于小模型的現(xiàn)象，這種現(xiàn)象不能簡單通過推斷小模型的性能改進(jìn)進(jìn)行預(yù)測，約有5%的大模型任務(wù)會出現(xiàn)大模型的突現(xiàn)能力。的層數(shù)增加到48層，GPT-3則為96層。此外，增加模型中詞向量長度，放大每層網(wǎng)絡(luò)中的構(gòu)件大小等均能提升模型效果。圖表：隨著參數(shù)量上升大模型性能具有突破性資料來源：EmergentAbilitiesofLargeLanguageModels，Quantifyingandextrapolatingthecapabilitiesoflanguagemodels，中信建投2.4語言模型對訓(xùn)練數(shù)據(jù)量提出更高需求?在大模型中，模型參數(shù)量大小和訓(xùn)練數(shù)據(jù)量應(yīng)該以大致相同的速度增長。的問題：DeepMind的最新論文中審視了當(dāng)前的模型發(fā)展，發(fā)現(xiàn)普遍存模型的大小與訓(xùn)練數(shù)據(jù)量不匹配。因?yàn)樵谶^去，業(yè)界普遍認(rèn)為大模型表現(xiàn)和參數(shù)量高度相關(guān)。但在實(shí)際訓(xùn)練中，算力是對模型最大的制約因素，模型參數(shù)不可能無限增長。?參數(shù)量與數(shù)據(jù)量應(yīng)匹配：在算力資源有限情況下，如何匹配模型參數(shù)量和數(shù)據(jù)量使得模型表現(xiàn)達(dá)到最優(yōu)，是非常重要的問題。?DeepMind最新的研究成果表明：對于固定的算力資源，模型參數(shù)大小和訓(xùn)練數(shù)據(jù)的大小是對應(yīng)的。1)OpenAI過去的工作發(fā)現(xiàn)，模型的尺寸應(yīng)該會比訓(xùn)練數(shù)據(jù)大小的增加更快。DeepMind現(xiàn)，模型的尺寸和訓(xùn)練數(shù)據(jù)的數(shù)量應(yīng)該以大致相同的速度增長。在最優(yōu)性能曲線(右下圖三條直線)中：DeepMind的Chinchilla(700億)模型，利用原先4倍的訓(xùn)練數(shù)據(jù)量，獲得了參數(shù)量和性能的最優(yōu)匹配?？梢钥吹紾opher(2800億)、GPT-3(1750億)、MT-NLG(5300億)等模型的訓(xùn)練量明顯不足，造成了對算力的浪費(fèi)。圖表：DeepMind訓(xùn)練大模型的參數(shù)圖表：DeepMind發(fā)現(xiàn)很多大模型參數(shù)量應(yīng)該有所降低ModelSize(#Parameters)LaMDA300BillionJurassic300BillionGopher280Billion300BillionTNLGB530Billion270BillionChinchilla70Billion資料來源：TrainingCompute-OptimalLargeLanguageModel，StateofAI2022，中信建投setCNNDMsetCNNDMSQnADEnDeEnF19.2480.8826.9839.82ered19.1478.7826.5539.341wslike19.2380.3926.7539.9019.3181.4226.8039.7419.3181.2926.9439.69TBC19.2882.0826.7739.63?對于大型語言模型而言，數(shù)據(jù)質(zhì)量可能更為重要。數(shù)據(jù)質(zhì)量包括數(shù)據(jù)準(zhǔn)確度、信息含量以及數(shù)據(jù)類型的多樣性等。?多年前谷歌提出的T5預(yù)訓(xùn)練模型，使用其專門構(gòu)造的C4數(shù)據(jù)集(ColossalCleanCrawledCorpus)，該數(shù)據(jù)集是從CommonCrawl網(wǎng)站上抓取數(shù)百個(gè)千兆字節(jié)干凈的英文文本，從而使得模型訓(xùn)練后，性能有較好的表現(xiàn)。據(jù)集包括CommonCrawl在內(nèi)的五類數(shù)據(jù)，但該模型并非根據(jù)數(shù)據(jù)量大小賦予同比例權(quán)重，而是將質(zhì)量較高的維基百科數(shù)據(jù)在訓(xùn)練數(shù)據(jù)量占比。?阿伯丁大學(xué)等相關(guān)學(xué)者(資料來源2)對訓(xùn)練數(shù)據(jù)集進(jìn)行了估算，結(jié)論到2026年左右，高質(zhì)量的NLP數(shù)據(jù)將會用光，低質(zhì)量NLP數(shù)據(jù)會在2030到2050年用光，而低質(zhì)量圖像數(shù)據(jù)會在2030到2060年用光。 圖表：T5模型C4數(shù)據(jù)集表現(xiàn)(前四類數(shù)據(jù)集是C4或者基于C4的變體)圖表：GPT-3數(shù)據(jù)集etngmixselapsedwhenainingforBtokensnCrawlfilteredbillion資料來源：1.ExploringtheLimitsofTransferLearningwithaUnifiedText-to-TextTransformer，2.Willwerunoutofdata?AnanalysisofthelimitsofscalingdatasetsinMachineLearning，3.LanguageModelsareFew-ShotLearners，中信建投2.6大模型需要更充分的預(yù)訓(xùn)練?大模型預(yù)訓(xùn)練階段主要通過在一定程度上增大batchSize(每一組數(shù)據(jù)的大小)和步長(在數(shù)據(jù)上移動的長度)實(shí)現(xiàn)。?典型的增大batchsize與步長的模型是BERT的改進(jìn)版本RoBERTa。RoBERTa是穩(wěn)健優(yōu)化的BERT方法，使用動態(tài)掩碼、更大的batchsize以及字節(jié)對編碼等進(jìn)行優(yōu)化。?RoBERTa在BERT的基礎(chǔ)上，通過增大batchsize(8K)和步長(100K->300K->500K)，使得BERT得到充分訓(xùn)練，極大提升了原圖表：RoBERTa模型使用大的batchSize和增加訓(xùn)練步數(shù)不同數(shù)據(jù)集的準(zhǔn)確率不同數(shù)據(jù)集的準(zhǔn)確率mooKsWIKI93.6/87.3additionaldata(§3.2)4.0/87.7pretrainlonger4.4/88.7pretrainevenlonger.4ooKsWIKIrge90.9/81.8ooKsWIKI94.0/87.8additionaldata94.5/88.8資料來源：RoBERTa:ARobustlyOptimizedBERTPretrainingApproach，中信建投2.7增加預(yù)訓(xùn)練任務(wù)的難度?大模型在進(jìn)行預(yù)測之前需要進(jìn)行預(yù)訓(xùn)練，如果預(yù)訓(xùn)練任務(wù)越有難度，則預(yù)訓(xùn)練模型則越能高效率學(xué)習(xí)知識，則最終模型能有更好的性能表現(xiàn)。以BERT為例，BERT有兩個(gè)預(yù)訓(xùn)練任務(wù)，分別是單詞級的MASK語言模型和句子級的下一句預(yù)測NSP模型。?MASK模型隨機(jī)選取一部分單詞進(jìn)行屏蔽，要求模型對屏蔽詞作出預(yù)測。MASK任務(wù)中，相較于簡單屏蔽一個(gè)獨(dú)立的單詞，通過屏蔽連續(xù)的單詞片段，對模型要求更高，訓(xùn)練效果也最好。?NSP的主要目的是判斷兩個(gè)句子之間的連貫性，正例由兩個(gè)連續(xù)句子構(gòu)成，負(fù)例的兩個(gè)句子順序則是隨機(jī)的，不具備上下文關(guān)系，NSP將連貫性預(yù)測和主題預(yù)測進(jìn)行了合并，只需要模型預(yù)測句子是否主題相似即可，任務(wù)比較簡單。在BERT模型的改進(jìn)版ALBERT中，用SOP代替了NSP，將兩個(gè)連續(xù)出現(xiàn)的句子構(gòu)造成正例，負(fù)例則將連續(xù)的句子調(diào)換語序，需要模型預(yù)測兩個(gè)句子出現(xiàn)順序是否正確，模型復(fù)雜度增加，但同時(shí)模型學(xué)到了更多知識，取得了比較好的訓(xùn)練效果。 utsPrefixlanguagemodelingankyouforinvitingmetoyourpartylastweek.Thankyou<M><M>metoyourpartyappleweek.fllingpartymeforyourto.lastfunyouinvitingweekThanktyleThankyou<M><M>metoyourparty<M>week.lid.noisE,replacespansThankyou<X>metoyourparty<Y>week.Xforinviting<Y>last<Z>lidnoisedroptokensThankyoumetoyourpartyweek.nvitinglastandomspansThankyou<X>to<Y>week.Xforinvitingme<Y>yourpartylast<Z>資料來源：ExploringtheLimitsofTransferLearningwithaUnifiedText-to-TextTransformer，中信建投2.8Fine-tune、Prompt提高模型下游任務(wù)表現(xiàn)Finetune用效果。但存大量的主干參數(shù)的數(shù)據(jù)且需要大量訓(xùn)練數(shù)據(jù)，成本較高；另一方面，在上下游任務(wù)目標(biāo)差異大時(shí)，微調(diào)難以解決問題；同時(shí)，不改變大部分參數(shù)，只針對輸出部分進(jìn)行調(diào)整，會導(dǎo)致過擬合問題。?Prompt方法主要通過改造下游任務(wù)的模板來縮小預(yù)訓(xùn)練和微調(diào)時(shí)的差異，降低微調(diào)成本，提高模型在下游的應(yīng)用效果。最大的優(yōu)點(diǎn)是零/小樣本，解決了Fine-tune最大的痛點(diǎn)。Prompt的設(shè)計(jì)分為模板設(shè)計(jì)、答案搜索和答案映射三步。?Prompt模板的設(shè)計(jì)方法主要分為人工構(gòu)建模板、離散模板和連續(xù)模板三種。其中，人工構(gòu)建的模板具有直觀、高效的特點(diǎn)，但是對專業(yè)知識的要求較低，但是在部分任務(wù)上性能不佳；連續(xù)模板在部分場景下性能超過Fine-tune，但是訓(xùn)練時(shí)間長、收斂速度慢，與預(yù)訓(xùn)練數(shù)據(jù)可能出現(xiàn)過耦合。 圖表：連續(xù)Propmt和Fine-tune調(diào)優(yōu)效果對比圖表：離散Propmt和Fine-tune調(diào)優(yōu)效果對比資料來源：Prefix-Tuning:OptimizingContinuousPromptsforGeneration，Autoprompt:Elicitingknowledgefromlanguagemodelswithautomaticallygeneratedprompts，中信建投2.9并行計(jì)算、顯存優(yōu)化與模型稀疏性提升訓(xùn)練效率?并行計(jì)算、顯存優(yōu)化與模型稀疏性設(shè)計(jì)是提升大模型訓(xùn)練效率的三種技術(shù)。?并行計(jì)算通過使用多張顯卡訓(xùn)練模型，將任務(wù)進(jìn)行拆解，分配給不同的處理器進(jìn)行處理，可以提高模型的訓(xùn)練效率。根據(jù)不同的維度，分為數(shù)據(jù)并行、流水線并行、張量并行三種。數(shù)據(jù)并行是將相同模型權(quán)重復(fù)制到多個(gè)設(shè)備，并將一部分?jǐn)?shù)據(jù)分配給每個(gè)設(shè)備同時(shí)處理；流水線并行是一種通過將模型并行與數(shù)據(jù)流水線相結(jié)合來加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方法，核心思想在于模型按層分割成若干塊，每塊都交給一個(gè)設(shè)備；張量并行是將一個(gè)張量沿特定維度分成若干部分在不同的設(shè)備上分別計(jì)算。?顯存優(yōu)化技術(shù)能夠降低顯存占用，提高GPU利用率，與并行計(jì)算相結(jié)合，節(jié)約模型訓(xùn)練的成本，實(shí)現(xiàn)在單GPU上訓(xùn)練大模型，包括激活檢查點(diǎn)(ActivationCheckpointing)、混合精度訓(xùn)練(MixPrecisionTraining)以及零冗余優(yōu)化器(ZeroRedundancyOptimizer)?模型稀疏性指的是模型具有非常大的容量，但只有模型的用于給定的任務(wù)、樣本或標(biāo)記的某些部分被激活。模型稀疏設(shè)計(jì)的優(yōu)點(diǎn)在激活整個(gè)模型，通過子模型處理不同類的任務(wù)，同時(shí)共享一部分模型。子模型擴(kuò)大了模型的容量，但是實(shí)際計(jì)算成本不圖表：并行策略圖表：零冗余優(yōu)化器優(yōu)化過程圖表：專家混合模型(MoE)是典型的模型稀疏性方法二、訓(xùn)練好大模型的要素三、算力需求的展望四、投資邏輯梳理3.1人工智能模型不同時(shí)段的算力需求人工智能模型的算力需求大致可以分為三個(gè)階段：2010-2015年，深度學(xué)習(xí)模型在傳統(tǒng)的自然語言、計(jì)算機(jī)視覺等領(lǐng)域開始戰(zhàn)勝支持向量機(jī)等算法，深度學(xué)習(xí)模型開始成為主流算法，隨著神經(jīng)網(wǎng)絡(luò)的層數(shù)和參數(shù)量的提升，算力需求的增長速度也顯著加快，大致每6個(gè)月翻一倍。2016年之后，人工智能模型開始進(jìn)入巨量參數(shù)時(shí)代，算力需求顯著提升。根據(jù)英偉達(dá)的算力統(tǒng)計(jì)顯示，自2017年之后，以Transformer模型為基礎(chǔ)架構(gòu)的大模型算力需求提升大致是每2年提升275倍。圖表：AI模型的算力需求逐步提升圖表：Transformer模型的算力需求顯著高于其他模型3.2預(yù)訓(xùn)練自然語言模型對算力提出更高需求?隨著大規(guī)模預(yù)訓(xùn)練自然語言模型的提出，模型的訓(xùn)練過程中提出了更高的算力要求。預(yù)訓(xùn)練模型通過無需人工標(biāo)注的大規(guī)模文本庫進(jìn)行高算力的預(yù)先訓(xùn)練，得到通用的語言模型和表現(xiàn)形式，再經(jīng)過特定應(yīng)用環(huán)境對預(yù)訓(xùn)練模型進(jìn)行微調(diào)，從而在各種下游應(yīng)用領(lǐng)域得到目標(biāo)任務(wù)的快速收斂和準(zhǔn)確率提升。預(yù)訓(xùn)練模型在訓(xùn)練過程中不針對下游任務(wù)進(jìn)行訓(xùn)練，模型的泛化學(xué)習(xí)能力使其具備廣泛的下游適應(yīng)能力，泛化學(xué)習(xí)能力與模型的參數(shù)量密切相關(guān)，因而參數(shù)巨量化成為預(yù)訓(xùn)練模型的典型特征。同時(shí)隨著訓(xùn)練數(shù)據(jù)量的顯著提升，預(yù)訓(xùn)練模型的訓(xùn)練過程中對算力提出了更高的要求。 圖表：大規(guī)模自然語言模型的參數(shù)量和算力需求圖表：訓(xùn)練大規(guī)模自然語言模型的算力需求型算力需求(PF-s力需求(flops)參數(shù)量(百萬)訓(xùn)練數(shù)據(jù)量(百萬tokens)算力需求(每參數(shù)·每文本)T5-SmallE03E00E03E1E13T5-3BE+213E02E2236E0E2066.93E+01.26E+216mallE0E06umE00E06ge6E1E16GPTBE01.77E+216GPTB6BE2E26TBE03E236資料來源：LanguageModelsareFew-ShotLearners，中信建投GLMGLM(130B)3.3超大規(guī)模自然語言模型的算力需求邁上新臺階?預(yù)訓(xùn)練自然語言模型進(jìn)入千億參數(shù)時(shí)代，模型訓(xùn)練算力邁上新臺階。自GPT-3模型之后，大規(guī)模的自然語言模型進(jìn)入了千億參數(shù)時(shí)代，2021年之后涌現(xiàn)出諸多千億規(guī)模的自然語言模型，模型的訓(xùn)練算力顯著增加。GPT-3模型參數(shù)量為1750億，訓(xùn)練算力需求為3.14E+23flops，當(dāng)前各種預(yù)訓(xùn)練語言模型還在快速的更新迭代，不斷刷新自然語言處理任務(wù)的表現(xiàn)記錄，單一模型的訓(xùn)練算力需求也不斷突破新高。 GPT-NeoX(20B)GPT-35B)GPT-j(6B)MegatronTuring-NLG(137B)Pan-Gu(200B)Pan-Gu(200B)FLAN(137B)OPT(175B)BLOOMB)Aug2022chatGPTJune2020ofAIReport，中信建投May2021Aug2021Sep2021HyperCLOVA(204B)Yuan1.0(246B)LaMDA(280B)May2022PaLM(540B)Nov20223.4大模型的算力需求主要來自三個(gè)環(huán)節(jié)?大模型的算力需求主要來自于三個(gè)環(huán)節(jié)：預(yù)訓(xùn)練得到大模型的訓(xùn)練環(huán)節(jié)。該環(huán)節(jié)中，算力呈現(xiàn)海量需求且集中訓(xùn)練的特點(diǎn)，大模型通常在數(shù)天到數(shù)周內(nèi)在云端完成訓(xùn)練。適應(yīng)下游領(lǐng)域時(shí)進(jìn)一步fine-tune環(huán)節(jié)。算力需求取決于模型的泛化能力以及下游任務(wù)的難度情況。大模型日常運(yùn)行時(shí)的推理環(huán)節(jié)。該環(huán)節(jié)中，算力取決于模型的參數(shù)量和用戶調(diào)用量，需求在模型商業(yè)化后持續(xù)存在且波動較大。 數(shù)據(jù)獲取數(shù)據(jù)清洗GPT模型訓(xùn)練商業(yè)應(yīng)用Finetune資料來源：中信建投3.5英偉達(dá)顯卡是AI模型算力的主流選擇?英偉達(dá)顯卡是AI模型中最常用的算力芯片。英偉達(dá)顯卡憑借較高的靈活性和成熟的軟件生態(tài)，成為當(dāng)前AI模型的主流選擇，根據(jù)學(xué)術(shù)論文的統(tǒng)計(jì)結(jié)果，英偉達(dá)顯卡使用的頻次是?英偉達(dá)顯卡實(shí)現(xiàn)人工智能算力的顯著提升。從V100-A100-H100的發(fā)展路徑來看，英偉達(dá)顯卡實(shí)現(xiàn)了FP64、FP32算力能力的持續(xù)提升，AI模型的訓(xùn)練速度穩(wěn)步加快，通過引入FP16、INT8Tensorcore，實(shí)現(xiàn)推理能力的顯著提升，單位能耗下的訓(xùn)練和推理能力也實(shí)現(xiàn)穩(wěn)步提升。 圖表：不同AI芯片在人工智能論文中的出現(xiàn)頻次圖表：英偉達(dá)不同GPGPU的性能參數(shù)比對A00A00V0FP64(TFlops)349.79.77.8FP32(TFlops)FP16Tensorcore(TFlops)INT8Tensorcore(TFlops)GPU顯存(GB)GPU帶寬(GB/s)互連(GB/s)功耗(W)發(fā)發(fā)布時(shí)間3.6AI服務(wù)器專注實(shí)現(xiàn)人工智能加速?隨著AI算力的需求提升，衍生出專注人工智能加速的AI服務(wù)器。在小模型時(shí)代，AI模型的訓(xùn)練和推理算力需求相對較小，依賴個(gè)人終端就可以實(shí)現(xiàn)。隨著模型參數(shù)的逐漸提升，AI模型開始依賴云端算力，云服務(wù)器承載了主要的算力需求。當(dāng)前，AI算力在數(shù)據(jù)中心的占比進(jìn)一步提升，衍生出了更加專業(yè)化的AI服務(wù)器。?以GPU為主的AI服務(wù)器實(shí)現(xiàn)人工智能的算力加速。AI服務(wù)器多采用異構(gòu)架構(gòu)，其中以2CPU+8GPU最為常見，AI服務(wù)器具有性能優(yōu)越、擅長并行計(jì)算、高帶寬、散熱能力強(qiáng)等優(yōu)點(diǎn)。圖表：傳統(tǒng)云服務(wù)器與AI服務(wù)器圖表：云服務(wù)器與AI服務(wù)器的差異傳統(tǒng)云服務(wù)器2CPU資料來源：浪潮信息，英偉達(dá)，中信建投AI服務(wù)器AICPUGPU側(cè)重串行計(jì)算側(cè)重并行計(jì)算、通信3.7ChatGPT類大模型的訓(xùn)練成本估算AI模型的訓(xùn)練算力與模型參數(shù)量、訓(xùn)練數(shù)據(jù)量有關(guān)：?ChatGPT模型訓(xùn)練的算力需求為3.14e+23FLOPs。?模型的有效算力利用率為21.3%(GPT-3訓(xùn)練效率)。?英偉達(dá)DGXA100服務(wù)器單精度2496TFLOP/s=2.50e+15FLOPs，訓(xùn)練時(shí)需要在DGXA100服務(wù)器上總訓(xùn)練時(shí)長164060小時(shí)(單個(gè)A100訓(xùn)練150年)。按照云服務(wù)器平均運(yùn)行成本估算，DGXA100服務(wù)器的小時(shí)租金是20美元，估算單次訓(xùn)練租用云服務(wù)器的成本是328萬美金。?其中只考慮了單模型的單次訓(xùn)練服務(wù)器租金，大模型訓(xùn)練次數(shù)可能不止一次且存在其他研發(fā)費(fèi)用沒有計(jì)入其中。 A金比對服務(wù)器164060ops3.8ChatGPT類大模型的運(yùn)行成本估算模型的運(yùn)行成本與模型參數(shù)量、用戶調(diào)用次數(shù)有關(guān):?750字(1ktoken=750字)文字生成的算力需求(以FLOPs為指標(biāo))約為N其中N為模型參數(shù)數(shù)量，生成750字消耗算力350TFLOPs。?根據(jù)Similarweb數(shù)據(jù)，近期chatGPT官網(wǎng)吸引的每日訪客數(shù)量接近5000萬。每小時(shí)平均訪問人數(shù)約210萬人，假定高峰時(shí)期同時(shí)在線人數(shù)450萬人，一小時(shí)內(nèi)每人問6個(gè)問題，每個(gè)問題回答60字。?用戶高峰時(shí)期的每小時(shí)算力需求:4500000*350*6*60/750=7.56E+8TFlops，考慮模型的有效算力利用率為21.3%，需要400臺A100服務(wù)器(3200塊英偉達(dá)A100芯片)支撐，400臺服務(wù)器在云上月租金576萬美元/每月。 圖表：ChatGPT官網(wǎng)的日均訪問量(百萬人次)006萬美元/月務(wù)器算力：2496TFlops二、訓(xùn)練好大模型的要素三、算力需求的展望四、投資邏輯梳理現(xiàn)狀市場特點(diǎn)發(fā)展趨勢1)預(yù)訓(xùn)練模型迭代對于算力提出更高要求，只有少數(shù)頭能夠負(fù)擔(dān)起高昂的訓(xùn)練成本2)高質(zhì)量的海量數(shù)據(jù)成為大語言模型充分訓(xùn)練的重要數(shù)據(jù)和數(shù)據(jù)處理相關(guān)公司將在產(chǎn)業(yè)中變得更加現(xiàn)狀市場特點(diǎn)發(fā)展趨勢1)預(yù)訓(xùn)練模型迭代對于算力提出更高要求，只有少數(shù)頭能夠負(fù)擔(dān)起高昂的訓(xùn)練成本2)高質(zhì)量的海量數(shù)據(jù)成為大語言模型充分訓(xùn)練的重要數(shù)據(jù)和數(shù)據(jù)處理相關(guān)公司將在產(chǎn)業(yè)中變得更加3)大模型訓(xùn)練的訓(xùn)練對企業(yè)協(xié)作提出更高要求，人工技術(shù)提供商和算力提供商協(xié)同合作，來完成大規(guī)