信息技術(shù)行業(yè)大模型技術(shù)進(jìn)化論系列二：性能進(jìn)階的GPT2與GPT3

分析師及聯(lián)系人SACS0030004后評(píng)級(jí)說(shuō)明和重要聲明OpenAI于2019年推出了GPT-2，于2020年推出了GPT-3。GPT-2與GPT-3沿襲了初代力上升，所以省略了調(diào)參步驟；3)小樣本學(xué)習(xí)(fewshotlearning)能力迅速提高。帶來(lái)性能提升在自然語(yǔ)言處理任務(wù)上的性能相對(duì)于初代GPT有了明顯提升，可以較好的實(shí)現(xiàn)文本生成、文GPT-3在大多數(shù)任務(wù)中的表現(xiàn)超過(guò)了絕大多數(shù)的當(dāng)時(shí)存在的經(jīng)過(guò)小樣本學(xué)習(xí)的最先進(jìn)的模型 GPTGPT化能力，在提高訓(xùn)練數(shù)據(jù)T本學(xué)習(xí)的性能與樣本幾乎成正比；當(dāng)樣本數(shù)超過(guò)10時(shí)，性能增長(zhǎng)的邊際變化下降，逐漸趨于GPTGPT以商業(yè)化落地的階段，業(yè)界OpenAIGPT如今浪潮之巔的ChatGPT。后評(píng)級(jí)說(shuō)明和重要聲明-20投資評(píng)級(jí)看好丨維持 術(shù)滬深300指數(shù)%%2022/42022/82022/122023/4研究?《商湯推出日日新，大算力+大裝置共筑繁華未?《阿里通義千問(wèn)邀測(cè)，風(fēng)好正是揚(yáng)帆時(shí)》2023-04-?《Meta發(fā)布SAM，CV領(lǐng)域迎來(lái)GPT時(shí)刻》2023-04-10行業(yè)研究|專題報(bào)告3/3/14 圖1：Attention機(jī)制給不同的詞賦予不同的權(quán)重 4 T GPT 6圖7：GPT-2(1542M)在9個(gè)任務(wù)上的表現(xiàn)都超越了初代GPT(117M) 7圖8：GPT-2模型文本總結(jié)任務(wù)的性能在參數(shù)量提升后稍有下滑 7圖9：初代GPT與BERT通過(guò)無(wú)監(jiān)督預(yù)訓(xùn)練+調(diào)參來(lái)得到最終模型 8 圖13：如果將大模型的調(diào)參和小樣本學(xué)習(xí)類比成考試 9GPT-3性能會(huì)隨著可學(xué)樣本數(shù)量提高而提高 10 圖17：GPT-2的性能稍弱于BERT 11圖18：當(dāng)任務(wù)數(shù)據(jù)規(guī)模提高后，GPT-2的性能可以追上BERT 11BERTRoERTaGPT-2與GPT-3 11BERTGPT式的影響 12T 4/4/14GPTGPT-3有哪些技術(shù)突破？《大模型技術(shù)演進(jìn)系列一》報(bào)告，我們比較了初代GPT與BERT兩類大模型的技術(shù)路線，得出了初代GPT采用的Decoder架構(gòu)+自回歸的訓(xùn)練模式更有發(fā)展前景的習(xí)方法進(jìn)行。任意兩個(gè)位置之間的距離縮小為一個(gè)常量，并且在處理序列數(shù)據(jù)時(shí)對(duì)相關(guān)部分進(jìn)下文關(guān)注。Attention資料來(lái)源：Github，長(zhǎng)江證券研究所資料來(lái)源：Github，長(zhǎng)江證券研究所?Decoder架構(gòu)與自回歸訓(xùn)練模式：此外，GPT-2與GPT-3同樣采用了大模型kedselfAttention5/5/14無(wú)標(biāo)注數(shù)據(jù) (7000本書(shū))無(wú)標(biāo)注數(shù)據(jù) (40GBReddit網(wǎng)站資料)練無(wú)標(biāo)注數(shù)據(jù) (45TB多種來(lái)源數(shù)據(jù))搭建初代GPT模型12層Decoder512Token長(zhǎng)度搭建GPT-3模型9無(wú)標(biāo)注數(shù)據(jù) (7000本書(shū))無(wú)標(biāo)注數(shù)據(jù) (40GBReddit網(wǎng)站資料)練無(wú)標(biāo)注數(shù)據(jù) (45TB多種來(lái)源數(shù)據(jù))搭建初代GPT模型12層Decoder512Token長(zhǎng)度搭建GPT-3模型96層Decoder2048Token長(zhǎng)度無(wú)目的性預(yù)訓(xùn)練無(wú)目的性預(yù)訓(xùn)練得到1.17億參數(shù)的GPT-1性能弱、泛化能力弱得到1750億參數(shù)的GPT-3性能強(qiáng)、泛化能力強(qiáng)監(jiān)督數(shù)據(jù)調(diào)參泛化能力強(qiáng)，所以省略了調(diào)參步驟出現(xiàn)AI任務(wù)出現(xiàn)AI任務(wù)將大模用于N型直接LP任務(wù)通過(guò)小樣本學(xué)習(xí)提升性能習(xí)勉強(qiáng)完成任務(wù)基本完成任務(wù)較好完成任務(wù)tionMaskedselfAttention資料來(lái)源：Github，長(zhǎng)江證券研究所升；3)小樣本學(xué)習(xí)(fewshotlearning)能力T搭搭建GPT-2模型48層Decoder1024Token長(zhǎng)度無(wú)無(wú)目的性預(yù)訓(xùn)練得到15.4億參數(shù)的GPT-2性能中等、泛化能力中等泛化能力以省略了調(diào)參步驟出現(xiàn)AI任務(wù)將大模用于N直接LP任務(wù)資料來(lái)源：機(jī)器之心，Sigmoid，lambdalab，長(zhǎng)江證券研究所6/6/14升RedditGPT的10TBGPT系列大模型技術(shù)突破參數(shù)(億)大小類型本學(xué)習(xí)能力Corpus低低層DecoderGBeddit中低DecoderTBooksWikipedia高高資料來(lái)源：機(jī)器之心，Sigmoid，lambdalab，長(zhǎng)江證券研究所GPT-2與GPT-3的Token長(zhǎng)度從初代GPT的512上漲到1024和2048。大模型的Token長(zhǎng)度與每次可輸入的文本長(zhǎng)短有直接聯(lián)系，長(zhǎng)度升級(jí)使得GPT大模型處理長(zhǎng)文1400詞(1Token≈0.7單詞)。GPTGPT不斷提升。在訓(xùn)練資料來(lái)源：《LanguageModelsareFew-ShotLearners》OpenAI，長(zhǎng)江證券研究所T資料來(lái)源：《LanguageModelsareFew-ShotLearners》OpenAI，長(zhǎng)江證券研究所7/7/14語(yǔ)言任務(wù)上，結(jié)果證明GPT-2在8項(xiàng)任務(wù)上的表現(xiàn)遠(yuǎn)超當(dāng)時(shí)最先進(jìn)的自然語(yǔ)言處理模得它在自然語(yǔ)言處理任務(wù)上的性能相對(duì)于初代GPT有了明顯提升，可以較好的實(shí)現(xiàn)文圖7：GPT-2(1542M)在9個(gè)任務(wù)上的表現(xiàn)都超越了初代GPT(117M)資料來(lái)源：《LanguageModelsareUnsupervisedMultitaskLearners》OpenAI，長(zhǎng)江證券研究所SOTAGPT多復(fù)雜的NLPSOTA卷問(wèn)答、模式解析、機(jī)器翻譯等。當(dāng)GPT-2的參數(shù)量從7.62億上升到15.4億，模型性能反而略微下滑。出現(xiàn)這一結(jié)果資料來(lái)源：《LanguageModelsareUnsupervisedMultitaskLearners》OpenAI，長(zhǎng)江證券研究所GPTBERTNLP務(wù)中比較主流的模式是預(yù)訓(xùn)練+調(diào)參。這種模式。GPTBERT模型預(yù)訓(xùn)練+調(diào)參=目標(biāo)模型大規(guī)模無(wú)標(biāo)注數(shù)據(jù)模型預(yù)訓(xùn)練 (Pre-training)泛用性增強(qiáng)任務(wù)特定訓(xùn)練數(shù)據(jù)模型微調(diào) (Fine-tuning)根據(jù)場(chǎng)景調(diào)整數(shù)據(jù)最終模型得到特定所需資料來(lái)源：清華NLP團(tuán)隊(duì)，openBMB，長(zhǎng)江證券研究所高泛化能力允許oqT-S與oqT-t大模型都省略了調(diào)參步驟。GPT-2論文標(biāo)題為reUnsupervisedMultitaskLearnersGPTTGPTGPT-3拋棄調(diào)資料來(lái)源：《LanguageModelsareFew-ShotLearners》OpenAI，長(zhǎng)江證券研究所oqTSGPT之后雖然在大部分任務(wù)中已經(jīng)有oqT-t通過(guò)小樣本學(xué)習(xí)提高模型泛化能力。GPT-3大模型不再去追求極致的不需要任個(gè)任務(wù)。9/9/14小樣本學(xué)習(xí)不復(fù)習(xí)，簡(jiǎn)單瀏覽考題流程簡(jiǎn)單但性能不如調(diào)參小樣本學(xué)習(xí)不復(fù)習(xí)，簡(jiǎn)單瀏覽考題流程簡(jiǎn)單但性能不如調(diào)參資料來(lái)源：《LanguageModelsareFew-ShotLearners》OpenAI，長(zhǎng)江證券研究所資料來(lái)源：斯坦福AI實(shí)驗(yàn)室，長(zhǎng)江證券研究所調(diào)參調(diào)參考考前認(rèn)真復(fù)習(xí)性性能較高但流程復(fù)雜資料來(lái)源：長(zhǎng)江證券研究所GPTGPT的結(jié)果來(lái)看，對(duì)于1750億的10/10/14資料來(lái)源：《LanguageModelsareFew-ShotLearners》OpenAI，長(zhǎng)江證券研究所T-13億之間，模型無(wú)樣本學(xué)習(xí)的表現(xiàn)反而高于小樣本學(xué)習(xí)。通俗來(lái)講：小參數(shù)量的大模資料來(lái)源：《LanguageModelsareFew-ShotLearners》OpenAI，長(zhǎng)江證券研究所資料來(lái)源：《LanguageModelsareFew-ShotLearners》OpenAI，長(zhǎng)江證券研究所性能提升，但市場(chǎng)表現(xiàn)不及預(yù)期GPTGPT。11/11/14資料來(lái)源：《iReason:MultimodalCommonsenseReasoningusingVideosandNaturalLanguagewithInterpretability》Chadhaetal.，長(zhǎng)江證券研究所RT資料來(lái)源：《AStudyonPrompt-basedFew-ShotLearningMethodsforBeliefStateTrackinginTask-orientedDialogSystems》Sahaetal.，長(zhǎng)江證券研究所為了解決GPT-3性能不足的問(wèn)題，OpenAI在2023年推出了根據(jù)GPT-3調(diào)參的ChatGPT了Decoder架構(gòu)與訓(xùn)練模式帶來(lái)的問(wèn)題，越過(guò)了文本推理與文本資料來(lái)源：Paperwithcode，長(zhǎng)江證券研究所12/12/14資料來(lái)源：長(zhǎng)江證券研究所13/13/14風(fēng)險(xiǎn)提示AI型創(chuàng)新伴隨參數(shù)量及模態(tài)的增速能力天花板尚未達(dá)到，但模型效果本身仍存瓶頸及問(wèn)題，倘若AI技術(shù)發(fā)展不及預(yù)期，投入廠商仍然存在2、下游應(yīng)用需求不及預(yù)期，人工智能本質(zhì)是通過(guò)供給創(chuàng)新催生需求擴(kuò)容，目前大模型行業(yè)研究|專題報(bào)告14/14/142個(gè)月內(nèi)行業(yè)股票指數(shù)的漲跌幅相對(duì)同期相關(guān)證券市場(chǎng)代表性指數(shù)的漲跌幅為基準(zhǔn)，投資建議的評(píng)平公司評(píng)級(jí)報(bào)告發(fā)布日后的12個(gè)月內(nèi)公司的漲跌幅相對(duì)同期相關(guān)證券市場(chǎng)代表性指數(shù)的漲跌幅為基準(zhǔn)，投資建議的評(píng)級(jí)標(biāo)準(zhǔn)為：相關(guān)證券市場(chǎng)代表性指數(shù)說(shuō)明：A股市場(chǎng)以滬深300指數(shù)為基準(zhǔn)；新三板市場(chǎng)以三板成指(針對(duì)協(xié)議轉(zhuǎn)讓標(biāo)的)或三板做市指數(shù) (針對(duì)做市轉(zhuǎn)讓標(biāo)的)為基準(zhǔn)；香港市場(chǎng)以恒生指數(shù)為基準(zhǔn)。AddAdd區(qū)淮海路88號(hào)長(zhǎng)江證券大廈37樓P.C/(430015)Add/深圳市福田區(qū)中心四路1號(hào)嘉里建設(shè)廣場(chǎng)3期36樓P.C/(518048)Add/浦東新區(qū)世紀(jì)大道1198號(hào)世紀(jì)匯廣場(chǎng)一座29層P.C/(200122)Add/西城區(qū)金融街33號(hào)通泰大廈15層P.C/(100032)作者具有中國(guó)證券業(yè)協(xié)會(huì)授予的證券投資咨詢執(zhí)業(yè)資格并注冊(cè)為證券分析師，以勤勉的職業(yè)態(tài)度，獨(dú)立、客觀地出具本報(bào)告。分析邏輯基于作者的職業(yè)理解，本報(bào)告清晰準(zhǔn)確地反映了作者的研究觀點(diǎn)。作者所得報(bào)酬的任何部分不曾與，不與，也不將與本報(bào)告中的具體推薦意見(jiàn)或觀點(diǎn)而有直接或間接聯(lián)系，特此聲明。長(zhǎng)江證券股份有限公司具有證券投資咨詢業(yè)務(wù)資格，經(jīng)營(yíng)證券業(yè)務(wù)許可證編號(hào)：10060000。本報(bào)告僅限中國(guó)大陸地區(qū)發(fā)行，僅供長(zhǎng)江證券股份有限公司(以下簡(jiǎn)稱：本公司)的客戶使用。本公司不會(huì)因接收人收到本報(bào)告而視其為客戶。本報(bào)告的信息均來(lái)源于公開(kāi)資料，本公司