前瞻研究全球人工智能AI行業(yè)產(chǎn)業(yè)研究手冊(cè)：從算法演進(jìn)到產(chǎn)業(yè)邏輯構(gòu)建

從算法演進(jìn)到產(chǎn)業(yè)邏輯構(gòu)建中信證券研究部2023年5月3日ChatGPT不會(huì)淘汰你！先駕馭ChatGPT的人會(huì)淘汰你！1各路大神暢聊AI使用指南和落地應(yīng)用，分享商業(yè)化案例，碰撞思維火花AI繪畫Midjourney保姆級(jí)教程,資料持續(xù)更新中3不定時(shí)分享AI智能、ChatGPT、AIGC、GPT-4等最新研報(bào)和相關(guān)資訊4不定期邀請(qǐng)行業(yè)大咖演講互動(dòng)交流學(xué)習(xí)識(shí)別二維碼查看詳情 識(shí)別二維碼查看詳情2n人工智能：ChatGPT推動(dòng)產(chǎn)業(yè)迎來iPhone時(shí)刻，并從“小作坊”走向工業(yè)化時(shí)代。ChatGPT在全球市場(chǎng)的爆發(fā)，正將AI產(chǎn)業(yè)推到過去70年以來前所未有的高度，科技巨頭紛紛入局，繼微軟、谷歌之后，國(guó)內(nèi)企業(yè)百度、阿里巴巴等先后發(fā)布大模型，并進(jìn)行用戶測(cè)試和企業(yè)應(yīng)用接入。全球一線科技巨頭在AI領(lǐng)域的軍備競(jìng)賽，以及在大模型方向的持續(xù)下注，必將極大加速全球AI產(chǎn)業(yè)的發(fā)展進(jìn)程，并推動(dòng)產(chǎn)業(yè)從過去的“小作坊”式發(fā)展快速進(jìn)入“工業(yè)化”時(shí)代。n算法模型：AI發(fā)展的靈魂，技術(shù)路線料將快速向GPT方向收斂，并有望在中期形成少數(shù)大模型（底層）+若干垂類模型（應(yīng)用層）的格局。ChatGPT的成功證明了高質(zhì)量數(shù)據(jù)+反饋激勵(lì)（大模型預(yù)訓(xùn)練+小數(shù)據(jù)微調(diào)）的有效性。GPT在自然語言理解、生成方面的整體優(yōu)勢(shì)，有望驅(qū)動(dòng)AI大模型技術(shù)路線快速向GPT方向收斂，同時(shí)少數(shù)科技巨頭&機(jī)構(gòu)專注于基礎(chǔ)大模型的研發(fā)，更多企業(yè)則發(fā)揮各自在垂類數(shù)據(jù)、場(chǎng)景理解等層面優(yōu)勢(shì)，并最終構(gòu)建少數(shù)大模型+若干應(yīng)用模型的生態(tài)格局。n芯片&算力：算法快速迭代，以及對(duì)算力的巨大需求，料推動(dòng)通用AI芯片（GPU）、云廠商早期高確定性受益。目前AI大模型領(lǐng)域的創(chuàng)新正在以月、周為單位快速向前推進(jìn)，短期維度，預(yù)計(jì)通用AI芯片仍將是底層算法快速迭代的核心受益者。同時(shí)當(dāng)前大模型在訓(xùn)練、推理環(huán)節(jié)仍需要巨大的算力承載，云廠商在算力基礎(chǔ)設(shè)施、基礎(chǔ)軟件框架等層面綜合優(yōu)勢(shì)明顯，AI帶來的算力增量料將主要向云計(jì)算平臺(tái)轉(zhuǎn)移，云廠商有望充分受益。但若后續(xù)算法迭代速度放緩，以及針對(duì)部分應(yīng)用場(chǎng)景的專門優(yōu)化，ASIC芯片需求料將快速展開，AI單位算力成本有望快速下降，但亦同時(shí)帶來應(yīng)用需求的進(jìn)一步增長(zhǎng)。n數(shù)據(jù)：AI的糧食和血液。當(dāng)前AI算法的發(fā)展正轉(zhuǎn)向以大模型為主的數(shù)據(jù)依賴，豐富、高質(zhì)量數(shù)據(jù)集是AI產(chǎn)業(yè)持續(xù)向前的核心基礎(chǔ)。伴隨公開數(shù)據(jù)集的逐步耗盡，借助算法實(shí)現(xiàn)數(shù)據(jù)合成，以及垂類領(lǐng)域?qū)Ｓ袛?shù)據(jù)集將是企業(yè)后續(xù)差異化優(yōu)勢(shì)主要來源，同時(shí)數(shù)據(jù)使用合規(guī)、用戶隱私保護(hù)等亦將成為持續(xù)監(jiān)管領(lǐng)域。3算法模型：n技術(shù)路線：以大語言模型為主導(dǎo)，向GPT方案靠攏：ChatGPT的成功證明了GPT模型的Prompting道路的正確性，同時(shí)也強(qiáng)調(diào)了數(shù)據(jù)質(zhì)量的重要性。ChatGPT最重要的成功是在產(chǎn)品化上更進(jìn)一步：ChatGPT在模型精度上并沒有飛躍性的突破，但從FewShotprompt（需要輸入范例示范）轉(zhuǎn)換到Instruct（用人類語言描述想做什么）更加貼合用戶的習(xí)慣。5）展望未來3-5年的人工智能模型技術(shù)路線，我們認(rèn)為人工智能將繼續(xù)沿著大語言模型的道路前景發(fā)展，并快速向GPT路線收斂。GPT路線已經(jīng)表現(xiàn)出了其不可替代的產(chǎn)品化能力，這也將推動(dòng)更多廠商想這個(gè)方向投入資源。隨著多模態(tài)的不斷成熟以及新模態(tài)的持續(xù)加入，我們預(yù)計(jì)將會(huì)看到通用求解能力更強(qiáng)的GPT類基礎(chǔ)模型。n競(jìng)爭(zhēng)壁壘：數(shù)據(jù)質(zhì)量、資本投入、核心人才、工程實(shí)踐能力等。1）從Bert開始到GPT-3再到谷歌的PALM，網(wǎng)絡(luò)中的公開語言數(shù)據(jù)源已經(jīng)在被盡可能地利用（論壇、新聞、維基百科等），而模型的進(jìn)一步優(yōu)化對(duì)數(shù)據(jù)質(zhì)量要求也越來越高。我們認(rèn)為優(yōu)質(zhì)的私有數(shù)據(jù)源將在未來3-5年里人工智能模型的精度優(yōu)化上發(fā)揮更重要的作用。2）隨著模型體量仍然在成倍數(shù)增加，大量的前期資本投入是阻礙新入者的重要因素。在過去五年內(nèi)，我們看到人工智能模型的獨(dú)角獸都在尋找互聯(lián)網(wǎng)科技大廠作為其背后的依靠，主要因?yàn)槟軌虻玫匠渥愣虝r(shí)間內(nèi)不求產(chǎn)出的資金支持并獲取互聯(lián)網(wǎng)大廠長(zhǎng)期以來所積累的優(yōu)質(zhì)數(shù)據(jù)源。這也是我們看到為什么在過去五年內(nèi)人工智能頭部廠商逐漸從開源走向閉源，利用其資源優(yōu)勢(shì)來打造差異化的AI模型，而落后者更希望通過開源的模式以求縮小與頭部廠商的距離。3）研發(fā)團(tuán)隊(duì)的工程能力是決定公司在大語言模型競(jìng)爭(zhēng)力的另一個(gè)重要因素。隨著語言模型的體積不斷增加，在研究方法上現(xiàn)今千億量級(jí)的模型與之前幾十億量級(jí)的小模型發(fā)生了本質(zhì)變化，個(gè)體工程師沒有能力通過自有資源積累對(duì)大模型的學(xué)習(xí)經(jīng)驗(yàn)。一個(gè)合格的大模型研發(fā)團(tuán)隊(duì)需要依靠大公司的資源支持才能積累對(duì)模型調(diào)試、優(yōu)化、實(shí)際部署等各個(gè)環(huán)節(jié)足夠的經(jīng)驗(yàn)。大廠商對(duì)大語言模型的底層研究構(gòu)建了極高競(jìng)爭(zhēng)壁壘，因此底層架構(gòu)的研發(fā)與實(shí)踐應(yīng)用的分離將是必然趨勢(shì)，前者由少部分大型企業(yè)機(jī)構(gòu)主導(dǎo)，而中小型企業(yè)專注于后者。n數(shù)據(jù)：AI的血液與糧食。按照當(dāng)前LLM的技術(shù)范式，數(shù)據(jù)集主要應(yīng)用于預(yù)訓(xùn)練、模型調(diào)優(yōu)階段。預(yù)訓(xùn)練階段需要大規(guī)模、多類別、高質(zhì)量的訓(xùn)練數(shù)據(jù)，在模型調(diào)優(yōu)階段，垂類小數(shù)據(jù)集、提示詞工程同樣重要。近年來全球數(shù)據(jù)量呈現(xiàn)爆發(fā)式增長(zhǎng)，據(jù)IDC統(tǒng)計(jì)，2019年全球產(chǎn)生的數(shù)據(jù)量為41ZB，過去十年的CAGR接近50%，預(yù)計(jì)到2025年全球數(shù)據(jù)量或高達(dá)175ZB，2019-2025年仍將維持近30%的復(fù)合增速，其中超過80%的數(shù)據(jù)都將是處理難度較大的文本、圖像、音視頻等非結(jié)構(gòu)化數(shù)據(jù)。從Bert開始到GPT-3再到谷歌的PALM，網(wǎng)絡(luò)中的公開語言數(shù)據(jù)源已經(jīng)在被盡可能地利用（論壇、新聞、維基百科等），但模型優(yōu)化仍需更多數(shù)據(jù)，這要求模型開發(fā)商有能力接觸到優(yōu)質(zhì)私有數(shù)據(jù)來源，從而才能在模型的數(shù)據(jù)底層取得差異性的優(yōu)勢(shì)。n數(shù)據(jù)篩選：為AI提供高質(zhì)量數(shù)據(jù)。ChatGPT以GPT3.5（生成式預(yù)訓(xùn)練）模型進(jìn)行調(diào)優(yōu)，注重?cái)?shù)據(jù)質(zhì)量，以及人類反饋強(qiáng)化學(xué)習(xí)，讓模型在早期開放給大眾測(cè)試并收集人類反饋數(shù)據(jù)，從而顯著增強(qiáng)了模型在海量歷史數(shù)據(jù)中挖掘知識(shí)的能力，并最終在人機(jī)對(duì)話領(lǐng)域獲得理想效果。由于不同的行業(yè)、不同的業(yè)務(wù)場(chǎng)景對(duì)數(shù)據(jù)標(biāo)注的需求存在一定的差異性，高質(zhì)量的數(shù)據(jù)集成為提高數(shù)據(jù)標(biāo)注質(zhì)量的關(guān)鍵。公開數(shù)據(jù)集可以幫助數(shù)據(jù)標(biāo)注團(tuán)隊(duì)減少?gòu)牧汩_始創(chuàng)建和標(biāo)注大量數(shù)據(jù)所需的時(shí)間和成本，且通常由專業(yè)團(tuán)隊(duì)或機(jī)構(gòu)創(chuàng)建，其數(shù)據(jù)質(zhì)量往往較高。同時(shí)，這些通常由專業(yè)團(tuán)隊(duì)或機(jī)構(gòu)創(chuàng)建，其數(shù)據(jù)質(zhì)量往往較高。這有助于提高數(shù)據(jù)標(biāo)注項(xiàng)目的準(zhǔn)確性和可靠性，從而提高整體項(xiàng)目的質(zhì)量。根據(jù)IDC發(fā)布的《2021年中國(guó)人工智能基礎(chǔ)數(shù)據(jù)服務(wù)市場(chǎng)研究報(bào)告》，預(yù)計(jì)中國(guó)AI基礎(chǔ)數(shù)據(jù)服務(wù)市場(chǎng)近5年復(fù)合年增長(zhǎng)率將達(dá)到47%，預(yù)期2025年將突破120億元。n數(shù)據(jù)管理：AI產(chǎn)業(yè)趨勢(shì)的核心受益者之一。數(shù)據(jù)庫(kù)管理系統(tǒng)是大數(shù)據(jù)時(shí)代的底層軟件和核心支撐。AI時(shí)代數(shù)據(jù)量爆發(fā)、數(shù)據(jù)結(jié)構(gòu)復(fù)雜度攀升，驅(qū)動(dòng)全球數(shù)據(jù)庫(kù)市場(chǎng)長(zhǎng)期穩(wěn)定增長(zhǎng)，云化趨勢(shì)明確。2020年，IDC預(yù)計(jì)全球DBMS市場(chǎng)規(guī)模受疫情沖擊小幅降至487億美元，但云數(shù)據(jù)庫(kù)仍然保持11.6%增速。IDC預(yù)測(cè)2024年全球數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模將穩(wěn)步增長(zhǎng)至739億美元，其中云數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模將達(dá)404億美元，4年CAGR27.3%。Gartner預(yù)測(cè)2024年云數(shù)據(jù)庫(kù)占比將提升至75%。我們預(yù)計(jì)2024年中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模達(dá)200億元，同比增長(zhǎng)22%且近年來增速不斷加快。隨著國(guó)產(chǎn)化替代的推進(jìn)，傳統(tǒng)海外巨頭份額不斷縮小。45算力：n算力與算法相互促進(jìn)、相互影響。大模型正在成為人工智能的中短期主流技術(shù)路線，隨著模型參數(shù)日益增多，神經(jīng)網(wǎng)絡(luò)算法愈加復(fù)雜，相應(yīng)帶來底層算力消耗的持續(xù)、顯著增長(zhǎng)。同時(shí)，算力的增長(zhǎng)亦為模型參數(shù)的增長(zhǎng)與復(fù)雜性的提高提供基礎(chǔ)，算力與算法相互促進(jìn)，相互影響。n算力需求：ChatGPT在工程實(shí)踐層面的創(chuàng)新推動(dòng)全球AI領(lǐng)域軍備競(jìng)賽，并在內(nèi)容生成領(lǐng)域推動(dòng)AIGC時(shí)代全面到來。1）成本測(cè)算方面，我們以英偉達(dá)HGX服務(wù)器(含8張A100卡)為算力載體并假定服務(wù)器成本為8美元/小時(shí)，我們測(cè)算ChatGPT算力成本約14.6億美元（其中14.3億美元為推理成本），生成式AI算力成本約189.6億美元（訓(xùn)練環(huán)節(jié)15.4億美元，推理環(huán)節(jié)174.2億美元）。2）AI芯片方面，AI算力的需求增速顯著高于摩爾定律的芯片性能增速，芯片設(shè)計(jì)端需要系統(tǒng)級(jí)創(chuàng)新，主要包括制程升級(jí)、計(jì)算單元數(shù)量提升、架構(gòu)優(yōu)化、Transformer計(jì)算單元的引入、采用混合計(jì)算精度等。n算力供給：AI芯片的需求增長(zhǎng)，吸引全球科技巨頭與創(chuàng)業(yè)公司加入賽道，硬件設(shè)備亦迎來新的需求增量。1）AI芯片：按應(yīng)用分，AI芯片主要分為AI訓(xùn)練芯片與推理芯片。按技術(shù)架構(gòu)分，AI芯片包括CPU、GPU、FPGA與ASIC，AI服務(wù)器正向“CPU+XPU”發(fā)展。而盡管異構(gòu)計(jì)算正在成為主流，在訓(xùn)練端，GPU仍為主要角色。隨著AI產(chǎn)業(yè)快速發(fā)展，多家公司積極入局，其中不僅包括英偉達(dá)、谷歌、亞馬遜、華為海思、阿里巴巴、百度等公司在內(nèi)的科技巨頭，還包括Graphcore、Habana（被Intel收購(gòu)）、寒武紀(jì)、地平線等公司在內(nèi)的初創(chuàng)公司。2）硬件設(shè)備：除芯片外，硬件設(shè)備亦是算力供應(yīng)的主要制程，主要包括：①AI服務(wù)器：為滿足人工智能需求，搭載的XPU數(shù)量大幅上升，對(duì)AI服務(wù)器的散熱性與穩(wěn)定性亦提出更高要求；②交換機(jī)&光模塊：隨著數(shù)據(jù)量的快速提升，市場(chǎng)對(duì)高速、低延時(shí)的數(shù)據(jù)交換需求日益增長(zhǎng)，并以此帶動(dòng)交換機(jī)與光模塊需求，其中800G光模塊正在成為行業(yè)主流；③算力承載：考慮到AI產(chǎn)業(yè)所需的巨大算力，云計(jì)算平臺(tái)為更合理的承載對(duì)象。就目前行業(yè)情況看，云計(jì)算單位成本下降，總算力擴(kuò)張是大概率事件。應(yīng)用場(chǎng)景：nAIGC產(chǎn)業(yè)化方向眾多、前景廣闊。AIGC在需要高效處理大量客戶需求、創(chuàng)意性內(nèi)容行業(yè)以及標(biāo)準(zhǔn)化生產(chǎn)行業(yè)均有較大的應(yīng)用空間，在諸如歸納性文字工作、代碼開發(fā)相關(guān)工作、圖象生成領(lǐng)域等領(lǐng)域均有廣闊的產(chǎn)業(yè)化前景。海內(nèi)外基于AIGC涌現(xiàn)出諸多應(yīng)用，如作圖領(lǐng)域的Midjourney、文字編輯領(lǐng)域的NotionAI、視頻領(lǐng)域的Make-A-Video等。我們認(rèn)為AIGC的應(yīng)用方向可分為2C和2B兩類：1）ToC端應(yīng)用主要包括各類內(nèi)容生產(chǎn)服務(wù)，比如圖像生成、語音生成、視頻生成、代碼生成、文字生成等；2）ToB端應(yīng)用主要包括各類融合業(yè)務(wù)、輔助工作效率類產(chǎn)品，比如：微軟使用大模型能力賦能Office、Teams、Dynamics等多種應(yīng)用場(chǎng)景，Salesforce使用EinsteinGPT賦能銷售、營(yíng)銷、客服等全場(chǎng)景。n實(shí)現(xiàn)方式：基于第三方模型進(jìn)行微調(diào)為主流方式，部分廠商通過自研模型構(gòu)筑壁壘。大語言模型方面，目前主流廠商均選擇和OpenAI進(jìn)行合作，基于自身數(shù)據(jù)、業(yè)務(wù)流程等對(duì)GPT模型進(jìn)行微調(diào)，在部署上線后亦結(jié)合用戶數(shù)據(jù)對(duì)Prompting（提示）進(jìn)行個(gè)性化精調(diào)，將人類語言的表述根據(jù)實(shí)際的數(shù)據(jù)情況更換成更符合大語言模型理解的Prompting，然后以此完成多模態(tài)之間的轉(zhuǎn)換并提升指令的準(zhǔn)確性。Adobe基于自身在創(chuàng)意領(lǐng)域長(zhǎng)年的積累推出了創(chuàng)意生成式人工智能模型Firefly，可以生成圖像和文本。一方面，Adobe專注于將其與現(xiàn)有創(chuàng)意流程整合；另一方面，訓(xùn)練數(shù)據(jù)來自于AdobeStock的授權(quán)內(nèi)容、公開許可的內(nèi)容以及版權(quán)過期的公共領(lǐng)域內(nèi)容，以平衡創(chuàng)意生成的需求和內(nèi)容商業(yè)化的可行性。n隱私&合規(guī)：控制數(shù)據(jù)及功能訪問權(quán)限，規(guī)避版權(quán)等合規(guī)風(fēng)險(xiǎn)。數(shù)據(jù)安全、權(quán)限控制、隱私保護(hù)、版權(quán)合規(guī)是大模型在實(shí)際應(yīng)用過程中的核心因素。目前微軟在提供copilot相關(guān)服務(wù)時(shí)，在協(xié)議中明確表示使用的是公開數(shù)據(jù)+無版權(quán)數(shù)據(jù)以及微軟的自有數(shù)據(jù)，一定程度降低了數(shù)據(jù)隱私性的風(fēng)險(xiǎn)。CopilotLLM不會(huì)根據(jù)用戶的自有數(shù)據(jù)以及用戶的提示上進(jìn)行訓(xùn)練。在企業(yè)用戶組內(nèi)部，微軟應(yīng)用了相應(yīng)的權(quán)限模型確保數(shù)據(jù)不會(huì)在用戶組之間泄露。而對(duì)于Adobe，亦通過規(guī)范數(shù)據(jù)來源，較好地避免了StableDiffusion、Midjourney、Dall-E等其他圖像生成模型存在的版權(quán)合規(guī)問題。與此同時(shí)，創(chuàng)意者可以選擇其作品不進(jìn)入訓(xùn)練數(shù)據(jù)集，而Adobe也計(jì)劃向貢獻(xiàn)訓(xùn)練數(shù)據(jù)的藝術(shù)家支付一定報(bào)酬。67n投資建議：ChatGPT在全球AI產(chǎn)業(yè)、技術(shù)領(lǐng)域帶來的良好示范效應(yīng)，有望推動(dòng)AI算法模型結(jié)束當(dāng)前的技術(shù)路線分叉，并不斷向以GPT為主導(dǎo)的大語言模型（LLM）靠攏，加速全球AI產(chǎn)業(yè)“工業(yè)化”時(shí)代到來。中期維度，大語言模型領(lǐng)域“暴力美學(xué)”預(yù)計(jì)仍將是我們不斷逼近通用人工智能的最可能路線，基于此基準(zhǔn)假設(shè)，預(yù)計(jì)模型算法架構(gòu)將遵從漸進(jìn)的學(xué)術(shù)研究步伐，高質(zhì)量數(shù)據(jù)集、工程實(shí)踐能力、核心人才、資本將成為大模型研發(fā)領(lǐng)域的核心競(jìng)爭(zhēng)壁壘。數(shù)據(jù)產(chǎn)業(yè)鏈（數(shù)據(jù)源、數(shù)據(jù)管理等）、算力設(shè)施（大算力芯片、云計(jì)算平臺(tái)、Aiops等）、應(yīng)用場(chǎng)景（內(nèi)容生成、人機(jī)交互范式、信息檢索等）等環(huán)節(jié)投資邏輯亦面臨持續(xù)重構(gòu)。作為中期最具確定性的產(chǎn)業(yè)方向之一，我們持續(xù)看好全球AI領(lǐng)域的投資機(jī)會(huì)，并建議持續(xù)聚焦芯片、算力設(shè)施、模型架構(gòu)&工程實(shí)踐、應(yīng)用場(chǎng)景等核心環(huán)節(jié)。在美股市場(chǎng)，我們建議持續(xù)關(guān)注：英偉達(dá)、臺(tái)積電、微軟、谷歌、AMD、Arista、博通、Marvell、百度、Adobe、Snowflake等。n風(fēng)險(xiǎn)因素：AI核心技術(shù)發(fā)展不及預(yù)期風(fēng)險(xiǎn)；科技領(lǐng)域政策監(jiān)管持續(xù)收緊風(fēng)險(xiǎn)；全球宏觀經(jīng)濟(jì)復(fù)蘇不及預(yù)期風(fēng)險(xiǎn)；宏觀經(jīng)濟(jì)波動(dòng)導(dǎo)致歐美企業(yè)IT支出不及預(yù)期風(fēng)險(xiǎn)；AI潛在倫理、道德、用戶隱私風(fēng)險(xiǎn)；企業(yè)數(shù)據(jù)泄露、信息安全風(fēng)險(xiǎn)；行業(yè)競(jìng)爭(zhēng)持續(xù)加劇風(fēng)險(xiǎn)等。下游應(yīng)用下游應(yīng)用沒有專有模型的面向最終用戶的B2B和B2C應(yīng)用程序如:Jasper,GithubCopilotEnd如:Jasper,GithubCopilot模型中心共享與托管模型如:HuggingFace,模型中心共享與托管模型如:HuggingFace,Replicate具有專有模型的面向最終用戶的應(yīng)用程序如:Midjourney,Runway閉源基礎(chǔ)模型通過API公開的大規(guī)模預(yù)訓(xùn)練模型開源基礎(chǔ)模型如:StableDiffusion(Stability)算法模型云計(jì)算平臺(tái)在云部署模型中向開發(fā)人員公開的計(jì)算硬件如:AWS,GCP,Azure,Coreweave算力基礎(chǔ)芯片&硬件針對(duì)模型訓(xùn)練和推理工作負(fù)載優(yōu)化的加速器芯片如:GPUs(Nvidia),TPUs(Google)89資料來源：《AttentionisAllYouNeed》（AshishVaswani,NoamShazeer,NikiParmar等），OpenAI，中信證券研光模塊交換機(jī)光模塊交換機(jī)AIAIAI推理芯片CPU+GPU/ASIC/FPGAAI訓(xùn)練芯片AI訓(xùn)練芯片GPU為主AMDAMD4339AristaANET480AVGO414Adobe484資料來源：Bloomberg（含一致預(yù)期），中信證券研究部注：市值日期為Chat-GPTChat-GPT相比于前代回答更加靈活，更接近人類反應(yīng)面對(duì)有違人類倫理的問題，Chat-GPT會(huì)進(jìn)行資料來源：SimilarWeb2018.62019.12020.52022.12022.112023.3在數(shù)據(jù)收集設(shè)置上優(yōu)在數(shù)據(jù)收集設(shè)置上優(yōu) ），資料來源：OpenAI，中信證券研究部nGPT-4面對(duì)復(fù)雜問題能力時(shí)大幅提升，對(duì)AP考試、GRE考試等表現(xiàn)優(yōu)異。OpenAI在官網(wǎng)表示，GPT在大多數(shù)現(xiàn)實(shí)場(chǎng)景中的能力不如人類，但在一些專業(yè)問題和學(xué)術(shù)基準(zhǔn)上表現(xiàn)已經(jīng)和人類持平。根據(jù)OpenAI在其技術(shù)文檔所公布的數(shù)據(jù)，GPT-4在60%的AP考試科目中取得了5分（滿分）的成績(jī)，并較前一代GPT-3.5取得了30%以上的提升。而對(duì)于國(guó)外研究生入門考試的GRE，GPT-4取得了339+4的成績(jī)，超越95%的n大量GPT-3.5模型針對(duì)事實(shí)類問題回資料來源：ChatGPT，中信證券研究部資料來源：ChatGPT，中信證券研究部n多模態(tài)能力成為GPT-4加入的新亮點(diǎn)。GPT-4在模型能力方面最大的提升在于引入了多模態(tài)的處理能力。除了此前ChatGPT就支持的文字外，GPT-4還可以接受圖片輸入，根據(jù)OpenAI在技術(shù)文檔內(nèi)給出的實(shí)例來看，GPT-4可以理解圖中的各類含義甚至包括人類的幽默能力。不過在當(dāng)前階段，圖片輸入的功能暫時(shí)還沒有開資料來源：OpenAI，中信證券研究部n盡管都是Transformer模型，Bert模型采用雙向使用Mask的方法進(jìn)行訓(xùn)練；而GPT則是采用了自回歸+prompting的方式。這兩者的區(qū)別根據(jù)谷歌資深A(yù)I科學(xué)家JeffDean在2020年的文章回答，Bert路線在攝像頭技術(shù)大容量電池資料來源：Apple公司官網(wǎng)，雷科技，資料來源：Apple公司官網(wǎng)，雷科技，中信證券研究部25素0不含額外的訓(xùn)練數(shù)據(jù)含有額外的訓(xùn)練數(shù) 2013年3月2013年82013年3月2013年8月2014年1月2014年6月2015年4月2015年9月2016年2月2016年7月2017年5月2018年3月2018年8月2019年1月2019年6月2020年4月2020年9月2021年2月0 資料來源：斯坦福大學(xué)AI年度報(bào)告，中信證券研究部n我們認(rèn)為，當(dāng)前千億量級(jí)的參數(shù)，一方面能夠體現(xiàn)出大模型在泛化、涌現(xiàn)等領(lǐng)域的額外能力，同時(shí)也兼顧 1121418182848888 n通過調(diào)整數(shù)據(jù)集、獎(jiǎng)勵(lì)函數(shù)調(diào)整的方式，能夠依靠chatGPT的思路向其他垂直領(lǐng)域邁進(jìn)，文字、圖片、視頻n但由于chatGTP在訓(xùn)練初的數(shù)據(jù)限制，不能輸出超過自身“學(xué)會(huì)”的內(nèi)容，而搜索引擎所用的是發(fā)散和關(guān)聯(lián)，智慧金融智能家居智慧交通智慧零售智慧教育智能制造智能醫(yī)療醫(yī)療影像貸款評(píng)估智能照明自動(dòng)駕駛作業(yè)批改智能收銀工業(yè)機(jī)器人遠(yuǎn)程診斷智能投影智能問答交通控制智能門鎖無人商店智能供應(yīng)鏈藥物挖掘金融監(jiān)管車輛識(shí)別遠(yuǎn)程輔導(dǎo)家居機(jī)器人智能配貨智能運(yùn)維疾病預(yù)測(cè)智能客服虛擬課堂車輛檢測(cè)智能物聯(lián)智能物流產(chǎn)品檢測(cè)智慧金融智能家居智慧交通智慧零售智慧教育智能制造智能醫(yī)療醫(yī)療影像貸款評(píng)估智能照明自動(dòng)駕駛作業(yè)批改智能收銀工業(yè)機(jī)器人遠(yuǎn)程診斷智能投影智能問答交通控制智能門鎖無人商店智能供應(yīng)鏈藥物挖掘金融監(jiān)管車輛識(shí)別遠(yuǎn)程輔導(dǎo)家居機(jī)器人智能配貨智能運(yùn)維疾病預(yù)測(cè)智能客服虛擬課堂車輛檢測(cè)智能物聯(lián)智能物流產(chǎn)品檢測(cè)算法理論開放平臺(tái)應(yīng)用技術(shù)智能語音計(jì)算機(jī)視覺自然語言處理機(jī)器學(xué)習(xí)算法基礎(chǔ)開源框架技術(shù)開放平臺(tái)類腦算法算法理論開放平臺(tái)應(yīng)用技術(shù)智能語音計(jì)算機(jī)視覺自然語言處理機(jī)器學(xué)習(xí)算法基礎(chǔ)開源框架技術(shù)開放平臺(tái)類腦算法數(shù)據(jù)計(jì)算硬件計(jì)算系統(tǒng)技術(shù)數(shù)據(jù)采集標(biāo)注分析云計(jì)算大數(shù)據(jù)5G通信AI芯片數(shù)據(jù)計(jì)算硬件計(jì)算系統(tǒng)技術(shù)數(shù)據(jù)采集標(biāo)注分析云計(jì)算大數(shù)據(jù)5G通信AI芯片強(qiáng)人工智能A強(qiáng)人工智能A保AI技術(shù)發(fā)展的保AI技術(shù)發(fā)展的資料來源：“數(shù)據(jù)與智能”微信公眾號(hào)，中信證券研究部30AI交互AIGCAI交互AIGC資料來源：Logo摘自各公司官網(wǎng)，中信PC互聯(lián)網(wǎng)：PC互聯(lián)網(wǎng)：copytoChina移動(dòng)互聯(lián)網(wǎng)：copyfromChina19902000資料來源：各公司官網(wǎng)，Pixabay，ChatGPT資料來源：各公司官網(wǎng)，中信證券研究部谷歌最新人工智能AlphaFold2成功基于氨基酸序列預(yù)測(cè)了生命基本分子，蛋白質(zhì)的三維結(jié)構(gòu)?！拔磥韼字芑驇讉€(gè)月”推出類似ChatGPT的2023.2.2成立硅谷人工智能實(shí)驗(yàn)室（SVAIL）），騰訊科技（深圳）有限公司申請(qǐng)的“人機(jī)對(duì)話方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”專利獲授權(quán)，能此前小米在AI大模型上已有多路并行嘗試，未來將加大相關(guān)領(lǐng)域人力和資源投入。小愛擁有龐大數(shù)據(jù)支撐，ANTHROP\CANTHROP\C0中國(guó)AI歷年金額趨勢(shì)（億元）中國(guó)AI歷年單筆融432100企業(yè)服務(wù)金融大健康機(jī)器人汽車其他下游應(yīng)用下游應(yīng)用沒有專有模型的面向最終用戶的B2B和B2C應(yīng)用程序如:Jasper,GithubCopilotEnd如:Jasper,GithubCopilot模型中心共享與托管模型如:HuggingFace,模型中心共享與托管模型如:HuggingFace,Replicate具有專有模型的面向最終用戶的應(yīng)用程序如:Midjourney,Runway閉源基礎(chǔ)模型通過API公開的大規(guī)模預(yù)訓(xùn)練模型開源基礎(chǔ)模型如:StableDiffusion(Stability)算法模型云計(jì)算平臺(tái)在云部署模型中向開發(fā)人員公開的計(jì)算硬件如:AWS,GCP,Azure,Coreweave算力基礎(chǔ)計(jì)算硬件針對(duì)模型訓(xùn)練和推理工作負(fù)載優(yōu)化的加速器芯片如:GPUs(Nvidia),TPUs(Google)0公有云部署收入本地/其他部署收入），0PubliccloudOnprem20152016），n小模型（2015年前）AI擅長(zhǎng)特定領(lǐng)域的分析任務(wù)，但通用型任務(wù)的完成情況很差。硬件算力不夠?qū)е轮匦掠?xùn)練成本過高；數(shù)據(jù)來源過于稀少難以提升到更高精確度，整體表達(dá)能力與人類相差較遠(yuǎn)。n大模型（2015-2022年）Transformer模型的出現(xiàn)使得文字、圖像識(shí)別等領(lǐng)域達(dá)到了超越人類的水平，但同時(shí)也極大增加了模型的體積，只有擁有強(qiáng)大算力支撐的科技巨頭才有能力訓(xùn)練Transformer模型。nChatGPT的成功展現(xiàn)出Transformer模型的潛力尚未被完全發(fā)掘，而其本身所提供的通用問題解決能力有望隨著算力成本的優(yōu)化、算力的進(jìn)一步提升，比如：?特斯拉：公司在自動(dòng)駕駛原有的視覺模型基礎(chǔ)上引入Transformer模塊以融合多個(gè)攝像頭模組間的信息?英偉達(dá)：在其芯片中引入Transformer引擎，實(shí)現(xiàn)計(jì)算能力的大幅提升n未來隨著數(shù)據(jù)質(zhì)量級(jí)算法能力的進(jìn)步，我們認(rèn)為Transformer模型有望朝著小算力終端更加友好的方向發(fā)展。資料來源：2022TeslaAIDaynChatGPT的成功一改往日大模型依靠堆積數(shù)據(jù)量的訓(xùn)練方式，RLHF（人類反饋強(qiáng)化學(xué)習(xí)）和Rewardmodel（獎(jiǎng)勵(lì)模型）是其核心訓(xùn)練邏輯。nChatGPT的成功推動(dòng)AI算法模型展現(xiàn)出更加明晰的發(fā)展脈絡(luò)，使行業(yè)邁向了兼顧經(jīng)濟(jì)性與可使用性的新發(fā)展階段，展望未來，模型開放+快速優(yōu)化迭代或?qū)⒊蔀锳I實(shí)現(xiàn)大規(guī)模應(yīng)用落地的終極發(fā)展形態(tài)。資料來源：中信證券研究部預(yù)測(cè)、繪制n模型開放、快速迭代（2024以后）得益于AIGC基礎(chǔ)設(shè)施可獲得性的逐步提高，平臺(tái)層變得更加穩(wěn)固，算力成本持續(xù)下探，模型逐漸趨于開源與免費(fèi)，應(yīng)用層爆發(fā)式發(fā)展的節(jié)點(diǎn)正在靠近。正如GPS技術(shù)的普及打開了導(dǎo)航市場(chǎng)，我們認(rèn)為AIGC整體產(chǎn)業(yè)鏈從底層硬件到中層技術(shù)再到產(chǎn)品思維的成熟正在催生新的殺手級(jí)應(yīng)用。Chat-GPT的出現(xiàn)所帶來的內(nèi)容生成能力將會(huì)為當(dāng)今從用戶創(chuàng)作（UGC）到AI創(chuàng)作（AIGC）的轉(zhuǎn)型提供關(guān)鍵的輔助支持。目前我們正經(jīng)歷從Web2.0開始向Web3.0轉(zhuǎn)型的啟航階段，在過去五年我們已經(jīng)看到內(nèi)容創(chuàng)造從專業(yè)創(chuàng)作（PFC）轉(zhuǎn)型為了用戶創(chuàng)作（UGC）。而在不遠(yuǎn)的將來，AI協(xié)助內(nèi)容生成（AIUGC）與AI創(chuàng)作（AIGC）將為我們提供更低的創(chuàng)作門檻以及更豐富的創(chuàng)作思路。在這兩個(gè)階段中。內(nèi)容生產(chǎn)主體從人類本身開始向人工智能遷移，主要區(qū)別體現(xiàn)在內(nèi)容的生產(chǎn)效率、知識(shí)圖譜的多樣性以及提供更加動(dòng)態(tài)且可交互的內(nèi)容上。人腦只能基于自己的知識(shí)圖譜進(jìn)行少數(shù)方向的信息處理，而AI能從更龐大的知識(shí)體系中進(jìn)行多個(gè)方向的處理，進(jìn)而提供更多的創(chuàng)作思路。Gartner預(yù)計(jì)，到2025年，生成式人工智能將占所有生成數(shù)據(jù)的10%。n底層算法與模型是貫穿人工智能技術(shù)發(fā)展的核心，從上世紀(jì)50年代第一次提出人工智能概念開始，底層算法經(jīng)歷了多次迭代。而貫穿多次迭代的主線是研發(fā)出真正的通用人工智能（AGI），即用一個(gè)模型解決大多數(shù)歷史上對(duì)人工智能的關(guān)注經(jīng)歷了“三起兩落”n1980S~1990S：專家系統(tǒng)是人工智能的第一次商業(yè)化嘗試，高昂的硬件成本、有限的適用場(chǎng)景限制了市場(chǎng)的可以進(jìn)行跳棋對(duì)戰(zhàn)，實(shí)際硬件能力不足以支撐對(duì)人工智能復(fù)雜規(guī)則堆砌后導(dǎo)致總成本過高&系統(tǒng)難以維護(hù)，頻繁對(duì)規(guī)則以及通用型任務(wù)的完成情況很差，硬件算力不夠?qū)е箩槍?duì)其他領(lǐng)域重新訓(xùn)練成本過高；數(shù)據(jù)來源稀少難以超越人資料來源：《StanfordAIIndex2020》Human-ce資料來源：《StanfordAIIndex2020》Human-cenAlphaGo是由DeepMind（后被谷歌收購(gòu)）開發(fā)的人工智能程序，代表了從上世紀(jì)90年代開始深度學(xué)習(xí)、蒙特卡洛樹搜索等先進(jìn)技術(shù)的集大成者，實(shí)現(xiàn)了人工智能在圍棋領(lǐng)域的重大突破n2015年，AlphaGo首次與歐洲圍棋冠軍樊麾對(duì)弈，并以5-0的成績(jī)?nèi)〉脛倮?016年，AlphaGo在一場(chǎng)備受矚目的比賽中戰(zhàn)勝了韓國(guó)圍棋世界冠軍李世石，向世人展示了其在圍棋領(lǐng)域的強(qiáng)大實(shí)力nAlphaGo的成功引發(fā)了全球范圍內(nèi)對(duì)人工智能和深度學(xué)習(xí)的關(guān)注，展示了機(jī)器在復(fù)雜問題解決和策略制定方面的巨大潛力n雖然AlphaGo在圍棋領(lǐng)域取得了巨大成功，但仍無法解決通用人工智能問題，其方法在其他領(lǐng)域的應(yīng)用受到n在這一階段，NLP（自然語言處理）開始展現(xiàn)其對(duì)通用人工智能（AGI）的潛力。語言是人類歷史上最具表述力的工具，人類的所有知識(shí)都可以通過語言進(jìn)行表述，因此以語言為基礎(chǔ)的Nn研究者們開始嘗試將NLP模型從特定任務(wù)的優(yōu)化擴(kuò)展到多任務(wù)學(xué)習(xí)，以便在各種任務(wù)上取得更好的表現(xiàn)。這n2017年-2020年：以谷歌Bert為代表的雙向預(yù)訓(xùn)練+FineTuning（微調(diào)）的NLPTransformer模型谷歌的《Attentionisallyouneed》論文開創(chuàng)了Transformer模型，重新統(tǒng)一了自然語言模型(NLP)的研究范式以預(yù)訓(xùn)練的方式學(xué)習(xí)語言學(xué)特征，大幅簡(jiǎn)化了過去NLP繁瑣的研究種類Transformer作為特征提取器效果好于CNN、LSTM模型等，讓AI首次能在語言任務(wù)的部分場(chǎng)景中追平人類國(guó)內(nèi)互聯(lián)網(wǎng)大廠在這一階段仍有出色表現(xiàn)，如百度在Bert的基礎(chǔ)上改良了Mask訓(xùn)練方法發(fā)布了ERNIE2.0資料來源：《Attentionisallyouneed》（AshishVaswani,NoamShazeer,NikiParmar等）資料來源：《Attentionisallyouneed》（AshishVaswani,NoamShazeer,NikiParmar等）Google發(fā)布Transformer，成為后來所有LLM的基礎(chǔ)架DeepMind提出RLHF方Google發(fā)布編碼器的BERT（最大3.5億參數(shù)），用于微調(diào)下游任務(wù)2019年10月Google發(fā)布基于TransformerDecoder的T5，兼容BERT和GPT的下游任務(wù)Google發(fā)布FLAN，轉(zhuǎn)向decoder-only，提出InstructionTuningDeepMind發(fā)表Gopher（2800億參數(shù)），加LLM大戰(zhàn)Google再發(fā)LaMDA（1370億參數(shù)），稱其具有“意識(shí)”Google發(fā)布PaLM（5400億參數(shù)，decoder-only提出神奇的思維鏈DeepMind發(fā)布Sparrow，加入RLHF和Retrival（GoogleSearch）資料來源：Google，OpenAI，中信證券研究部n2020年-2022年：以1750億參數(shù)的GPT-3為代表，各大互聯(lián)網(wǎng)巨頭不斷嘗試增加模型體積以獲得更好的效果通過預(yù)訓(xùn)練無監(jiān)督學(xué)習(xí)的方法不斷增加模型大小成為了這一時(shí)段的主流GPT-3為代表的自回歸+Prompting的方法開始展現(xiàn)產(chǎn)品化能力的優(yōu)越性，與Fine-tuning方法的Bert模型成為兩條道路Fine-tuning對(duì)于小公司更難部署，從產(chǎn)品化的角度上更加困難Prompting的方法更符合我們對(duì)以人類的方式使用AI的愿望，正如開頭所描述的ChatGPT與Siri的區(qū)別谷歌等巨頭在這一階段也意識(shí)到了Prompting方法的重要性，逐漸開始轉(zhuǎn)向。國(guó)內(nèi)AI研究在這一段時(shí)間內(nèi)出現(xiàn)了明顯落后，仍然沿著Bert模型的方向繼續(xù)前進(jìn)，對(duì)GPT-3的研究很少；同時(shí)受制于中文優(yōu)質(zhì)語料的稀缺，模型大小也較難提升n此前接觸的人工智能如·Siri、小愛、小度音箱等，底層技術(shù)是Bert類的雙向+微調(diào)模型。通過以任務(wù)分類的形式運(yùn)行，準(zhǔn)備不同任務(wù)的標(biāo)注數(shù)據(jù)分別進(jìn)行訓(xùn)練。簡(jiǎn)單來說，將預(yù)先設(shè)置好的任務(wù)類型放于模型背后，使用者通過描述任務(wù)類型系統(tǒng)來匹配對(duì)應(yīng)的模塊，缺點(diǎn)是使用者的指令需要清晰且無法執(zhí)行沒有預(yù)先設(shè)置語音識(shí)別幫我放一首歌幫我發(fā)一條微信幫我查一下公式幫我寫一下紅黑樹的左旋過程（沒有預(yù)制代碼類任務(wù)）資料來源：蘋果公司，中信證券研究部ChatGPT在產(chǎn)品化上更進(jìn)一步：ChatGPT在模型精度上并沒有飛躍性的突破，但從FewShotprompt（需要輸入范例示范）轉(zhuǎn)換到Instruct（用人類語言描述想做什利用RLHF（人類反饋強(qiáng)化學(xué)習(xí)）展示了優(yōu)質(zhì)的真實(shí)ChatGPT:理想的人機(jī)交互接口，更接近想象中的“人工智能”模型針對(duì)任何問題都可以進(jìn)行生成，缺點(diǎn)是面對(duì)理解類問題（分類等）精度不如以谷歌Bert為代表的微調(diào)模n從產(chǎn)品邏輯上，雖然犧牲了部分精度，但Prompting無需用任務(wù)區(qū)分器區(qū)別不同的任務(wù)，是理想的人機(jī)交互接口。面對(duì)用戶不同的輸入，模型可以自行判斷給了用戶更好的體驗(yàn)，這也更接近于大眾理解的“通用人工智能”。資料來源：OpenAI，中信證券研究部資料來源：OpenAIChatGPT:技術(shù)上基于GPT-3的“微創(chuàng)新”使用PPO強(qiáng)化學(xué)習(xí)策略+第二階段獎(jiǎng)勵(lì)函數(shù)RM，訓(xùn)練chatGPTv0.1至chatGPTv1.0資料來源：OpenAI官網(wǎng)nGPT-4的另一個(gè)突破在于支持了從圖片格式到文本的多模態(tài)n在GPT-3.5將模型準(zhǔn)確率進(jìn)一步提升的前提下，繼續(xù)擴(kuò)大參數(shù)量提高準(zhǔn)確性的遍及收益開始下降。產(chǎn)業(yè)界開始關(guān)注圖片、語音、視頻等多模態(tài)輸入及輸出的可能性。支持多模態(tài)也意味著模型本身泛化能力的進(jìn)一步提升。目前語音、圖片的模態(tài)轉(zhuǎn)換相對(duì)較為成熟關(guān)于視頻的模態(tài)相關(guān)研究尚不成熟，受制于提取器的能力、存儲(chǔ)空間占用過大、算力限制n大語言模型雖然通過文本數(shù)據(jù)進(jìn)行訓(xùn)練，但通過將圖像展平為一維數(shù)組，我們讓圖像數(shù)據(jù)也可以通過大語言模型進(jìn)行訓(xùn)練nViT(visiontransformer)&SwinTransformer:ViT是谷歌研究團(tuán)隊(duì)在2020年推出的一種將Transformer應(yīng)用于計(jì)算機(jī)視覺任務(wù)的方法。ViT通過將圖像分割成小塊并將其線性嵌入，將圖像任務(wù)轉(zhuǎn)化為序列任務(wù)，從而使Transformer能夠在圖像領(lǐng)域發(fā)揮作用。SwinTransformer是微軟在2021年提出的一種基于窗口的計(jì)算機(jī)視覺Transformer模型，同樣將圖像分割成小塊，但通過滑動(dòng)窗口的方法進(jìn)行局部自注意力計(jì)算，有效減少了計(jì)算復(fù)雜度。n展望未來3-5年的人工智能模型技術(shù)路線：我們認(rèn)為人工智能將繼續(xù)沿著大語言模型的道路前景發(fā)展，并向GPT路線收斂nGPT路線已經(jīng)表現(xiàn)出了其不可替代的產(chǎn)品化能力，這也將推動(dòng)更多廠商想這個(gè)方向投入資源。而其良好的問題泛化求解能力也是歷代學(xué)者們不斷逼近通用人工智能的主要寄托n隨著多模態(tài)的不斷成熟以及新模態(tài)的持續(xù)加入，我們會(huì)看到通用求解能力更強(qiáng)的GPT類基礎(chǔ)模型n國(guó)外AI巨頭在這一過程中逐漸從開源走向閉源，數(shù)據(jù)源、模型實(shí)現(xiàn)的工程能力以及訓(xùn)練、維持模型運(yùn)轉(zhuǎn)消耗的大量資本投入成為核心壁壘。而目前后入者沒有公有云大廠的支持非常困難，這要求后入者能夠在幾乎沒交媒體等等）。ChatGPT證明了結(jié)合人工生成數(shù)據(jù)能獲得更好的效果，未來人工生成數(shù)據(jù)與算法合成數(shù)據(jù)將資料來源：LifeArchitectn工程能力決定了AI研發(fā)團(tuán)隊(duì)對(duì)模型的部署、迭代以及維護(hù)的速度，這也變相增加了模型的成本。當(dāng)前的大語言模型參數(shù)量在2000億以上，整個(gè)預(yù)訓(xùn)練過程長(zhǎng)達(dá)最少一個(gè)月，這其中包含了大量的工程實(shí)施問題。如何優(yōu)化工程細(xì)節(jié)，以及缺乏實(shí)踐工程經(jīng)驗(yàn)導(dǎo)致的試錯(cuò)n目前大語言模型在資本投入方面根據(jù)我們測(cè)算，在2022年底使用英偉達(dá)A100顯卡訓(xùn)練GPT-3模型需要約151萬美元，耗時(shí)30.7天。而后續(xù)部署模型實(shí)際運(yùn)營(yíng)時(shí)的推理成本，以175B的GPT-3.5為例，假設(shè)模型模型使用了96層、12288HiddenDimension、FP16和INT8混合精度，理論成本最高約在2.7美分每次生成，實(shí)際根據(jù)模型優(yōu)化的情況應(yīng)在0.1-1.2美分浮動(dòng)n假設(shè)ChatGPT日活用戶數(shù)為1000萬，平均每個(gè)用戶每日提問10次，HGXA100服務(wù)器的價(jià)格為8美元/小時(shí)的前提下，我們測(cè)算ChatGPT推理每日所消耗的服務(wù)器成本約為81萬美元n假設(shè)服務(wù)器的實(shí)際使用率為70%，每日的GPU小時(shí)為10萬小時(shí)，需要5000臺(tái)HGXA100服務(wù)器以維持1000萬日活用戶的日常需求，約合需要40000張A100顯卡，折合到英偉達(dá)收入約7.5億美元158n通過上述分析,大廠商對(duì)大語言模型的底層研究構(gòu)建了極高的競(jìng)爭(zhēng)壁壘，因此底層架構(gòu)的研發(fā)與實(shí)踐應(yīng)用的分細(xì)分行業(yè)定制AIChatGPTGPT類大模型聊天（ChatGPT）、文字補(bǔ)全（GPT類）、編碼器（Embeddings）、音轉(zhuǎn)文字（Whisper）、圖像生成n谷歌&Deepmind在之前五年始終是技術(shù)端的引領(lǐng)者，但ChatGPT的成功讓谷歌意識(shí)到GPT路線比Bert路線n谷歌重新在GPT路線追趕微軟&OpenAI，并于2023年3月開始測(cè)試其對(duì)ChatGPT的對(duì)標(biāo)模型Bard。但從測(cè)試結(jié)果看，Bard目前相較ChatGPT仍有差距，使用感覺接近于OpenAI9個(gè)月前nDeepmind被谷歌收購(gòu)后，兩個(gè)最重要的成果分別是AlphaGo（圍棋）與AlphaFold（蛋白質(zhì)研究），這兩者nDeepmind在圍棋與醫(yī)藥領(lǐng)域取得成功的背后也展現(xiàn)出了Deepmind的公司定位：Deepmind的研究目標(biāo)較為分散，研究主線圍繞強(qiáng)化學(xué)習(xí)。盡管對(duì)大語言模型也有突出成果（Chinchilla），但始終沒有像OpenAI一樣資料來源：Deepmind官網(wǎng)資料來源：Deepmind官網(wǎng)nMeta在人工智能技術(shù)上始終是緊隨微軟與谷歌之后的追趕者，Meta的研究院FAIR常年在人工智能頂級(jí)刊物上發(fā)表論文位居前列。FAIR在NLP方面有著大量研究，一個(gè)著名的項(xiàng)目是BERT的前身——ELMo，這是一個(gè)通過雙向語言模型訓(xùn)練得到的上下文相關(guān)詞向量表示方法n作為微軟與谷歌的追趕者，F(xiàn)AIR非常積極推動(dòng)開源項(xiàng)目的建設(shè)和資源共享。例如，F(xiàn)AIR開發(fā)了PyTorch，這是一個(gè)非常受歡迎的深度學(xué)習(xí)框架，廣泛應(yīng)用于學(xué)術(shù)界和工業(yè)界。2023年3月Meta又開源發(fā)布了其最新的大語言模型LLaMA0資料來源：NeurIPS，中信證券研究部n百度于2023年3月16日發(fā)布語言大模型“文心一言”，展示其在文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理推算、中文理解、多模態(tài)生成等五個(gè)場(chǎng)景的應(yīng)用，并針對(duì)技術(shù)進(jìn)展、商業(yè)化前景等進(jìn)行分享，開放測(cè)試申請(qǐng)n得益于之前五年在人工智能方向的積累，百度是目前國(guó)內(nèi)廠商中起步最快的，但國(guó)內(nèi)廠商的普遍問題是之前投入了大量資源在Bert路線的模型上，因此文心模型的表現(xiàn)仍有很強(qiáng)的Bert風(fēng)格。對(duì)百度而言，下一步仍需要迅速將資源轉(zhuǎn)向GPT路線模型的研發(fā)資料來源：《ERNIE3.0:Large-scaleKnowledgeEnhancedPreGeneration》（YuSun,Shuohuann阿里巴巴在自然語言處理領(lǐng)域的研究主要由達(dá)摩院承擔(dān)，2022年曾發(fā)布M6與PLUG兩個(gè)大語言模型，從評(píng)測(cè)n阿里在人工智能領(lǐng)域的主要優(yōu)勢(shì)在于算力儲(chǔ)備豐富，此外可以快速擴(kuò)展到電商領(lǐng)域的應(yīng)用場(chǎng)景。不足之處在于同樣也是走的Bert路線，GPT方向的積累不足，此外自nMaaS是目前模型層最主要的商業(yè)模式，具體包含訂閱與API按需收費(fèi)兩種模式。訂閱模式下，用戶根據(jù)使用需求支付周期性費(fèi)用，享受一定時(shí)期內(nèi)的模型服務(wù)。API按需收費(fèi)模式下，用戶根據(jù)實(shí)際調(diào)用API的次數(shù)或數(shù)據(jù)量支付費(fèi)用，這樣用戶可以根據(jù)業(yè)務(wù)量靈活調(diào)整支出。n實(shí)踐情況看，用戶部署大語言模型非常困難，MaaS模式提供了用戶足夠的靈活性。由于大型AI模型通常需要強(qiáng)大的計(jì)算能力和資源，很多企業(yè)和個(gè)人難以承擔(dān)部署和運(yùn)維成本。MaaS通過云服務(wù)平臺(tái)將復(fù)雜的技術(shù)問題進(jìn)行封裝，使用戶無需關(guān)注底層實(shí)現(xiàn)，可以輕松地訪問和使用AI模型。n對(duì)于有需求的用戶，MaaS也可以在模型之上添加微調(diào)（Fine-tune）層。MaaS平臺(tái)可以根據(jù)用戶需求，對(duì)通用AI模型進(jìn)行特定任務(wù)的微調(diào)，提高模型在特定領(lǐng)域的表現(xiàn)。用戶可以通過上傳自己的訓(xùn)練數(shù)據(jù)，實(shí)現(xiàn)模型的個(gè)性化定制，進(jìn)一步提升業(yè)務(wù)場(chǎng)景中AI模型的實(shí)用性和準(zhǔn)確性。nOpenAI2023年3月在ChatGPT中推出插件接口，這也可能成為底層模型的另一種商業(yè)模式n插件將ChatGPT連接到第三方應(yīng)用程序。這些插件使ChatGPT能夠與外部定義的API進(jìn)行交互，增強(qiáng)ChatGPT的功能并使其能夠執(zhí)行各種操作。例如：獲取實(shí)時(shí)信息：體育比分、股票價(jià)格、最新新聞等；獲取知識(shí)庫(kù)信息：公司文檔、個(gè)人筆記等；代表用戶執(zhí)行操作：預(yù)訂航班、訂購(gòu)食物等n第三方廠商無需接觸部署大語言模型，簡(jiǎn)化了微調(diào)環(huán)節(jié)的實(shí)施難度?，F(xiàn)在第三方廠商將可以自有的數(shù)據(jù)源及部分算法作為ChatGPT之上的插件，ChatGPT可以調(diào)用插件中的外部API接口來獲得信息。插件提供者使用OpenAPI標(biāo)準(zhǔn)編寫API，然后這個(gè)API會(huì)被編譯成一個(gè)prompt向ChatGPT解釋如何使用API來增強(qiáng)其答案n最近幾年來，AI產(chǎn)業(yè)的技術(shù)演進(jìn)路線主要呈現(xiàn)如下特征：底層模塊性能的不斷提升，注重模型的泛化能力，從而幫助AI算法的通用性優(yōu)化，并反哺數(shù)據(jù)收集。資料來源：百度AI官網(wǎng)資料來源：百度AI官網(wǎng)n數(shù)據(jù)結(jié)構(gòu)復(fù)雜度不斷提升，半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)。不同場(chǎng)景、不同應(yīng)用、不同來源的數(shù)據(jù)都匯聚在數(shù)據(jù)庫(kù)中等待分析，數(shù)據(jù)結(jié)構(gòu)本身的復(fù)雜高，但價(jià)值仍然沒有被充分發(fā)掘。根據(jù)Ovum數(shù)據(jù)，視頻類數(shù)據(jù)流量占據(jù)超過77%的總流量比例。根據(jù)IDC數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)占整體量比重高達(dá)80%以上，在排除一定比例的半結(jié)構(gòu)化數(shù)據(jù)后，現(xiàn)階段真正用于大數(shù)據(jù)分析支撐企業(yè)決策的只有占較小比例的結(jié)構(gòu)化數(shù)據(jù)，這意n存儲(chǔ)技術(shù)和云計(jì)算的發(fā)展使企業(yè)能夠存儲(chǔ)海量非術(shù)、資源和數(shù)據(jù)庫(kù)技術(shù)的限制，非結(jié)構(gòu)化的數(shù)據(jù)無法有效保存和調(diào)用。但隨著存儲(chǔ)技術(shù)和云計(jì)算的的存儲(chǔ)資源和存儲(chǔ)方法。機(jī)器學(xué)習(xí)、自然語言處理、圖像識(shí)別等人工智能技術(shù)也增加了對(duì)海量非結(jié)后，賦能應(yīng)用之前，必須經(jīng)過數(shù)據(jù)庫(kù)管理系統(tǒng)才能夠?qū)Ψ墙Y(jié)構(gòu)化數(shù)據(jù)進(jìn)行調(diào)用、處理和分析VR通信n近年來全球數(shù)據(jù)量呈現(xiàn)爆發(fā)式增長(zhǎng)，據(jù)IDC統(tǒng)計(jì)，2019年全球產(chǎn)生的數(shù)據(jù)量為41ZB，過去十年的CAGR接近50%，預(yù)計(jì)到2025年全球數(shù)據(jù)量或高達(dá)175ZB，2019-2025年仍將維持近30%的復(fù)合增速，其中超過80%的數(shù)據(jù)都將是處理難度較大的文本、圖像、音視頻等非結(jié)構(gòu)化數(shù)據(jù)。全球數(shù)據(jù)量（ZB)同比增速—f40），n按照當(dāng)前LLM的技術(shù)范式，數(shù)據(jù)集主要應(yīng)用于預(yù)訓(xùn)練、模型調(diào)優(yōu)階段。預(yù)訓(xùn)練階段需要大規(guī)模、多類別、00心資料來源：中國(guó)人民大學(xué)《ASurveyofLargeLanguageModels》（WayneXi），0資料來源：中國(guó)人民大學(xué)《ASurveyofLargeLanguageModels》（WayneXinZhao,Ku資料來源：中國(guó)人民大學(xué)《ASurveyofLargeLanguageModels》（WayneX），資料來源：中國(guó)人民大學(xué)《ASurveyofLargeLanguageModels》（Wayne），資料來源：中國(guó)人民大學(xué)《ASurveyofLargeLanguageModels》（Wayne），n在進(jìn)行實(shí)例封裝的過程中，需要將現(xiàn)有的數(shù)據(jù)進(jìn)行詳細(xì)的標(biāo)注，并統(tǒng)一格式，為后續(xù)提供任務(wù)輸出提供基資料來源：中國(guó)人民大學(xué)《ASurveyofLargeLanguageModels》（WayneX），資料來源：中國(guó)人民大學(xué)《ASurveyofLargeLanguageModels》（Wayne），n市場(chǎng)規(guī)模：2022年中國(guó)數(shù)據(jù)標(biāo)注市場(chǎng)總規(guī)模達(dá)50.8億元，較2021年增長(zhǎng)17.3%，CAGR（2022-2029）達(dá)22%。穩(wěn)步落地階段的人工智能行業(yè)疊加國(guó)家產(chǎn)業(yè)政策支持，持續(xù)促進(jìn)行業(yè)發(fā)展。同時(shí)，隨著ChatGPT成為AIGC現(xiàn)象級(jí)應(yīng)用，優(yōu)化了上游國(guó)內(nèi)數(shù)據(jù)標(biāo)注廠商的工作，帶來更多的機(jī)會(huì)。n應(yīng)用場(chǎng)景：現(xiàn)階段計(jì)算機(jī)視覺仍占據(jù)主流，NLP有待場(chǎng)景需求拉動(dòng)，隨著AI不斷落地，與各行各業(yè)深度融合，尤其是在自動(dòng)駕駛、新零售、人工智能教育、工業(yè)機(jī)器人、智慧農(nóng)業(yè)等領(lǐng)域，數(shù)據(jù)標(biāo)簽化的應(yīng)用場(chǎng)景越來越廣泛。n發(fā)展趨勢(shì)：1）場(chǎng)景化、定制化會(huì)成為主流；2）數(shù)據(jù)標(biāo)注行業(yè)將從單一模式向多模式標(biāo)注發(fā)展；3）新的人機(jī)耦合標(biāo)注將成為大勢(shì)所趨。i資料來源：觀研天下，中信證券研究部93n由于不同的行業(yè)、不同的業(yè)務(wù)場(chǎng)景對(duì)數(shù)據(jù)標(biāo)注的需求存在一定的差異性，高質(zhì)量的數(shù)據(jù)集成為提高數(shù)據(jù)標(biāo)注質(zhì)量的關(guān)鍵。公開數(shù)據(jù)集可以幫助數(shù)據(jù)標(biāo)注團(tuán)隊(duì)減少?gòu)牧汩_始創(chuàng)建和標(biāo)注大量數(shù)據(jù)所需的時(shí)間和成本，且通常由專業(yè)團(tuán)隊(duì)或機(jī)構(gòu)創(chuàng)建，其數(shù)據(jù)質(zhì)量往往較高。這有助于提高數(shù)據(jù)標(biāo)注項(xiàng)目的準(zhǔn)確性和可靠性，從而提高整體項(xiàng)目的質(zhì)量。同時(shí)，這些通常由專業(yè)團(tuán)隊(duì)或機(jī)構(gòu)創(chuàng)建，其數(shù)據(jù)質(zhì)量往往較高。這有助于提高數(shù)集n數(shù)據(jù)安全管理問題已成為當(dāng)下基礎(chǔ)的安全管理問題，數(shù)據(jù)安全治理也逐漸被提升到國(guó)家安全治理的戰(zhàn)略高度。近年來，國(guó)家多次發(fā)布相關(guān)法規(guī)法案，將保障數(shù)據(jù)安全管理放到了重點(diǎn)突出的位置。n根據(jù)《中共中央國(guó)務(wù)院關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見》，中國(guó)政府將以維護(hù)國(guó)家數(shù)據(jù)安全、保護(hù)個(gè)人信息和商業(yè)秘密為前提，以促進(jìn)數(shù)據(jù)合規(guī)高效流通使用、賦能實(shí)體經(jīng)濟(jì)為主線，以數(shù)據(jù)產(chǎn)權(quán)、流通交易、收益分配、安全治理為重點(diǎn)，深入?yún)⑴c國(guó)際高標(biāo)準(zhǔn)數(shù)字規(guī)則制定，構(gòu)建適應(yīng)數(shù)據(jù)特征、符合數(shù)字經(jīng)濟(jì)發(fā)展規(guī)律、保障國(guó)家數(shù)據(jù)安全、彰顯創(chuàng)新引領(lǐng)的數(shù)據(jù)基礎(chǔ)制度，充分實(shí)現(xiàn)數(shù)據(jù)要素價(jià)值、促進(jìn)全體人民共享數(shù)字經(jīng)濟(jì)發(fā)展紅利，為深化創(chuàng)新驅(qū)動(dòng)、推動(dòng)高質(zhì)量發(fā)展、推進(jìn)國(guó)家治理體系和治理能力現(xiàn)代化提供有力支撐。），《個(gè)人信息安全法（草案）》《網(wǎng)絡(luò)安全審查辦法》《數(shù)據(jù)安全法》院n數(shù)據(jù)標(biāo)注領(lǐng)域，按參與模式主要分為眾包和自建工廠兩種模式：其一，以百度眾包、京東眾智、龍貓數(shù)據(jù)為代表的眾包模式廠商；其二，以貝賽、云測(cè)、愛數(shù)智慧、海天瑞聲、阿里數(shù)據(jù)標(biāo)注為代表的自建工廠廠商。從市場(chǎng)供給來看，當(dāng)前第三方服務(wù)商提供了整體數(shù)據(jù)標(biāo)注市場(chǎng)79%的服務(wù)，企業(yè)自建只占21%。這反映出當(dāng)前國(guó)內(nèi)數(shù)據(jù)標(biāo)注行業(yè)仍處在高速發(fā)展、粗放競(jìng)爭(zhēng)的初級(jí)階段，市場(chǎng)上可見的針對(duì)數(shù)據(jù)處理的軟件較少，國(guó)產(chǎn)化需求高。n同時(shí)，隨著ChatGPT聊天機(jī)器人成為AIGC現(xiàn)象級(jí)應(yīng)用，給上游國(guó)內(nèi)數(shù)據(jù)標(biāo)注廠商帶來了“后跑發(fā)力”的機(jī)會(huì)，與AIGC技術(shù)融合成為數(shù)據(jù)標(biāo)注公司發(fā)展的第二曲線。n精細(xì)化、場(chǎng)景化、專業(yè)化的數(shù)據(jù)采集和標(biāo)注，可以滿足日益增長(zhǎng)的人工智能細(xì)分和專業(yè)垂直賦能需求，數(shù)據(jù)標(biāo)注行業(yè)將繼續(xù)向?qū)I(yè)服務(wù)方向發(fā)展，這為非上市中小企業(yè)帶來了發(fā)展機(jī)遇，這些企業(yè)可以根據(jù)自身優(yōu)勢(shì)和市場(chǎng)需求，打造差異化競(jìng)爭(zhēng)優(yōu)勢(shì)，從而在數(shù)據(jù)標(biāo)注市場(chǎng)中脫穎而出。除此而外，從單一模式向多模式專注于教育領(lǐng)域的數(shù)據(jù)服務(wù)。知學(xué)網(wǎng)絡(luò)為教育機(jī)構(gòu)和企業(yè)提供數(shù)據(jù)是一家提供計(jì)算機(jī)視覺數(shù)據(jù)標(biāo)注平臺(tái)和服務(wù)的公司。SuperAnnotate專提供專業(yè)化的數(shù)據(jù)標(biāo)注服務(wù)，涉及圖像識(shí)別、視頻分析、文本處理等領(lǐng)域。Hive為廣告、零售、金融等Alegion專注于提供定制化、專業(yè)化的數(shù)據(jù)標(biāo)注服務(wù)。Alegion的服務(wù)覆蓋了計(jì)算機(jī)視ScaleAI是一家美國(guó)的數(shù)據(jù)標(biāo)注公司，為自動(dòng)駕駛、無人機(jī)、機(jī)器人等領(lǐng)域提供定制 Flume一個(gè)分布式、可靠的、高可用的用于數(shù)據(jù)采集、聚合和傳輸?shù)南到y(tǒng)。常用于日志采集系統(tǒng)中，支持定制各類數(shù)據(jù)發(fā)送方用基于GoogleBigtable的開源實(shí)現(xiàn)，是一個(gè)具有高可靠性、高性能、面向列、可伸縮性、典型的key/value分布式存儲(chǔ)的nosql數(shù)據(jù)庫(kù)系統(tǒng)，主要用介于HDFS和HBase之間的基于列式存儲(chǔ)的分布式數(shù)據(jù)庫(kù)。兼具了HBase的實(shí)時(shí)性、HDFS的高吞吐，以及傳統(tǒng)數(shù)據(jù)庫(kù)的sql支持。分布式文件存儲(chǔ)系統(tǒng)，具有高容錯(cuò)、高吞吐、高可用的特性。HDFS非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用，提供高吞吐量的數(shù)據(jù)訪問，可Spark是一個(gè)快速、通用、可擴(kuò)展、可容錯(cuò)的、內(nèi)存迭分布式的大數(shù)據(jù)處理引擎，可以對(duì)有限數(shù)據(jù)流和無線數(shù)據(jù)流進(jìn)行有狀態(tài)的計(jì)算。Flink在設(shè)計(jì)之初就是以流為基礎(chǔ)發(fā)展的，然后再進(jìn)入,相對(duì)于spark而言，它是一個(gè)真正意義上的實(shí)時(shí)計(jì)算引擎。由Twitter開源后歸于Apache管理的分布式實(shí)時(shí)計(jì)算系統(tǒng)。Storm是一個(gè)沒有批分布式運(yùn)算程序的編程框架，適用于離線數(shù)據(jù)處理場(chǎng)景，內(nèi)部處理流程主要?jiǎng)澐謒ap和reduce兩個(gè)階段。Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供HQL語句（類SQL語言）查詢功能，存儲(chǔ)依賴于支持DAG作業(yè)的開源計(jì)算框架。相對(duì)于MapReduce性能更好，主要原因在于其將作業(yè)描述為DAG（有向無環(huán)圖），這基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺(tái)，它包含了一種名為PigLatin的腳本語言來描述數(shù)據(jù)流，并行地執(zhí)行數(shù)據(jù)流處理的引擎，為復(fù)雜的海量數(shù)據(jù)并構(gòu)建在HBase之上的一個(gè)SQL層，能讓我們通過標(biāo)準(zhǔn)的JDBCAPI操作HBase中的數(shù)據(jù)。 200920102011201220132014）， 201920202021E2022E2023）， 云數(shù)據(jù)庫(kù)市場(chǎng)同比增速本地部署市場(chǎng)同比增速201920202021E資料來源：OraclePartnerNetwor），2008年。阿里巴巴已經(jīng)感到“IOE”提供的“大集中模式”不能適應(yīng)公司業(yè)務(wù)快速擴(kuò)張的節(jié)奏，IOE架構(gòu)已經(jīng)顯現(xiàn)出瓶頸。為了提高業(yè)務(wù)的可擴(kuò)展性，直到2013年，淘寶核心系統(tǒng)中的最后一臺(tái)Oracle數(shù)據(jù)庫(kù)下線，阿里宣布成功完成去"2010年以來，國(guó)家電網(wǎng)公司以自主可控和國(guó)產(chǎn)化改造工作為信息系統(tǒng)安全工作的落腳點(diǎn)，持續(xù)提升公司信息系統(tǒng)的安全保障能力。2014年動(dòng)。江蘇電信提出“從IOE”到LAMP轉(zhuǎn)變，中國(guó)聯(lián)通在北京，重慶，浙江，黑龍2014年，中國(guó)銀監(jiān)會(huì)發(fā)布了39號(hào)文即《關(guān)于應(yīng)用安全可控信建設(shè)銀行以及工商銀行五大銀行和城商銀行都在積極投入“去IOE”的運(yùn)動(dòng)中。很多銀行在做互聯(lián)網(wǎng)金融等新興業(yè)務(wù)拓展時(shí)，已經(jīng)在試資料來源：21世紀(jì)經(jīng)濟(jì)報(bào)道，國(guó)家電網(wǎng)報(bào)，程序園網(wǎng)站，中國(guó)銀監(jiān)0 20092010杭州政府城市數(shù)據(jù)大腦2.0建設(shè)銀行-騰訊金融科技聯(lián)合創(chuàng)新實(shí)驗(yàn)室圖”gaussDB數(shù)據(jù)庫(kù)聯(lián)合創(chuàng)///////實(shí)踐平臺(tái)”//資料來源：各公司官網(wǎng)，公司公告，CSDN，Wind資訊，中信證券研究部注：加粗案例為核心系統(tǒng)n隨著算法模型、技術(shù)理論和應(yīng)用場(chǎng)景的優(yōu)化和創(chuàng)新，AI產(chǎn)業(yè)對(duì)訓(xùn)練數(shù)據(jù)的拓展性需求和前瞻性需求均快速n根據(jù)IDC發(fā)布的《2021年中國(guó)人工智能基礎(chǔ)數(shù)據(jù)服務(wù)市場(chǎng)研究報(bào)告》，預(yù)計(jì)中國(guó)AI基礎(chǔ)數(shù)據(jù)服務(wù)市場(chǎng)近5年0），資料來源：Wei.et.al.2022.Chain-of-Tho經(jīng)歷約經(jīng)歷約58年公司模型模型參數(shù)OpenAIGPT3谷歌LaMDALLaMA6500億華為盤古2000億微軟&英偉達(dá)Megatron-LM5300億阿里巴巴文心2600億騰訊混元DeepmindSparrow700億AlexNet(2012）），VGG-16(2014)AlibabaPERSEUS-BERT8.3億個(gè)參數(shù)，放大版OpenAlGPT-2(突出顯示為24倍大小的 下游應(yīng)用下游應(yīng)用沒有專有模型的面向最終用戶的B2B和B2C應(yīng)用程序如:Jasper,GithubCopilot模型中心共享與托管模型如:HuggingFace,Replicate具有專有模型的面向最終用戶的應(yīng)用程序如:Jasper,GithubCopilot模型中心共享與托管模型如:HuggingFace,Replicate具有專有模型的面向最終用戶的應(yīng)用程序如:Midjourney,Runway閉源基礎(chǔ)模型通過API公開的大規(guī)模預(yù)訓(xùn)練模型開源基礎(chǔ)模型如:StableDiffusion(Stability)云計(jì)算平臺(tái)在云部署模型中向開發(fā)人員公開的計(jì)算硬件如:AWS,GCP,Azure,Coreweave計(jì)算硬件針對(duì)模型訓(xùn)練和推理工作負(fù)載優(yōu)化的加速器芯片如:GPUs(Nvidia),TPUs(Google)算法模型算法模型算力基礎(chǔ)算力基礎(chǔ)0201820202025E），STEP描述1模型pre-training搭建算法架構(gòu)，基于大數(shù)據(jù)集對(duì)模型進(jìn)行自監(jiān)督訓(xùn)練，生成大模型2模型fine-tune基于小數(shù)據(jù)集、RLHF等對(duì)模型進(jìn)行調(diào)優(yōu)和對(duì)齊3模型推理響應(yīng)用戶調(diào)用需求，并輸出計(jì)算結(jié)果n假定預(yù)訓(xùn)練單次，且訓(xùn)練過程中沒有出現(xiàn)錯(cuò)誤時(shí)的成本。實(shí)際情形中，考慮到訓(xùn)練過程中出現(xiàn)工程類錯(cuò)誤的可能性，實(shí)際成本會(huì)高于我們計(jì)算的理想情況成本。n假設(shè)參數(shù)量為175B、訓(xùn)練數(shù)據(jù)500BTokens的情況下，根據(jù)《ScalingLawsforNeuralLanguageModels》（JaredKaplan,SamMcCandlish,TomHenighan等），我們?cè)谑褂?56個(gè)英偉達(dá)HGXA100服務(wù)器(包含2048個(gè)A100GPU卡）的情況下，模型FLOPsUtilization（MFU）假設(shè)為Megatron-LM的51.04%，我們推測(cè)單次訓(xùn)練時(shí)長(zhǎng)約為30.7天，對(duì)應(yīng)約151萬GPU小時(shí)。假設(shè)訓(xùn)練使用成本價(jià)約為1美元/GPU小時(shí)的情況下，耗費(fèi)服務(wù)器端成本約為151萬美元。模型大小22B41.50%43.70%51.40%52.80%530B56.00%57.00%56.30%57.00%資料來源：英偉達(dá)官網(wǎng)），傾向于構(gòu)建一套自己的大模型，因此我們做出如下敏感度分析：保守情形下2222158xA100服務(wù)器成本（美元/小時(shí)）nChatGPT推理環(huán)節(jié)成本測(cè)算：我們假定企業(yè)會(huì)在推理環(huán)節(jié)對(duì)通信延遲、內(nèi)存帶寬等進(jìn)行必要優(yōu)化，因此假定用戶訪問ChatGPT的單次成本為理論最高成本（2.7美分/次）的30%，