AGI（通用人工智能）專題之二：“文心一言”發(fā)布國(guó)內(nèi)廠商距離復(fù)現(xiàn)ChatGPT有多遠(yuǎn)

機(jī)構(gòu)投資者使用究報(bào)告|行業(yè)深度研究報(bào)告請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明AGI(通用人工智能)專題之二?“文心一言”表現(xiàn)一如預(yù)期，不必過(guò)度悲觀AGI(通用人工智能)專題之二?“文心一言”表現(xiàn)一如預(yù)期，不必過(guò)度悲觀理解、多模態(tài)生成能力，存在超預(yù)期亮點(diǎn)，但事前錄屏降低了其演示的真實(shí)性，也并未對(duì)外直接開(kāi)放，多因素導(dǎo)致公眾反饋不佳。我們認(rèn)為盡管上下文理解、語(yǔ)義邏輯、多輪對(duì)話方面尚優(yōu)化空間極大。但差距并非不可逾越1)算法上，去開(kāi)源化極大增加了國(guó)內(nèi)科技企業(yè)的復(fù)現(xiàn)難度，集質(zhì)量、標(biāo)注細(xì)節(jié)處理、用戶真實(shí)交互是關(guān)鍵，盡管優(yōu)質(zhì)的中文標(biāo)注數(shù)據(jù)集匱乏，使用英文數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練并不影響中中心建設(shè)，能夠?qū)崿F(xiàn)算力資源部分自給，此外算力更接近于?工程化和應(yīng)用分發(fā)能力是隱形壁壘，頭部廠商優(yōu)勢(shì)明顯工程化與分發(fā)能力。1)工程化能力，即能夠利用更低的成本和更高效的迭代做出先進(jìn)的大模型應(yīng)用，制作更高效、廉用戶在線。2)充沛化處理的潛力，且應(yīng)用分發(fā)是國(guó)內(nèi)企業(yè)的長(zhǎng)項(xiàng)，頭部廠商本身已經(jīng)建起規(guī)模及心智壁壘，且商業(yè)模式無(wú)需再探索，如要短期我們關(guān)注“文心一言”等產(chǎn)品對(duì)科技企業(yè)財(cái)務(wù)狀況的影響，將增量成本拆分為訓(xùn)練成本、推理成本及數(shù)據(jù)標(biāo)注成本 (暫不考慮人力支出及維護(hù)費(fèi)用)，測(cè)算大模型落地搜索頁(yè)及本存在偏差，此外實(shí)際落地后各項(xiàng)成本均存在優(yōu)化可能、具其增量成本的合理范圍(暫不考慮人力支出及維護(hù)費(fèi)用)，參T信息-2%-7%-13%-19%2022/032023/032022/062022/092022/032023/03滬深300分析師：趙琳SACNOS0520040003報(bào)告|行業(yè)深度研究報(bào)告請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明2營(yíng)投資建議GPT4、Office365(Copilot)對(duì)公眾的震撼只是前期技術(shù)突破后的余韻，而非AGI領(lǐng)域想象力的終點(diǎn)，產(chǎn)品的成功會(huì)驅(qū)動(dòng)更多學(xué)術(shù)資源與產(chǎn)業(yè)投資的傾斜，人工智能必然成為產(chǎn)業(yè)發(fā)展長(zhǎng)期主線，國(guó)產(chǎn)替代具有需求上的緊迫性。依然重點(diǎn)推薦百度(BIDU.US)，判斷“文心一言”表現(xiàn)符合預(yù)期，公司目前仍處于低估區(qū)間，盡管技術(shù)差距依然存在，短期內(nèi)研發(fā)投入可能上行，我們看好人工智能領(lǐng)域投入對(duì)公司業(yè)績(jī)及估值的長(zhǎng)線提振。同時(shí)關(guān)注已在視頻、營(yíng)銷、閱讀等相關(guān)細(xì)分領(lǐng)域搶跑的重點(diǎn)標(biāo)的，推薦當(dāng)虹科技、捷成股份、藍(lán)色光風(fēng)險(xiǎn)提示報(bào)告|行業(yè)深度研究報(bào)告請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明31.“文心一言”答卷未知，但國(guó)產(chǎn)替代并不遙遠(yuǎn) 41.1.細(xì)究算法、數(shù)據(jù)、算力三要件，略遜一籌但仍有追平可能 51.2.工程化處理與分發(fā)能力是更高的壁壘 101.3.商業(yè)化路徑已經(jīng)明晰，搜索場(chǎng)景鮮明契合 122.若“文心一言”成功對(duì)公眾開(kāi)放，年化增量成本可控 152.1.訓(xùn)練：前期固定投入較大，萊特定律驅(qū)動(dòng)下成本必然下行 152.2.推理：與用戶數(shù)量成正比，成本優(yōu)化路徑明確 162.3.數(shù)據(jù)標(biāo)注：取決于人力價(jià)格，成本量級(jí)較低 173.投資建議 184.風(fēng)險(xiǎn)提示 18 圖2“文心一言”生成視頻 4 圖4海外AI機(jī)構(gòu)預(yù)測(cè)中國(guó)高引論文占比將超過(guò)美國(guó) 5圖5類ChatGPT產(chǎn)品的技術(shù)發(fā)展示意圖 5圖6ChatGPT的技術(shù)突破點(diǎn)在于引入了RLHF(基于人類反饋的強(qiáng)化學(xué)習(xí)) 6圖7主流大模型數(shù)據(jù)集來(lái)源可分為六類 8圖8各類數(shù)據(jù)來(lái)源大小 8圖9全球前十大科技企業(yè)數(shù)據(jù)中心容量排名 9圖10百度昆侖一、二代芯片與英偉達(dá)A100參數(shù)對(duì)比 9圖112013年起公司資本開(kāi)支及經(jīng)營(yíng)現(xiàn)金流情況 10圖122013年起公司現(xiàn)金及現(xiàn)金等價(jià)物充沛(億元) 10圖13AGI產(chǎn)業(yè)鏈及底層支撐示意圖 10圖14未接入GPT4的Bing僅對(duì)搜索結(jié)果進(jìn)行簡(jiǎn)單整合 12圖15NewBing的Chat入口可以對(duì)搜索結(jié)果進(jìn)行人性化整合 12圖16NewBing能夠幫助用戶編寫(xiě)代碼 13圖17NewBing能夠幫助用戶進(jìn)行文件閱讀 13 圖19百度知識(shí)圖譜的首要應(yīng)用場(chǎng)景即為搜索 13圖20用戶輸入“寶可夢(mèng)朱紫”后出現(xiàn)游戲購(gòu)買鏈接 14圖21用戶輸入健美運(yùn)動(dòng)員姓名后出現(xiàn)健身補(bǔ)劑廣告 14表1Github社區(qū)中主流AI框架情況(2022.1) 6表2類ChatGPT模型年均訓(xùn)練成本測(cè)算 15表3類ChatGPT應(yīng)用中期年均推理成本測(cè)算 16表4類ChatGPT應(yīng)用中期年均成本測(cè)算 17報(bào)告|行業(yè)深度研究報(bào)告請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明41.“文心一言”答卷未知，但國(guó)產(chǎn)替代并不遙遠(yuǎn)習(xí))、提示學(xué)習(xí)等ChatGPT基礎(chǔ)技術(shù)，但具體參數(shù)量、數(shù)據(jù)量、耗能、對(duì)話時(shí)效等均同類問(wèn)題下中文理解能力強(qiáng)于GPT4，且隨輸入內(nèi)容生成音頻、視頻尚屬AI對(duì)話模型中的首例，存在超預(yù)期亮點(diǎn)，但發(fā)布會(huì)未能展示模型的編程能力，且事前錄屏降低示的真實(shí)性，也并未對(duì)公眾開(kāi)放，多種因素導(dǎo)致公眾反饋不佳。視頻“文心一言”展現(xiàn)了足夠的文案創(chuàng)作能力，為B端降本增效的起始邏輯已經(jīng)明推理使用。以ChatGPT為例，OpenAI并未公布其基礎(chǔ)模型(GPT3.5、GPT4)技術(shù)細(xì)節(jié)，用戶僅能夠在自身應(yīng)用內(nèi)通過(guò)API調(diào)用用戶交互能夠進(jìn)一步改善模型表現(xiàn)，我們判斷這也是公司急于推動(dòng)模型面世的在用戶交互飛輪的巨人肩膀上，與文心一言并不在同一起跑線。但是海量用戶群也是用戶已經(jīng)能夠申請(qǐng)內(nèi)測(cè)邀請(qǐng)碼，邀請(qǐng)范圍若持續(xù)擴(kuò)大，飛輪效應(yīng)將推進(jìn)“文心一言”我們判斷，盡管上下文理解、語(yǔ)義邏輯、多輪對(duì)話方面尚有欠缺，“文心一言”P(pán)T產(chǎn)業(yè)發(fā)展長(zhǎng)期主線，國(guó)產(chǎn)替代具有需求上的緊迫性。以“文心一言”發(fā)布為契機(jī)，我們重點(diǎn)分析國(guó)內(nèi)主流科技企業(yè)在復(fù)現(xiàn)ChatGPT領(lǐng)域需要克服的差距，判斷對(duì)國(guó)產(chǎn)大模型的發(fā)展不必過(guò)度悲觀。報(bào)告|行業(yè)深度研究報(bào)告請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明51.1.1.算法：核心差距在于方法及細(xì)節(jié)處理V (計(jì)算機(jī)視覺(jué))技術(shù)視作類ChatGPT產(chǎn)品的技術(shù)底座，從深度學(xué)習(xí)的角度分析其發(fā)Transformer參數(shù)量指數(shù)級(jí)增加，大模型成為可能；大語(yǔ)言模型出現(xiàn)后，大模型的使用方式從預(yù)訓(xùn)練的單一任務(wù)模型迭代到數(shù)據(jù)量顯著減少，從而降低了業(yè)務(wù)的使用成本。國(guó)內(nèi)AI領(lǐng)域積累深厚，歷年論文發(fā)表及專利申請(qǐng)占優(yōu)。Elsevier數(shù)據(jù)顯示2012-2021年中國(guó)AI相關(guān)論文篇數(shù)始終排在首位，到2021年增至美國(guó)2倍。從論文引用次數(shù)進(jìn)入前10％的篇數(shù)來(lái)看，中國(guó)2019年躍居首位。2021年達(dá)到比美國(guó)多7成的7401篇；斯坦福大學(xué)數(shù)據(jù)顯示2021年中國(guó)提交的人工智能專利申請(qǐng)全球占比超50%。請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明6現(xiàn)算法的基礎(chǔ)架構(gòu)和工具，可類比為開(kāi)發(fā)過(guò)程中必須使用的操作系統(tǒng)(如游戲制作過(guò)并提供良好的執(zhí)行性能,對(duì)上支撐AI應(yīng)用算法模型搭建，提供算法工程化實(shí)現(xiàn)的標(biāo)準(zhǔn)環(huán)境，是AI體系的關(guān)鍵核心。目前海外AI框架領(lǐng)域已經(jīng)形成TensorFlow(Google)、PyTorch(Meta)雙寡頭格局，國(guó)內(nèi)主流AI框架主要有ithubAI地區(qū)排名框架代碼提交次數(shù)引用數(shù)點(diǎn)贊數(shù)貢獻(xiàn)者海外1TensorFlow2PyTorch3Theano45Maneet1PaddlePaddle2MindSpore3MegEngine4OneFlow5Jittor資料來(lái)源：AI框架發(fā)展白皮書(shū)(2022年)，華西證券研究所但ChatGPT在算法上的突破更多在于思路而非具體理論，是“菜譜”而非“食ChatGPTGPT，引入了RLHF(基于人類反饋的強(qiáng)化學(xué)習(xí))：利用人類的標(biāo)注現(xiàn)任何底層理論的創(chuàng)新，更近于多種前沿算法理論組合，選取了大量的數(shù)據(jù)，設(shè)計(jì)了復(fù)雜的是這一過(guò)程。步驟步驟1：收集數(shù)據(jù)，監(jiān)督學(xué)習(xí)步驟2：建立訓(xùn)練匯報(bào)模型步步驟3：強(qiáng)化學(xué)習(xí)(PPO算法)“提示學(xué)習(xí)”“提示學(xué)習(xí)”算法雇雇傭標(biāo)注工使用監(jiān)督使用監(jiān)督學(xué)習(xí)，對(duì)GPT-3.5進(jìn)行微調(diào)高模型認(rèn)知能力進(jìn)行數(shù)據(jù)標(biāo)注解釋鞏固學(xué)習(xí)到進(jìn)行數(shù)據(jù)標(biāo)注六歲階段公司給予信任和懲罰在教授過(guò)程一一個(gè)提問(wèn)對(duì)應(yīng)多個(gè)回答標(biāo)注者將回答從最好到最差排序該過(guò)程中產(chǎn)生的數(shù)據(jù)用于訓(xùn)練獎(jiǎng)勵(lì)模型Q：如何向一個(gè)六歲的孩子解釋強(qiáng)化學(xué)習(xí)？強(qiáng)化學(xué)習(xí)是…獎(jiǎng)勵(lì)機(jī)制是…在機(jī)器學(xué)圍棋…一一個(gè)新提問(wèn)初初始化策略模型進(jìn)行輸策略模型進(jìn)行輸出獎(jiǎng)勵(lì)模型對(duì)輸出進(jìn)行評(píng)價(jià)該該評(píng)價(jià)用于更新策略模型的參數(shù)(基于PPO算法)寫(xiě)一個(gè)關(guān)于水獺的資料來(lái)源：公開(kāi)資料整理，華西證券研究所布了大量的模型原理，OpenAI并未提供開(kāi)源論文，大量的技術(shù)細(xì)節(jié)并未公開(kāi)，I報(bào)告|行業(yè)深度研究報(bào)告請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明7年論文發(fā)表及專利數(shù)占優(yōu)，但在復(fù)現(xiàn)過(guò)程中大量細(xì)節(jié)都并不明朗，如提示學(xué)習(xí)的具體、數(shù)據(jù)標(biāo)簽的設(shè)置等。從國(guó)產(chǎn)實(shí)踐來(lái)看，學(xué)術(shù)界已有相對(duì)成功復(fù)現(xiàn)先例，但尚未工程化落地。百度習(xí)等技術(shù)，盡管參數(shù)量較小，輸出表現(xiàn)良好。2022年11月，斯坦福大學(xué)大模型中心對(duì)全球30個(gè)主流大模型進(jìn)行了全方位的評(píng)測(cè)，GLM-130B是亞洲唯一入選的大模型，評(píng)測(cè)報(bào)告顯示GLM-130B在準(zhǔn)確性和公平性指標(biāo)上與GPT-3接近或持平，魯棒性、校準(zhǔn)誤差和無(wú)偏性均優(yōu)于GPT-3。報(bào)告|行業(yè)深度研究報(bào)告請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明81.1.2.數(shù)據(jù)：數(shù)據(jù)集質(zhì)量、標(biāo)注細(xì)節(jié)處理、用戶真實(shí)交互是關(guān)鍵習(xí)的基礎(chǔ)上提供了高質(zhì)量的真實(shí)數(shù)據(jù)(精標(biāo)的多輪對(duì)話數(shù)據(jù)和比較排序數(shù)據(jù))，主要得益于敏感詞標(biāo)注領(lǐng)域技術(shù)投入、對(duì)公眾開(kāi)放后形成的數(shù)據(jù)飛輪。OpenAI并沒(méi)有公判斷主流大模型數(shù)據(jù)集來(lái)源可分為六類，分別是：維基百科、書(shū)籍、期刊、Reddit (社交媒體平臺(tái))鏈接、CommonCrawl(大型數(shù)據(jù)集)和其他數(shù)據(jù)集(GitHub等醫(yī)學(xué)、法律、金融等領(lǐng)域的特定數(shù)據(jù)以及百度知識(shí)圖譜(超過(guò)5000萬(wàn)條事實(shí))。但中文互聯(lián)網(wǎng)語(yǔ)料質(zhì)量相對(duì)較差，優(yōu)質(zhì)的中文標(biāo)注數(shù)據(jù)集匱乏，使用英文數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練更為可行。RLHF論文中的訓(xùn)練數(shù)據(jù)英文占比極高，但對(duì)中文和其他小語(yǔ)們認(rèn)為中文數(shù)據(jù)集的薄弱對(duì)于國(guó)產(chǎn)大模型而言并不構(gòu)成較大阻礙。PT非常強(qiáng)大的語(yǔ)句串聯(lián)的能力，但互聯(lián)網(wǎng)的詞匯存在負(fù)面信息，單純憑借學(xué)習(xí)能力無(wú)法學(xué)會(huì)檢測(cè)這些內(nèi)容，并在它觸及到用戶之前將不良內(nèi)容過(guò)濾掉。盡管標(biāo)簽主要通過(guò)人國(guó)內(nèi)科技企業(yè)探索?？萍计髽I(yè)能夠參考GPT3的路徑，利用海量用戶交互提升數(shù)據(jù)質(zhì)量。作為國(guó)內(nèi)最大的搜索引擎服務(wù)商，百度在真實(shí)數(shù)據(jù)和用戶需求理解方面有較多積累，能夠?qū)ζ焱纬烧蜓h(huán)，報(bào)告|行業(yè)深度研究報(bào)告請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明9英偉達(dá)N100INT8--TOPS32-48TOPS----英偉達(dá)N100INT8--TOPS32-48TOPS----1.1.3.算力：更多關(guān)乎資金充足程度與公司戰(zhàn)略類ChatGPT產(chǎn)品的復(fù)現(xiàn)需要龐大的算力支持。浮點(diǎn)運(yùn)算(FLOPS)的數(shù)值通常增長(zhǎng)。據(jù)OpenAI，訓(xùn)練一次13億參數(shù)的GPT-3XL模型需要的全部算力約為T衡量頭部廠商能否支撐訓(xùn)練及推理環(huán)節(jié)的算力需求，我們認(rèn)為更多需要考慮資金充足程度與公司戰(zhàn)略。模型層企業(yè)更多是算力的消費(fèi)者，美國(guó)芯片出口政策影響制政策影響較大，算力芯片，只是相對(duì)犧牲了計(jì)算速度。國(guó)內(nèi)頭部科技企業(yè)多已完成數(shù)據(jù)中心建設(shè)，能夠?qū)崿F(xiàn)算力資源部分自給。StructureResearch數(shù)據(jù)顯示到2022年全球超大規(guī)模自建數(shù)據(jù)中心總?cè)萘繉⑦_(dá)到13177兆瓦(MW)，中國(guó)超大規(guī)模數(shù)據(jù)中心企業(yè)占亞太地區(qū)的24%，阿里巴巴、華0002022年數(shù)據(jù)容量(MW)未來(lái)計(jì)劃新增容量(MW)參數(shù)OPSOPSLOPSLOPS19.5TFLO19.5TFLO9.7TFLOP256TOPS64TOPSINTINT/FP16Float32INT/FP32CoreFP64ChatGPT所必須的要素。因此，戰(zhàn)略押注意愿明確、現(xiàn)金流充沛的國(guó)內(nèi)廠商更有希望彌合算力上的差距。以百度為例，2017年提出“AllINAI”后資本開(kāi)支波動(dòng)上升，2022全年資本開(kāi)支(除愛(ài)奇藝)高行報(bào)告|行業(yè)深度研究報(bào)告請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明物充沛(億元)806040200-20250.00%xyoy1.2.工程化處理與分發(fā)能力是更高的壁壘從國(guó)產(chǎn)替代角度看，算法、數(shù)據(jù)、算力壁壘并非不可逾越，隨著人才流動(dòng)、時(shí)間了工程而非技術(shù)上的成功，即完成了從底層技術(shù)到工程落地再到產(chǎn)品的跨越，在成本、規(guī)模和效率之間實(shí)現(xiàn)了正確的權(quán)衡取舍。費(fèi)，各行業(yè)廠商可以利用統(tǒng)一的預(yù)訓(xùn)練大模型+微調(diào)來(lái)直接應(yīng)對(duì)不同的任務(wù)，后續(xù)開(kāi)2)從C端來(lái)看，ChatGPT做到了在穩(wěn)定輸出的同時(shí)容納破億月活用戶，具有低報(bào)告|行業(yè)深度研究報(bào)告請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明梳理海外AGI產(chǎn)業(yè)鏈發(fā)展趨勢(shì)，我們判斷國(guó)內(nèi)廠商相對(duì)優(yōu)勢(shì)存在于國(guó)內(nèi)局部場(chǎng)景B模型開(kāi)發(fā)；3)下游形成ToC應(yīng)用并進(jìn)行分發(fā)。海外目前涌現(xiàn)的公司則集中于以下三類：1)專注于大模型開(kāi)發(fā)的公司，對(duì)外允許開(kāi)發(fā)者以其預(yù)訓(xùn)練大模型為底座，通過(guò)微調(diào)或API針對(duì)不同的細(xì)分領(lǐng)域開(kāi)發(fā)應(yīng)用場(chǎng)景，如OpenAI；2)兼具大模型開(kāi)發(fā)及垂直應(yīng)用一體化能力的公司，如Midjourney；3)單純調(diào)用大模型API開(kāi)發(fā)具體場(chǎng)景應(yīng)用的公司，如JasperAI。因此，考慮到中外環(huán)境的顯著差異、技術(shù)水平尚有差距，“模型及服務(wù)”模式下提供國(guó)內(nèi)特定場(chǎng)景下的定制化商業(yè)模型，或面向國(guó)內(nèi)C端消費(fèi)1)工程化能力，即能夠利用更低的成本和更高效的迭代做出先進(jìn)的大模型應(yīng)用，驗(yàn)欠缺，難以實(shí)現(xiàn)大模型對(duì)數(shù)據(jù)的充分吸收與利用。GPT強(qiáng)傳播性的特點(diǎn)，但其對(duì)于訓(xùn)練集群、代碼編譯等細(xì)節(jié)的優(yōu)化處理至今未披露，而這，用迭代，此時(shí)下游流量的充沛程度便是變現(xiàn)的壁壘。應(yīng)用分發(fā)是國(guó)內(nèi)企業(yè)的長(zhǎng)項(xiàng)，頭部廠商本身已經(jīng)建起規(guī)模及心智壁壘，全球競(jìng)爭(zhēng)力堅(jiān)實(shí)，且變現(xiàn)路徑可以復(fù)用，商業(yè)報(bào)告|行業(yè)深度研究報(bào)告請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明除開(kāi)星辰大海的展望，商業(yè)化變現(xiàn)的落地更能驅(qū)動(dòng)企業(yè)加大科技投入，而類ChatGPT產(chǎn)品的變現(xiàn)邏輯已經(jīng)相當(dāng)堅(jiān)實(shí)。自身開(kāi)發(fā)的預(yù)訓(xùn)練大模型開(kāi)源，供下游應(yīng)用者在這些模型上進(jìn)行參數(shù)的微調(diào)。但隨著預(yù)訓(xùn)練語(yǔ)言模型的規(guī)模急劇增長(zhǎng)，出于商業(yè)角度考慮和高昂的端側(cè)微調(diào)成本，大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型不再被開(kāi)源，轉(zhuǎn)而以提供API的方式供下游用戶在特定場(chǎng)景下進(jìn)行推理使用。以ChatGPT為例，OpenAI并未公布其基礎(chǔ)模型(GPT3.5、GPT4)技術(shù)細(xì)節(jié)，用戶僅能夠在自身應(yīng)用內(nèi)通過(guò)API調(diào)用其模型。從這一角度看，“文心一言”結(jié)合用戶的數(shù)據(jù)集，通過(guò)微調(diào)來(lái)提升模型在某一細(xì)分領(lǐng)域的表現(xiàn)，但這一模式可能隨AGI)的發(fā)展逐步式微，因?yàn)槎藗?cè)精調(diào)成本昂貴，通用大模型出現(xiàn)后出售API接口會(huì)更主流。4)將AGI技術(shù)嵌入到自身成熟應(yīng)用中，提供更強(qiáng)用戶體驗(yàn)，進(jìn)而推動(dòng)用戶為附eAzureAIatToC對(duì)用戶心智的沖擊更為直觀，我們高度重視“文心一言”為百度搜索帶來(lái)的的搜索結(jié)果。2)GPT的語(yǔ)言處理能力又使得模型能夠?qū)λ阉鹘Y(jié)果進(jìn)行ng報(bào)告|行業(yè)深度研究報(bào)告請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明Bing的崛起已經(jīng)證明了人工生成智能作為新介入因素能夠?qū)υ?jīng)的壟斷巨頭產(chǎn)生威脅，百度將“文心一言”嵌入搜索具有必要性。此前海內(nèi)外搜索市場(chǎng)均呈現(xiàn)一應(yīng)用，僅次于谷歌郵箱Gmail。巨頭，百度在搜索領(lǐng)域進(jìn)行人工生成智能布局已經(jīng)成為戰(zhàn)略上的必需。T式已經(jīng)雛形初現(xiàn)。隨著用戶數(shù)量級(jí)的提升，用戶對(duì)話帶來(lái)的推理成本(我們將在下文對(duì)搜索業(yè)務(wù)推理成本進(jìn)行年化分析)將顯著拉低搜索業(yè)務(wù)的毛利率，但人性化的對(duì)戶粘性及使用時(shí)長(zhǎng)的利器，Bing借此實(shí)現(xiàn)了用戶數(shù)量的商產(chǎn)品進(jìn)行展示引流，沿用了搜索廣告的舊邏輯，即基于用戶的搜索關(guān)鍵詞，對(duì)應(yīng)到t的起點(diǎn)，后續(xù)微軟生態(tài)內(nèi)的各類插件和增值服務(wù)均有望集成至Bing，帶來(lái)新的商業(yè)報(bào)告|行業(yè)深度研究報(bào)告請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明報(bào)告|行業(yè)深度研究報(bào)告請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明2.若“文心一言”成功對(duì)公眾開(kāi)放，年化增量成本可控短期我們關(guān)注“文心一言”等產(chǎn)品對(duì)科技企業(yè)財(cái)務(wù)狀況的影響，將增量成本拆分為訓(xùn)練成本、推理成本及數(shù)據(jù)標(biāo)注成本(暫不考慮人力支出及維護(hù)費(fèi)用)，測(cè)算大模型落地搜索頁(yè)面后年均增量成本約為16億元，這一金額有望隨著技術(shù)進(jìn)步逐步降低。數(shù)據(jù)集來(lái)調(diào)整和優(yōu)化模型的參數(shù)，對(duì)模型做反復(fù)迭代計(jì)算，是大模型落地前的成本環(huán)節(jié)；2)推理：大模型的運(yùn)行成本，即模型基于用戶輸入信息進(jìn)行推理計(jì)算并輸出過(guò)程中產(chǎn)生的成本，與用戶數(shù)量；3)數(shù)據(jù)標(biāo)注：通過(guò)數(shù)據(jù)標(biāo)注提高數(shù)據(jù)集質(zhì)量。2.1.訓(xùn)練：前期固定投入較大，萊特定律驅(qū)動(dòng)下成本必然下行假設(shè)所有廠商站在同一起跑線，我們將單次訓(xùn)練成本的測(cè)算思路總結(jié)為訓(xùn)練天token為基礎(chǔ)，結(jié)合GPU在訓(xùn)練過(guò)2)根據(jù)GPU數(shù)量及計(jì)算出的的訓(xùn)練天數(shù)，假設(shè)云計(jì)算的市場(chǎng)價(jià)格能夠代表訓(xùn)練過(guò)程中的硬件及能源成本(取Azure公開(kāi)價(jià)格，但已經(jīng)完成自有數(shù)據(jù)中心建設(shè)的廠商計(jì)算出多次迭代訓(xùn)練的年化成本。次的過(guò)程,當(dāng)一個(gè)完整的數(shù)據(jù)集通過(guò)了神經(jīng)網(wǎng)絡(luò)一次并且返回了一次，這個(gè)過(guò)程稱為在此基礎(chǔ)上，考慮到大模型的訓(xùn)練過(guò)程并不是一勞永逸的，我們假設(shè)完成實(shí)際訓(xùn)練至少需要兩組芯片(2046張)留出試錯(cuò)空間，為了充分進(jìn)行模型訓(xùn)練需要不間斷調(diào)整，準(zhǔn)，測(cè)算出采用云計(jì)算的前提下，大模型的年化訓(xùn)練成本為2.29億元。但根據(jù)量硬件投入，我們據(jù)此認(rèn)為對(duì)于已完成自有數(shù)據(jù)中心建設(shè)的廠商，實(shí)際訓(xùn)練成本會(huì)更GPU8服務(wù)器數(shù)量服務(wù)器數(shù)量256單次訓(xùn)練時(shí)長(zhǎng)(天)34年均訓(xùn)練次數(shù)年均訓(xùn)練次數(shù)10.7服務(wù)器月租成本(萬(wàn)美元)120%年均訓(xùn)練成本(萬(wàn)美元)298報(bào)告|行業(yè)深度研究報(bào)告請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明美元匯率6.94年均訓(xùn)練成本(億元)2.29re我們認(rèn)為在人工智能領(lǐng)域，萊特定律依然有效，大模型的訓(xùn)練成本正隨著硬件、軟件的優(yōu)化不斷降低，目前海外已有成功商業(yè)化實(shí)踐。1)萊特定律，指飛機(jī)制造數(shù)量每累計(jì)增加一倍，制造成本就會(huì)實(shí)現(xiàn)固定百分比的持續(xù)下降，主要系人工熟練度的提升、生產(chǎn)工序的優(yōu)化和原材料的節(jié)約導(dǎo)致。萊特定律的作用彈性取決于新技術(shù)的累積產(chǎn)量翻倍時(shí)間，該過(guò)程的時(shí)間越短，成本下降的作用越明顯。因此在技術(shù)應(yīng)用早期，產(chǎn)量翻倍時(shí)間短，萊特定律作用會(huì)更顯著。海外機(jī)構(gòu)ARK據(jù)此判斷人工智能相對(duì)計(jì)算單元(RCU)的生產(chǎn)成本及軟件成本將分別以每升，大模型的訓(xùn)練成本降低是必然趨勢(shì)。2)從海外相關(guān)商業(yè)化嘗試來(lái)看，專業(yè)優(yōu)化公司MosaicML通過(guò)下調(diào)模型參數(shù)量、調(diào)升訓(xùn)練數(shù)據(jù)集tokens數(shù)量，將具備GPT-3同等能力的大模型的一次訓(xùn)練成本下調(diào)至45萬(wàn)美元，較2020年下降超90%。我們認(rèn)為國(guó)內(nèi)廠商實(shí)現(xiàn)同等能力只是時(shí)間問(wèn)題。2.2.推理：與用戶數(shù)量成正比，成本優(yōu)化路徑明確推理成本最直觀實(shí)際的估算方法是參考市場(chǎng)上現(xiàn)有基礎(chǔ)模型API的標(biāo)價(jià)。商而言，選取GPT3的API價(jià)格(而不是ChatGPT的超低價(jià))并對(duì)其進(jìn)行成本溢價(jià)的調(diào)整更加合理，判斷合理成本約千字0.07人民幣元(中文預(yù)訓(xùn)練模型將中文拆成一1/3用戶每日在搜索頁(yè)面使用對(duì)話功能，我們判斷單用戶對(duì)話數(shù)約在5次，單次輸出，我們判斷億級(jí)日活應(yīng)當(dāng)是國(guó)產(chǎn)類ChatGPT應(yīng)用更加合理的中期天花板，據(jù)此測(cè)算年度推理成本約在13.62億元。單人單日對(duì)話次數(shù)5token100單日推理成本(萬(wàn)元)373年均推理成本(億元)盡管國(guó)內(nèi)廠商難以短期內(nèi)實(shí)現(xiàn)與OpenAI同等的成本優(yōu)化程度，推理成本的優(yōu)化確的路徑：1)壓縮模型以減少總內(nèi)存占用量：通過(guò)使用模型壓縮技術(shù)，如權(quán)重共享、量化和剪枝，可以降低模型的內(nèi)存占用量和計(jì)算復(fù)雜度，從而降低推理成本。2)協(xié)同推理：多個(gè)設(shè)備或服務(wù)器共享計(jì)算任務(wù)，通過(guò)去中心化分?jǐn)偝杀尽?)計(jì)算卸載：部分計(jì)算任務(wù)從一個(gè)設(shè)備卸載到另一個(gè)設(shè)備，從而實(shí)現(xiàn)對(duì)計(jì)算資源的優(yōu)化CPUGPU識(shí)蒸報(bào)告|行業(yè)深度研究報(bào)告請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明7餾：通過(guò)讓一個(gè)較小的模型(學(xué)生模型)學(xué)習(xí)一個(gè)較大的模型(教師模型)的知識(shí)，相對(duì)于獨(dú)立的模型應(yīng)用，搜索頁(yè)面的對(duì)話模型輸出效果有限，科技企業(yè)出于經(jīng)濟(jì)考慮對(duì)細(xì)分場(chǎng)景下使用的模型進(jìn)行推理成本優(yōu)化存在極大可能性，因此我們給出的推2.3.數(shù)據(jù)標(biāo)注：取決于人力價(jià)格，成本量級(jí)較低礎(chǔ)上提升了訓(xùn)練數(shù)據(jù)的質(zhì)量，而實(shí)現(xiàn)這一點(diǎn)的經(jīng)濟(jì)成本并不高。OpenAI借鑒了Facebook等社交媒體公司的做法，構(gòu)建一個(gè)額外的AI檢測(cè)器，向它提供帶有暴力、以檢測(cè)輸出內(nèi)容是否反映了其訓(xùn)練數(shù)據(jù)的問(wèn)題，并在它到達(dá)用戶之前將其過(guò)濾。為了nAI年均訓(xùn)練成本(億元年均訓(xùn)練成本(億元)2.29年均推理成本(億元)年年均數(shù)據(jù)標(biāo)注成本(億元).05年均成本合計(jì)(億元)量成本約為16億元。但考慮到國(guó)產(chǎn)模型參數(shù)量及數(shù)據(jù)集token數(shù)量均是未知，且Azure與實(shí)際成本存在偏差，此外實(shí)際落地后各項(xiàng)成本均存在優(yōu)化可能、具體會(huì)計(jì)處理方式還存在探討空間，我們判斷10-20億元為其增量成本的合理范圍 報(bào)告|行業(yè)深度研究報(bào)告請(qǐng)仔細(xì)閱讀在本報(bào)告尾部的重要法律聲明3.投資建議微軟新產(chǎn)品對(duì)公眾的震撼只是前期技術(shù)突破后的余波(Copilot的模型基礎(chǔ)GPT4投資的傾斜，更多直接應(yīng)用的突破已經(jīng)箭在弦上。人工智能必然成為產(chǎn)業(yè)發(fā)展長(zhǎng)期主線，國(guó)產(chǎn)替代具有需求上的緊迫性。以“文心一言”發(fā)布為契機(jī)，我們重點(diǎn)分析國(guó)內(nèi)主流科技企業(yè)在復(fù)現(xiàn)ChatGPT領(lǐng)域需要克服道超車的契機(jī)。具