計算機(jī)行業(yè)專題報告：大模型進(jìn)展2.0

證券研究報告|2024年5月7日大模型進(jìn)展大模型進(jìn)展2.0行業(yè)研究·專題報告投資評級：超配（維持評級）請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容報告摘要速成為用戶訪問量最高的產(chǎn)品，打破了現(xiàn)有競爭格局。Kimi在中文領(lǐng)域?qū)PT-4、Claude等國際大模型展現(xiàn)出明顯優(yōu)勢，并通過不斷的技術(shù)迭次擴(kuò)容。公司在C端致力于將Kimi打造成超級應(yīng)用，成為AI原生交互的入口；在B端，通過MoonshotAI開放平臺提供與OpenAI兼容的API，內(nèi)測期間已有法GPU的等效算力。Sora模型的發(fā)布標(biāo)志著AI視頻生成領(lǐng)域的新突破，進(jìn)一步推動了多模態(tài)大模型的發(fā)展，預(yù)示著未來對的限制措施可能促使中國等國家的企業(yè)自行購買算力卡或租賃國產(chǎn)AI算力，推動國產(chǎn)AI產(chǎn)業(yè)鏈的革新和發(fā)展。在此背景下，Kimi等國產(chǎn)大模型的成功，不僅帶動了產(chǎn)業(yè)鏈的革新，還為內(nèi)容創(chuàng)作、游戲互動、AI陪伴等領(lǐng)域帶來了新的應(yīng)用場景和創(chuàng)新機(jī)遇。此外，Step系列通用大模型的發(fā)布和Pixverse在AI視頻生成領(lǐng)>投資建議：1）多模態(tài)大模型拉動全球算力需求快速增長，疊加美國將限制云廠商對華客戶提供AI云服務(wù)，國產(chǎn)AI算力迎來發(fā)展機(jī)會；2）隨請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容大模型群雄并起，Kimi打破競爭格局大模型引領(lǐng)全球AI算力需求重估請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容月之暗面發(fā)布Kimi，長文本成為破局關(guān)鍵?月之暗面成為國產(chǎn)大模型新星。2023年10月處理20萬漢字輸入。同時，利用Long字定制一個模型的能力，剩余還有大量文字窗口，也足夠日常交互使用。而fine-tune需要構(gòu)造數(shù)據(jù)并訓(xùn)練，度，單位token的成本也更高。公司選擇用Lo>“大海撈針”測試驗證了Kimi長文本能力。長文本能力是實現(xiàn)人類與AI之間無損理解的基礎(chǔ)，它其中，在文本持續(xù)變長過程中，大型是否會忽略掉部分細(xì)節(jié)內(nèi)容的問題一直是“長文本”能力的關(guān)鍵。圖：Kimi“大海撈針”實驗表現(xiàn)圖：GPT-4Turbo“大海撈針”實驗表現(xiàn)請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容聯(lián)合技術(shù)及服務(wù)壁壘，Kimi有望重塑競爭格局?Kimi通過以下幾個核心策略實現(xiàn)了區(qū)別于市場的獨特定位和快速增長：>用戶體驗中心化：Kimi把用戶體驗作為產(chǎn)品開發(fā)和優(yōu)化的核心，通過細(xì)致了解用戶需求，提供流暢、直觀的使用體驗，提升用戶滿意度和忠誠度;>數(shù)據(jù)驅(qū)動的優(yōu)化：利用用戶行為數(shù)據(jù)，Kimi采用數(shù)據(jù)驅(qū)動的方法持續(xù)迭代產(chǎn)品功能，快速適應(yīng)市場變化，保持技術(shù)和服務(wù)的領(lǐng)先優(yōu)勢;>創(chuàng)新的分享機(jī)制：引入分享功能增強(qiáng)用戶互動，同時利用用戶生成的數(shù)據(jù)和反饋優(yōu)化模型，形成正向的數(shù)據(jù)循環(huán)，提高模型性能和用戶體驗。>專注核心功能優(yōu)化：專注于提升核心功能如視頻高清化等，滿足用戶特定需求，通過AI技術(shù)與用戶體驗的結(jié)合，打造差異化競爭優(yōu)勢。>避免過度擴(kuò)張：Kimi選擇專注于現(xiàn)有產(chǎn)品的持續(xù)優(yōu)化，避免過度擴(kuò)張產(chǎn)品線以確保產(chǎn)品和服務(wù)的高質(zhì)量標(biāo)準(zhǔn)。?國產(chǎn)大模型在算力受限的背景下能表現(xiàn)如此優(yōu)秀，主要是因為Kimi實現(xiàn)了AI產(chǎn)品發(fā)展中三個關(guān)鍵的scaling要素：模型、人才和用戶。>模型Scaling：Kimi通過持續(xù)優(yōu)化其A1模型，不斷增強(qiáng)模型的處理能力和應(yīng)用范圍，成功地提升了產(chǎn)品的核心競爭力。這種模型的scaling不僅涉及到算法的改進(jìn)和優(yōu)化，還包括對大數(shù)據(jù)的處理能力和學(xué)習(xí)效率的提升，確保模型能夠處理更復(fù)雜的任務(wù)，滿足更廣泛的用戶需求。>人才Scaling：注重人才的招聘和培養(yǎng)，擴(kuò)展人才密度，這對快速推出產(chǎn)品至關(guān)重要。>用戶Scaling：Kimi選擇專注于c端市場，致力于開發(fā)能夠覆蓋廣大用戶需求的通用產(chǎn)品，而不是局限于某個B端的垂直領(lǐng)域。這種策略使Kimi能夠吸引到足夠大的用戶規(guī)模，通過規(guī)模化的用戶反饋進(jìn)一步優(yōu)化產(chǎn)品，形成了良好的用戶增長和產(chǎn)品改進(jìn)的正向循環(huán)。圖：Kimi可以兩分鐘讀完500份簡歷，篩選員工圖：Kimi可以讀取英偉達(dá)報告，并分析財報歷史請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容Kimi打破競爭格局，帶動產(chǎn)業(yè)鏈發(fā)展?Kimi優(yōu)秀的性能可以帶動多個產(chǎn)業(yè)的發(fā)展。全書總結(jié)、劇本評估等高質(zhì)量服務(wù)，這樣不僅大幅提升了內(nèi)容制作的效率，?這一變化為AI在娛樂教育、專業(yè)服務(wù)等領(lǐng)域的深入應(yīng)用開辟了新的可能性。Kimi的發(fā)展吸引了多練和行業(yè)應(yīng)用等多個環(huán)節(jié)。這些合作促進(jìn)了AI技術(shù)的實際應(yīng)用，圖：接入MoonshotAI開放平臺內(nèi)測的應(yīng)用請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容Sora開創(chuàng)AI視頻生成新紀(jì)元?OpenAI發(fā)布Sora大模型，通過Patches和ScalingTransformers革間上也在空間上被壓縮的潛在格式。Sora模型正是在這個壓縮后的潛在空間中接受訓(xùn)練，從而能夠生Patches便成了Transformer模型的輸入單位。這種方法使得Sora模型能夠處Transformers是指一系列旨在提高Transformer模型規(guī)模和效率的技術(shù)和方法，以便處理更大的數(shù)據(jù)集、更復(fù)雜的任行，同時提高性能。在使用固定的初始條件(種子)和輸入數(shù)據(jù)進(jìn)行視頻樣本的訓(xùn)練過程中，OpenAl展示了通過增加訓(xùn)練過程中的(例如，使用更多的計算資源或進(jìn)行更多次的訓(xùn)練迭代)可以顯著提高生成的視頻樣本的質(zhì)圖：Sora根據(jù)提示詞生成視頻圖：Sora根據(jù)提示詞生成視頻請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容Sora核心優(yōu)勢：強(qiáng)大的語言理解能力和一致性?Sora核心優(yōu)勢在于強(qiáng)大的語言理解能力和一致性。一步驟不僅提升了視頻與文字之間的匹配度，還極大改善了視頻的整體品質(zhì)。此外，通過GPT將簡短的用戶指令prompt轉(zhuǎn)化為詳盡的描述，Sora能夠精確地按照用戶的需求創(chuàng)造視頻，顯著讓Sora成為一個應(yīng)用廣泛的編輯工具，能夠輕松完成包括制作無縫循環(huán)視頻、將靜止圖片變?yōu)樯鷦觿赢?，以及對視頻進(jìn)行前后時間軸>靈活的視頻擴(kuò)展技術(shù)：Sora使用了基于Transformer架構(gòu)的擴(kuò)散模型，可處內(nèi)容。Sora能利用如SDEdit這樣的技術(shù)，在沒有任何預(yù)設(shè)樣本的情況下，改變視頻中的風(fēng)格或背景環(huán)境。這意味著用戶可以更自由地定制他們的視頻內(nèi)容，不僅限于內(nèi)容的創(chuàng)建，還包括對視頻風(fēng)格和環(huán)境的個性化調(diào)整，增強(qiáng)了視頻編容創(chuàng)作前，Sora能夠迅速制作出低分辨率的視頻原型頻制作變得更加靈活和高效，可以根據(jù)不同的顯示設(shè)備和內(nèi)容需求>場景和物體的一致性和連續(xù)性：Sora能制作出視角多的問題。傳統(tǒng)模型在追蹤視野外物體時常常遇到困難，但Sora通過同時預(yù)測多幀內(nèi)容，可以保證即使主體暫時消失在畫面中也不會影請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容OpenAI新一代模型能力有望大幅提升?SamAltman透露新一代大模型相關(guān)進(jìn)展，模型能力大幅提升。2024年1月，OpenAI首席執(zhí)行官SamAltman先后受邀參加了《UnconfuseMe》、達(dá)沃斯經(jīng)濟(jì)論壇，透露新一代大模型相關(guān)進(jìn)展：1）大模型進(jìn)展：目前Op其認(rèn)為至少在未來5-10年內(nèi)，AI大模型技術(shù)將處于一個非常陡峭的成長曲線上。2）新一代大模型架構(gòu)和能力SamAltman認(rèn)為如果GPT-4解決了新一代大模型中解決。3）通往AGI之路：大模型能力提升不在于解決具體的問題，而是廣泛圖：SamAltman透露GPT-5相關(guān)進(jìn)展請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容PixVerse定位全球視頻多模態(tài)應(yīng)用，引領(lǐng)AI創(chuàng)新潮流?愛詩科技有限公司成立于2023年，是一家迅速崛起的A?To創(chuàng)作者和To消費者的雙重策略，目標(biāo)在2024年底做到大規(guī)模的C端應(yīng)用落地。公司認(rèn)為AI視頻生成產(chǎn)品的第一階段是To創(chuàng)作者，理解創(chuàng)作者動機(jī)；第二階段將直面消費者。公司希望打通ToC市場?訪問量快速增長，PixVerse成國產(chǎn)AI視頻之光。目前PixVerse已初步搭建了穩(wěn)定的創(chuàng)作者生態(tài)，并根據(jù)用戶反饋進(jìn)行模型迭代，在未來有望成為現(xiàn)象級、端到端的AlNative圖：Pixverse視頻生成界面圖：Pixverse日訪問量請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容大模型群雄并起，Kimi打破競爭格局大模型引領(lǐng)全球AI算力需求重估請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容Kimi火爆拉動算力需求增長足10萬日活用戶推理需求，需要1481張A1圖：Kimi推理算力測算請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容Meta算力需求超預(yù)期，算力卡采購數(shù)量大幅增長?Meta將于24年底擁有接近60萬顆H100GPU的等效算力。2024年1月19日，圖：扎克伯格介紹Meta在AI領(lǐng)域的最新進(jìn)展和規(guī)劃?24年Meta算力卡采購數(shù)量同比大幅增長，算力需求超預(yù)期。根據(jù)Omdia主要用于AI云業(yè)務(wù)的建設(shè)以及自研AI大模型的訓(xùn)練需要。根據(jù)扎克伯格公圖：3年全年Meta采購15萬顆H100GPU）； 請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容Model#ofParametersModel#ofParametersbillions)AcceleratorChipsModelFLOPSUtilizationGPT-3175BV10021.3%Gopher280B4096TPUv332.5%Megatron-TuringNLG530B2240A10030.2%PaLM540B6144TPUv446.2%?大模型訓(xùn)練算力測算：訓(xùn)練過程可分前向傳播（ForwardPass）和反向傳播（BackwardPass）。）；算出所有權(quán)重的梯度后，使用優(yōu)化算法更新權(quán)重，達(dá)到減小），），），?大模型推理算力測算：推理過程主要包括分詞（Tokenize）、嵌入（Embedding）、位置編碼（PositionalEncoding）、Transformer層、Softmax。推理主要計算量在1.12e14FLOPs，若使用單張A100GPU進(jìn)行推理，假設(shè)芯片利用率為46.2%，則表：芯片利用率情況圖：公開模型的算力數(shù)據(jù)請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容圖像模態(tài)拉動AI算力需求增長），進(jìn)行預(yù)期，進(jìn)而不斷計算預(yù)測的Patches和真實的Pat），），入圖片的分辨率P，P)是2D塊的大小，在《BEIT:BERT圖片分割成16*16大小的2D小塊，即單一圖片相當(dāng)于（224*224）/(16*16)=196個Tokens。而在純文本訓(xùn)練素材中，（Pablo等著，2022年）》披露數(shù)據(jù)，2022年全球圖片數(shù)量在5e10-2e11個，我們?nèi)≈虚g值（即1e11個），選取常用圖片分辨率（1024×768），則單張圖片對應(yīng)（1024*768）/(16*16)=3072個Tokens，則全部圖片對應(yīng)3.072e14需求：以英偉達(dá)H100為例，在FP16精假設(shè)全球有5家廠商使用圖片素材進(jìn)行自研大模型訓(xùn)練，則需要194.45萬請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容視頻模態(tài)拉動AI算力需求增長?視頻訓(xùn)練數(shù)據(jù)大幅提升訓(xùn)練Token量。以字節(jié)跳動最新提出《M模型是一個多階段端到端視頻生成模型，具體可分為）：）；）：），）；）：）；），圖：MagicVideo-V2模型結(jié)構(gòu)資料來源：Wang等著-《MagicVideo-V2:Multi-StageHigh-AestheticVideoGeneration》-arXiv（2024）-p2國信證券經(jīng)濟(jì)研究所整理請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容視頻模態(tài)拉動AI算力需求增長?Image-to-Video模塊需），），月，即完成對視頻數(shù)據(jù)的訓(xùn)練需使用156.98萬張H10）；圖：對視頻素材劃分3DPatchPartition請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容美國限制對華云服務(wù)，看好國產(chǎn)算力需求提升?美國將限制云廠商對華客戶提供AI云服務(wù)。美國商務(wù)部部長力。根據(jù)2024年1月29日美國BIS部門發(fā)IaaS產(chǎn)品的IaaS廠商確認(rèn)其外國客戶身份，遵?國內(nèi)領(lǐng)先大模型廠商影響有限，看好國產(chǎn)算力需求提升。國商AI算力進(jìn)行自研AI大模型訓(xùn)練；同時，部分AI應(yīng)用廠商亦會租賃海外云廠商AI算圖：美國BIS文件請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容第一，宏觀經(jīng)濟(jì)下行風(fēng)險。若宏觀經(jīng)濟(jì)波動，產(chǎn)業(yè)變革及新請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容請務(wù)必閱讀正文之后的免責(zé)聲明及其項下所有內(nèi)容國信證券投資評級投資評級標(biāo)準(zhǔn)類別級別說明報告中投資建議所涉及的評級（如有）分為股票評級和行業(yè)評級（另有說明的除外）。評級標(biāo)準(zhǔn)為報告發(fā)布日后6到12個月內(nèi)的相對市場表現(xiàn)，也即報告發(fā)布日后的6到12個月內(nèi)公司股價（或行業(yè)指數(shù)）相對同期相關(guān)證券市場代表性指數(shù)的漲跌幅作為基準(zhǔn)。A股市場以滬深300指數(shù)（000300.SH）作為基準(zhǔn)；新三板市場以三板成指（899001.CSI）為基準(zhǔn)；香港市場以恒生指數(shù)(HSI.HI)作為基準(zhǔn)；美國市場以標(biāo)普500指數(shù)(SPX.GI)或納斯達(dá)克指數(shù)（IXIC.GI）為基準(zhǔn)。股票投資評級買入股價表現(xiàn)優(yōu)于市場代表性指數(shù)20%以上增持股價表現(xiàn)優(yōu)于市場代表性指數(shù)10%-20%之間股價表現(xiàn)介于市場代表性指數(shù)±10%之間賣出股價表現(xiàn)弱于市場代表性指數(shù)10%以上行業(yè)投資評級超配行業(yè)指數(shù)表現(xiàn)優(yōu)于市場代表性指數(shù)10%以上行業(yè)指數(shù)表現(xiàn)介于市場代表性指數(shù)±10%之間低配行業(yè)指數(shù)表現(xiàn)弱于市場代表性指數(shù)10%以上分析師承諾作者保證報告所采用的數(shù)據(jù)均來自合規(guī)渠道；分析邏輯基于作者的職業(yè)理解，通過合理判斷并得出結(jié)論，力求獨立、客觀、公正，結(jié)論不受任何第三方的授意或影響；作者在過去、現(xiàn)在或未來未就其研究報告所提供的具體建議或所表述的意見直接或間接收取任何報酬，特此聲明。重要聲明本報告由國信證券股份有限公司（已具備中國證監(jiān)會許可的證券投資咨詢業(yè)務(wù)資格）制作；報告版權(quán)歸國信證券股份有限公司（以下簡稱“我公司”）所有。本報告僅供我公司客戶使用，本公司不會因接收人收到本報告而視其為客戶。未經(jīng)書面許可，任何機(jī)構(gòu)和個人不得以任何形式使用、復(fù)制或傳播。任何有關(guān)本報告的摘要或節(jié)選都不代表本報告正式完整的觀點，一切須以我公司向客戶發(fā)布的本報告完整版本為準(zhǔn)。本報告基于已公開的資料或信息撰寫，但我公司不保證該資料及信息的完整性、準(zhǔn)確性。本報告所載的信息、資料、建議及推測僅反映我公司于本報告公開發(fā)布當(dāng)日的判斷，在不同時期，我公司可能撰寫并發(fā)布與本報告所載資料、建議及推測不一致的報告。我公司不保證本報告所含信息及資料處于最新狀態(tài)；我公司可能隨時補(bǔ)充、更新和修訂有關(guān)信息及資料，投資者應(yīng)當(dāng)自行關(guān)注相關(guān)更新和修訂內(nèi)容。我公司或關(guān)聯(lián)機(jī)構(gòu)可能會持有本報告中所提到的公司所發(fā)行的證券并進(jìn)行交易，還可能為這些公司提供或爭取提供投資銀行、財務(wù)顧問或金融產(chǎn)品等相關(guān)服務(wù)。本公司的資產(chǎn)管理部門、自營部門以及其他投資業(yè)務(wù)部門可能獨立做出與本報告中意見或建議不一致的投資決策。本報告僅供參考之用，不構(gòu)成出售或