人工智能深度報告之大模型篇2024

黃韋涵投資咨詢資格編號：S1060523070003研究助理王佳一一般從業(yè)資格編號：S10601230700232024年8月15日小和訓練用的計算量之間存在冪律關系。當前主流大模型普遍是基于Transformer模型進行設計的，Transformer由Encoder（編碼器）和Decoder（解碼器）兩升至1746億，GPT-4非官方估計達到萬億參數(shù)（根據(jù)Semianalysis消息，GPT-4包含1.8萬億參數(shù)），實現(xiàn)性能的突破。GPT在眾多大模型角逐中能夠取得矚目，技術角度上，主要源自其可拓展的訓練架構與學習范式以及對于數(shù)據(jù)質量與數(shù)據(jù)規(guī)模的重視。然而，我們認為GPT的成功也并非全部源自技術性因素，OpenAI能夠從早期眾多的技術路線中識別到并堅定執(zhí)行這條路線，這需要大模型團隊足夠的技術前瞻和定力。模型能力呈現(xiàn)互相追趕態(tài)勢。開源大模型廠商中，MetaAI（Llama）、歐洲MistralAI等廠商的大模型性能保持前列，圖像生成大模型以Midjourney、Stable大部分閉源模型已超過GPT-3.5Turbo，其基準上表現(xiàn)最好的國產(chǎn)大模型應用目前在用戶留存度和粘性上稍顯落后，當前在AI產(chǎn)品市場還未出現(xiàn)真正意義上的KillerApp。我們嘗試總），深度學習興起背景下，機器學習訓練算力增長了100億倍。持續(xù)增長的大模型與AI產(chǎn)到AI服務器的市場規(guī)模為2301億美元。如果再考慮問答場景之外的推理場景，AI服務器的市場規(guī)模將更加巨大。根據(jù)IDC數(shù)據(jù)，2023年的全球AI服務器市場n投資建議：當前，全球范圍內大模型領域的競爭依然白熱化，我國大模型廠商持續(xù)迭代升級算法能力，2023年底國產(chǎn)大模型市場邁入爆發(fā)期，根據(jù)大規(guī)模語言模型（LargeLanguageModels，LLM）泛指具有超大規(guī)模參數(shù)或者經(jīng)過超大規(guī)模數(shù)據(jù)訓練所得到的語言模型。與傳統(tǒng)語言模型相比，大語言模型的構建過程涉及到更為復雜的訓練方法，進而展現(xiàn)出了強大的自然語言理解能力和復模型的參數(shù)量則至少在億級，并已發(fā)展到過萬億級的規(guī)模。如OpenAI的GPT-1到GPT-3，參數(shù)量從1.1億大幅提升至1746億，GPT-4非官方估計達到萬億參數(shù)（根據(jù)Semianalysis消息，GPT-4包含1.8萬億參數(shù)），實現(xiàn)性能的突破。根據(jù)Google論文，這種大模型具有但小模型不具有的能力通常被稱為“涌現(xiàn)能力”（EmergentAbilities）。資料來源：各公司官網(wǎng)，EpochAI，騰訊研究院，Semianalysis，IT之家，Google《Em1.2Transformer是LLM基座，核心優(yōu)勢在于Self-attention機制當前主流大模型普遍是基于Transformer模型進行設計的。Transformer模型在Google團隊2017年論文《AttentionIsAllY出，Transformer的核心優(yōu)勢在于具有獨特的自注意力（Self-attention）機制，能夠直接建模任意距離的詞元之間的交互關系，解決了循環(huán)神經(jīng)網(wǎng)絡（RNN）、卷積神經(jīng)網(wǎng)絡（CNN）等傳統(tǒng)神經(jīng)網(wǎng)絡存在的長序列依賴相較于RNN，Transformer具有兩個顯著的優(yōu)勢。1）處理長序列數(shù)據(jù)：RNN受限于循環(huán)結構，難以處理長序列數(shù)據(jù)。Self-attention機制能夠同時處理序列中的所有位置，捕捉全局依賴關系，從而更準確地理解、表示文本含義。2）實現(xiàn)并行化計算：RNN作為時序結構，需要依次處理序列中的每個元素，計算速度受到較大限制，而Tr其表示合并到“it”1、將輸入序列x的每個元素（詞或字）映射到一個向量表示。這些向量表示稱為查詢（Query）、鍵（1、將輸入序列x的每個元素（詞或字）映射到一個向量表示。這些向量表示稱為查詢（Query）、鍵（Key）和值（Value）2、分別計算q1與k1、k2的點積。點積結果表示兩個元素之間的相關性。4、將歸一化后的權重與對應的值v向量相乘，4、將歸一化后的權重與對應的值v向量相乘，并對所有元素求和。3、使用softmax函數(shù)對點積結果進行歸一化。Transformer由兩類組件構成：Encoder（編碼器）和Decoder（解碼器）。通常，Encoder結構擅長從文本中提取信息以執(zhí)行分類、回歸等任務，而Decoder結構則專用于生成文本。實際上，兩類組件可以獨立使用，當前主流大模型中，誕生了以以GPT為代表的Decoder-onlyDecoderBlockDecoderBlockEncoderBlockBERTEncoder-onlyEncoder-onlyEncoder-decoderDecoder-only資料來源：Google《AttentionIsAllYouNeed》，JayAlaforLanguageUnderstanding》，Amazon《HarnessingthePower1.3GPT系列模型技術發(fā)展歷程回顧從技術角度來看，結合中國人民大學《大語言模型》的觀點，GPT在眾多大模型角逐中能夠取得矚目，有以下幾點值得注意——擴展訓練的理想架構的潛在優(yōu)越性，最終將Transformer拓展到百億、千億甚至萬億參數(shù)規(guī)模，并且將預訓練任務統(tǒng)一為通用學習范式。量的標注數(shù)據(jù)用于訓練ChatGPT，使得ChatGPT在與人機對話測試中展現(xiàn)出了優(yōu)秀能力。然而，我們認為GPT的成功并不是全部源自技術性因素，Transformer、RLHF算法等等關鍵技術都并非O團隊廣泛使用，我們認為OpenAI能夠從早期眾多的技術路線中識別到并且堅定地去執(zhí)行這條路線，這來自OpenAI團隊足夠的技術前瞻和策略定力。比如，OpenAI在早期GPT-2的論文中，就深入討論了基于大規(guī)模文本預訓練的通用任務學習范式；再比如GPT-3將參數(shù)規(guī)模極限拓展到175B，實際上，OpenAI兩篇關于ScalingLaw的論文都是在2020年發(fā)表的，這說明在前期已經(jīng)進行了比較充分的實驗探索。training大規(guī)模的無標注文本數(shù)據(jù)進行訓練GPT系列模型的技術演變（GPT1~32017年，Google推出Transformer后，OpenAI迅速著手并于2GenerativePre-trainedTransformer。GPT-1基于生成式、Decoder-only的Transformer架構開發(fā)，由于參數(shù)規(guī)模相對較小，模型尚缺乏通用任務求解能力，GPT-1采用Pre-training(預訓練)+Fine-tuning(微調)的兩階段范式，先通過單向Transformer預訓練一個通用的模型，然后在特定子GPT-2沿用GPT-1類似架構，并將參數(shù)規(guī)模擴大至1.5B，并使用大規(guī)模網(wǎng)頁數(shù)據(jù)集WebText進行預訓練。與GPT-1不同的點在于，GPT-2旨在探索通過擴大模型參數(shù)規(guī)模來提升模型性能，并且試圖使用無監(jiān)督預訓練的語言模型來解決各種下游任務。OpenAI經(jīng)過較為充分的實驗探索，2020年，GPT-3將模型參數(shù)擴展到了175B，較GPT-2提升100余倍，驗證了將神經(jīng)網(wǎng)絡擴展到超大規(guī)模采用特定的輸入格式和微調策略，例如：分類任務直接微調，文本蘊含任務插入分隔符…1.3ChatGPT：一舉成為現(xiàn)象級應用，引入RLHF算法改進訓練數(shù)據(jù)）：推出了GPT-3.5系列模型。2022年11月，ChatGPT正式上線，實現(xiàn)以對話形式解決多種任務，使得用戶能夠通過網(wǎng)絡API體驗到語言模型的強大功能。ChatGPT僅用5天時間注冊用戶達到100萬，約2個月注冊用戶達到1億，成為AIGC領域的現(xiàn)象級應用。即RLHF算法（ReinforcementLearningfromHumanFeedback），旨在改進模型與人類對齊的能力。具體實現(xiàn)上，人類標注人員扮演用戶和代理進行對話，產(chǎn)生對話樣本并對回復進行排名打分，將更好的結果反饋給模型，讓模型從兩種反饋模式——人類評價獎勵和環(huán)境獎勵中學習策略，對模型進行持續(xù)迭代式微調。4◆ChatGPT達到1億注冊用戶僅用約2個月后，OpenAI于2023年3月發(fā)布GPT-4，它首次將GPT系列模型的輸入由單一文本模態(tài)擴展到了圖文雙模態(tài)。GPT-4在解決復雜任務方面的能力顯著強于GPT-3.5，在一系列面向人類的考試中都獲得了非常優(yōu)異的結果。點關注GPT-4視覺能力的安全部署。GPT-4V在多種應用場景中表現(xiàn)出了強大的視覺能力與綜合任務解決能力。2023年11月，OpenAI在開發(fā)者大會上發(fā)布GPT-4Turbo，引入了一系列技術升級，如：將模型內部知識庫更新至2023年4月，將（如函數(shù)調用、可重復輸出等）。今年5月14日，OpenAI春季發(fā)布會，發(fā)布了新版旗艦模型提供更快的響應時間、更好的推理能力以及在非英語語言中的更佳表現(xiàn)，不僅在傳統(tǒng)文本能力上與GPT-4Turbo性能相當，還在API方面更快速，價格便宜50%。與GPT-4Turbo相比，GPT-4o速度提高了2倍，限制速率提高了5倍，目前的全球大模型競爭中，OpenAI、Anthropic、谷歌三大廠商為第一梯隊，OpenAI先發(fā)推出GPT-4，在2023年基本穩(wěn)定在行業(yè)龍頭地位，而Anthropic憑借Claude、谷歌憑借Gemini后發(fā)，可以看到，2024年以來，三家大模型能力呈現(xiàn)互相追趕態(tài)勢。開源大模型廠商中，MetaAI（Llama）、歐洲MistralAI（Mistral）、Google（Gemma）等廠商的大模型性能保持前列。此外，伴隨Sora推出以及Pika的出圈，圖像、視頻生成領域的超預期進展獲得極大關注，全球圖像生成大模型以Midjourney、StableDiffusion、OpenAI的DALL·E為代表，視頻生成以Runway的Gen、Pika和OpenAI的Sora為代表。LLM模型GPT-4oclaude3.5sonnetLLM視頻介紹，Sora可以在保持視覺質量和遵循用戶的文本提示的情況下，生成長達1分鐘的視頻，遙遙領GPT-4o實現(xiàn)性能與實用性雙突破，有望加速大模型應用落地戶使用。GPT-4o可接受文本、音頻和圖像的任意組合作為輸入、輸出，在英語文本和代碼方面的性能可對標GPT-4Turbo，同時在API中也更快且便宜50%。根據(jù)OpenAI官網(wǎng)信息，在GPT-4o之前，使用語音模式與ChatGPT對話，GPT-3.5/GPT-4的平均延遲分別為2.8/5.4秒。而GPT-4o可以在短至232毫秒的時間內響應音頻輸入，平均時長為320毫秒，與人類在一次談話中的響應時間相似。7月18日，OpenAI正式推出了GPT-4omini，將取代ChatGPT中的舊模型GPT-3.5Turbo，向ChatGPT的免費用戶、ChatGPTPlus和團隊訂閱用戶開放。OpenAI表示，GPT-4omini的成本為每百萬輸入標記（token）15美分和每百萬輸出標記60美分，比GPT-3.5Turbo便宜超過60%。-Opus代表Anthropic最高級、最智能的模型，Sonnet代表中等級別的模型，在性能和成本效益之間取得平衡，Haiku代表入門級別或最基礎的快速模型，其中，Claude3Op型具有與其他領先模型同等的復雜視覺功能，可以處理各種視覺格大模型Claude3.5Sonnet，號稱為“迄今為止最智能的模型”。據(jù)Anthropic介紹，Claude3.5Sonnet在絕大多數(shù)基準評估中都超越了競品大模型和自家前代最強Claude3Opus，與此同時，運行速度、成本與自家前代Claude3Sonnet相型，可以處理復雜的分析、多步驟的2.1谷歌：全面升級Gemini系列，發(fā)布視頻生成模型Veo谷歌大模型全線升級。繼2023年12月谷歌推出其規(guī)模最大、在版本中首個登場的多模態(tài)通用模型Gemini1.5Pro，將穩(wěn)定處理上下文的上限擴大至100萬tokens。5月14日，在谷歌IO開發(fā)者大會上，谷歌大模型迎來多項升級，基礎大模型方面，Gemini1.5Pro將上下文窗口長度從之前的100萬tokens進一步擴展至200萬tokens，谷歌首席執(zhí)行官Pichai稱這是目前市場處理上下文長度規(guī)模最大的基礎大模型。多模態(tài)大模型方面，谷歌發(fā)布了視頻生成模型Veo以及文生圖模型Imagen3，Veo模型對標Sora，能夠根據(jù)度超過1分鐘、分辨率最高1080p的視頻；Imagen3文生圖模型是Imagen系列的升級版，從細節(jié)擬真度來看對標Midjourneyv6。今年4月18日，Meta推出強大的開源人工智能模型Llama3，發(fā)布包括8B和70B參數(shù)的兩個版本，作為Llama2的重大升級。Meta稱，目前正在開發(fā)的最大模型是400B參數(shù)，將在未來幾個月內推出，英偉達科學家JimFan認為，Llama3400B將成為一個分水嶺，即社區(qū)將獲得開源重量級的GPT-4模型，它將改變許多研究工作和草根創(chuàng)業(yè)公司的計算方式。7月23日，LIama3.1正式發(fā)布，405B版本在150多個基準測試集上的表現(xiàn)追平或超越現(xiàn)有領先的基礎模型，包括GPT-4、GPT-4o和Claude3.5Sonnet。除了與閉源模型相比具有顯著更好的成本/性能比之外，40Meta也推出了8B和70B模型的升級版本，能力與同等參數(shù)下的頂尖模型基本持平，與具有相似參數(shù)數(shù)量的開閉源模型構成強競爭力。自2022年11月底ChatGPT發(fā)布以來，AI大模型在全球范圍內掀起了有史以來規(guī)模最大的人工智能浪潮，國內學術和產(chǎn)業(yè)界也在抓緊追趕突破。SuperCLUE將國內大模型發(fā)展大致分為三個階段，1）準備期：2022年11月ChatGPT發(fā)布后，國內產(chǎn)學研迅速形成大模型共識。2）成長期：2023年初，國內大模型數(shù)量和質量開始逐漸增長。3）爆發(fā)期：2023年底至今，各行各業(yè)開源閉源大模型層出不窮，形成百模大戰(zhàn)的競爭態(tài)勢。從參與者來看，目前我國AI大模型廠商大致可以分為四類，1）互聯(lián)網(wǎng)/科技公司：以百度、阿里、騰訊、字節(jié)、快手、華為等為代表。2）AI公司：以智譜AI、昆侖萬維、科大訊飛、商湯科技為代表的專注于AI研發(fā)與應用的科技公司。3）學術、科研機構：包括清華、北大、復旦、中科院等國內一流高校，以及智源研究院、IDEA研究院等科研機構。4）行業(yè)專家品牌：以月之暗面（MoonshotAI）、百川智能、MiniMax等由AI專家創(chuàng)業(yè)成立的公司為代表。4◆國內大模型廠商分為四大流派科技公行業(yè)專研機構AI公司科技公行業(yè)專研機構AI公司從模型能力來看，根據(jù)SuperCLUE最新的評測結果，以開源Llama-3-70B、Llama能力為分界線，國內大模型可以形成三大梯隊?？梢钥吹?，國內大模型上半年發(fā)展尤為迅速，1）開源模型Qwen2-72B在SuperCLUE基準中表現(xiàn)非常出色，超過眾多國內外閉源模型，與Claude-3.5持平，與GPT-4o僅差4分。2）此外，還有4個國內大模型（深度求索DeepSeek-V2、智譜GLM-4、商湯SenseChat5.0、OPPO的AndesGPT）超過GPT-4-Turbo-0409。3）除了互聯(lián)網(wǎng)大廠和AI公司，專家創(chuàng)業(yè)團隊如Baichuan4、Kimi、MiniMax-abab6.5均有超過70分的表現(xiàn)，位列國內大模型第一梯隊。4）國內絕大部分閉源模型已超過GPT-3.5Turbo-0125。資料來源：SuperCLUE《中文大模型基準測評202APIAPI3.1大模型商業(yè)形態(tài)多元，B端變現(xiàn)模式更清晰asaService），通用大模型通常會采取API模式，根據(jù)tokens/調用次數(shù)/產(chǎn)出內容量等計價，大模型形成AI產(chǎn)品后，可以采用訂閱制，按月/季/年向用戶收取使用費。同時，AI產(chǎn)品若具備一定程度的流量價值，能夠吸引商家投放廣告，從而收取廣告費。此外，服務內容可以不限于大模型本身，針對付費能力強的企業(yè)客戶，部分廠商會提供軟硬件一體的定制化解決方案，我們稱之為MaaS（Modelasa直賽道分布較均勻，收入模式以會員訂閱和按需付費為能實現(xiàn)營收。C端AI產(chǎn)品以智能助手以及圖像生成類的生產(chǎn)力工具為主，雖然用戶量大（純C端占比50%以上但近50%的產(chǎn)品當前仍未有明確的收入模式，以免費為主。大模型常見收費模式4◆AI應用面向用戶群體結構與收費模式ToC,ToC,ToB&C,40%20%43%43%50%29%30%），ChatGPT訂閱：OpenAI向C端提供生產(chǎn)力解放工具ChatGPT，并以付費訂閱模式變現(xiàn)，針對ChatGPTPlus會員收取每月20美元的訂閱費。2）API調用：而對于模型使用靈活性要求更高的用戶，提供API服務，基于模型的調用量（tokens）或者產(chǎn)出內容量（如圖片張數(shù)、時長）收費。3）戰(zhàn)略合作：此外，公司與微軟建立了密切合作關系，ToC，OpenAI模型能力嵌入微軟的生成式AOffice、Bing等；ToB，微軟Azure是OpenAI的獨家云服務提供商，Azure全球版企業(yè)客戶可以在平臺上直接調用OpenAI模型。OpenAI絕大多數(shù)收入來自前兩項，ChatGPT訂閱和API調用。據(jù)今年6月TheInformation的報道，SamAltman在員工全體會議上表示2024年OpenAI年化收入有望達到34億美元，其中，OpenAI的大部分收入（約32億美元）來自其聊天機器人ChatGPT的訂閱費以及讓軟件開發(fā)人員通過應用程序編程接口訪問其模型的費用。OpenAI還有望通過MicrosoftAzure提供其AI模型的訪問權限，從而創(chuàng)造約2億美元的收入。 ChatGPT用戶可免費使用部分功能使能Plus會員:$20/月GPT-4oGPT-4oStandard1024×1024:$0.04/imageWhisper（音頻）$0.006/minuteAPIToToC:OpenAI模型集成于GitHub、OfficeCopilotAI助手、NewBing搜索…ToToB:OpenAI產(chǎn)品在AzureEnterprisePlatform可用3.1全球API定價呈現(xiàn)下降趨勢1）API：是大模型廠商最為普遍的營收模式，但我們也注意到由于大模型性能趨向同質化，全球API價格呈現(xiàn)下降趨勢。今年5月，作為行業(yè)風向標的OpenAI發(fā)布GPT-4o，面向ChatGPT所有付費和免費用戶發(fā)布，支持免費試用，API價格比GPT-4-turbo降低了50%，輸入價格低至5美元/百萬tokens；谷歌發(fā)布Gemini1.5Flash時也將輸入價格定為0.35美元/百萬tokens。國內來看，5月6日，AI公司深度求索（DeepSeek）率先宣布降價，其發(fā)布的第二代MoE大模型DeepSeek-V2定為0.001元/千tokens的輸入價格與0.002元/千tokens的輸出價格，隨后我們看到，智譜AI、火山引擎、阿里云、百度、科大訊飛、騰訊云等國內主要大模型廠商迅速跟進（詳見下列圖表）。推出/降價時間API價格/百萬Tokens深度求索DeepSeek-V2-1--2-5151---2-24-8-3-6---8-8-2）訂閱：有ChatGPT的成功案例，我們看到不少大模型廠商通過構建AI應用，嘗試走付費訂閱的路徑。根據(jù)Similarweb，月之暗面的智能助手KimiChat從推出時16萬訪問量到2024年2月的292萬，再到3月的1219萬，伴隨其訪問量的躍升，5月Kimi上線“給Kimi加油”付費選項（最便宜的選項99元/93天≈1.06元/天），可獲得高峰期優(yōu)先使用權益。實現(xiàn)難度：訂閱>API。然而，我們看到即使是ChatGPT、runway等具有代表性的大模型產(chǎn)品，用戶留存度和粘性也尚未達到現(xiàn)有領先C端應用的水平。根據(jù)紅杉資本研究，全球領先的C端應用擁有60-65%的DAU/MAU，其中WhatsApp是85%。相比之下，AI-first應用的中位數(shù)為14%，可能意味著用戶還未在這些AI產(chǎn)品中找到能夠每天使用它們的足夠價mm14%mmmm14%mm14%27%41%30%mm32%mm34%41%mm51%60%64%64%35%mm39%mm45%56%AI-first應用runway42%Reminirunwaymm48% Tiktok YouTube InstagramWhatsApp WhatsApp TiktokInstagramYouTube現(xiàn)有C端應用63%63%67%現(xiàn)有C端應用mm69%73%mm85%3.2破局之路：AIAgent是通往AGI與KillerApp的鑰匙AGI（ArtificialGeneralIntelligence，通用人工智能）能力是漸進解鎖的，而具有專業(yè)能力、可定制的AIAgent（智能體被認為是打開AGI之門的鑰匙。2023年6月，OpenAI應用研究主管LilianWeng提出：Agent=LLM+記憶+規(guī)劃技能+工具使用。2024年在紅杉資本的人工智能峰會上，吳恩達認為Agent應該具備四種主要能力，即：反思（Reflection）、使用工具（Tooluse）、規(guī)劃（Planning）以及多智能體協(xié)同（Multi-agentcollaboration）。復旦NLP團隊這樣描述LLM-basedAgent的框架，包含三個組成部分：控制端（Brain）、感知端（Perception）和行動端（Action）。簡單理解，AIAgent是能夠感知環(huán)境、自主決策、執(zhí)行復雜任務的智能實體。AGI北坡-產(chǎn)品?控制端（Brain）開始根據(jù)當前天氣和互聯(lián)網(wǎng)上的天氣預報資料來源：拾象科技，F(xiàn)udanNLP《TheRiseandPotential?控制端（Brain）開始根據(jù)當前天氣和互聯(lián)網(wǎng)上的天氣預報3.2破局之路：AIAgent是通往AGI與KillerApp的鑰匙國內來看，以互聯(lián)網(wǎng)大廠、大模型廠商、企業(yè)服務SaaS類廠商為代表的越來越多的企業(yè)參與進AIAgent市場，產(chǎn)品形態(tài)既包括面向企業(yè)和開發(fā)者的Agent構建平臺/框架，也包括服務于各個垂直行業(yè)的專業(yè)Agent。2024年上半年，國內多個AIAgent平臺發(fā)布，未來將進一步提升AIAgent開發(fā)便利性，從而加速國內大模型應用的發(fā)展。2月，字節(jié)跳動的新一代一站式AIBot開發(fā)平臺扣子Coze在國內上線，用戶可以快速、低門檻地構建專屬聊天機器人，4月，百度AI開發(fā)者大會發(fā)布文心智能體平臺AgentBuilder，隨后，釘釘正式上線AIAgentStore，首批上架包括通義千問在內的超過200個AIAgents。今年5月SamAltman接受《麻省理工科技評論》記者的采訪時，將KillerApp描述為：“超級能干的同事，它絕對了解我一生的一切，包括件、每一次對話。此外，它可以立即解決一些任務，而對于更復雜的任務，它模擬Agent的思考過程Agent根據(jù)輸入和工作模擬Agent的思考過程Agent根據(jù)輸入和工作流，打印調研報告輸出設置Agent人設與回復邏輯（包括：角色、技能、限制）資料來源：麻省理工科技評論，甲子光年《2024年中國AIAgent行業(yè)報告》，扣子Coze公眾號4月3.3破局之路：企業(yè)級需求快速增長，MaaS助力降低模型KillerApp仍在醞釀的背景下，我們認為也需要關注到B端對于大模型需求的快速增長。根據(jù)a16z調研，2023年平均每家受訪企業(yè)在API、自托管和微調模型上支出達到700萬美元，并且?guī)缀跛衅髽I(yè)計劃將2024年LLM預算增加2~5倍。企業(yè)的AI模型采購決策仍然主要受到云服務提供商（CSP）的影響。根據(jù)a16z調研，2023年大多數(shù)企業(yè)出于安全考慮通過現(xiàn)有的CSP購買模型，2024年情況依然如此，在72%的使用API訪問模型的受訪企業(yè)中，有超過50%通過其CSP訪問，比如Azure用戶更常用OpenAI，而Amazon用戶更傾向于使用Anthropic或Cohere。剩下28%的受訪企業(yè)選擇了自托管，可能是出于運行開源模型的需要，采用私有化部署或者CSP提供的GPU服務。4◆B端對于大模型的預算正在快速增長2050728%28%52%38%資料來源：a16z《16ChangestotheWayEnter3.3破局之路：企業(yè)級需求快速增長，MaaS助力降低模型MaaS讓企業(yè)更簡潔地使用大模型。根據(jù)中國信通院的定義，MaaS圍繞低技術門檻、模型可共享、應用易適配三大特性，提供包括算力服務、平臺服務、模型服務、數(shù)據(jù)集服務、AI應用開發(fā)服務在內的全棧服務，使得企業(yè)能夠快速高效地構建、部署、監(jiān)控、調用模型，而無需開發(fā)和維護底層基礎能力。云廠商正在加速布局MaaS。目前，微軟云Azure、阿里云、華為云、騰訊云、百度云、京東云等CSP都已經(jīng)推出了MaaS服務。以阿里云的魔搭ModelScope為例，支持用戶使用來自達摩院大模型平臺和SOTA模型矩陣的超過300個優(yōu)質大模型，提供包括模型管理和下載、模型調優(yōu)、訓練、推理、部署、應用在內的一站式模型服務。資料來源：中國信通院《MaaS框架與應用研究報告（20244.1大模型技術與應用發(fā)展催生海量算力需求大模型的發(fā)展受到能源、算力、顯存、通信等多種資源的制約，本章我們主要討論算力。訓練端，大模型延續(xù)了ScalingLaw的主流的技術路線，通過擴大參數(shù)規(guī)模和數(shù)據(jù)集的大小，來提升模型的性能，帶來持續(xù)的算力需求，同時，在推理端，以ChatGPT為代表的AI應用也正在驅動算力需求指數(shù)級增長。根據(jù)JaimeSevilla等人的研究，2010-2022年在深度學習興起背景下，機器學習訓練算力增長了100億倍，2016-2022年，常規(guī)模型算力每5至6個月翻一倍，而大規(guī)模模型算力每10資料來源：JaimeSevilla等《ComputeTrendsAcrossThreeErasofMachineLea4.1大模型技術與應用發(fā)展催生海量算力需求持續(xù)增長的大模型與AI產(chǎn)品研發(fā)需求推升資本支出。科技巨頭持續(xù)投入算力采購，以H100的采購為例，OmdiaResearch認為Meta和微軟是H100最大的購買者，谷歌、亞馬遜、甲骨文、騰訊其次，此外，云服務提供商CoreWeave、百度、阿里巴巴、字節(jié)跳動、云服務供應商LambdaLabs、特斯拉等均是H100重要的終端客戶。海量算力需求下科技巨頭的資本支出也保持較高的增長水平，2024年2季度微軟、Meta、谷歌、亞馬遜四家公司合計資本支出為571億美元，同比增長66%，環(huán)比1季度增長22%。200402004.2算力需求測算邏輯我們主要考慮訓練+推理兩個階段的算力需求。Transformer模型訓練和推理都是經(jīng)過多次迭代完成的，一次訓練迭代包含了前向傳播和反向傳播兩個步驟，而一次推理迭代相當于一個前向傳播過程。前向傳播過程指將數(shù)據(jù)輸入模型計算輸出，反向傳播是計算模型的梯度并存儲梯度進行模型參數(shù)更新。根據(jù)NVIDIA論文《ReducingActivationRecomputationinLargeTransformerModels》，反向傳播的計算量大約是前向傳播的2倍，因此可以得出，一次訓練迭代（包含一次前向+一次反向）的計算量大約為一次推理迭代（包含一次前向）的3倍。資料來源：NVIDIA《ReducingActiv1）反向傳播的計算量（FLOPs）約為前向傳播的2倍4.2算力需求測算邏輯再結合OpenAI論文《ScalingLawsforNeuralLanguageModels》的結論，訓練Transformer模型的理論計算量為C≈6N*D，其中，N為模型參數(shù)量大小，D為訓練數(shù)據(jù)量大?。煌评硭栌嬎懔考礊?N*D。舉個例子，參考OpenAI關于GPT-3的論文《LanguageModelsareFew-ShotLearners》，GPT-3175B版本模型參數(shù)量為1746億、訓練數(shù)據(jù)量tokens為3000億，我們根據(jù)公式預估，訓練模型所需算力為C≈6N*D=6*(1746*10^8)*(3*10^11)=3.14*10^23FLOPs。C-模型計算量N-模型參數(shù)量推理所需計算量：C≈2N*DMFU-集群算力利用率（ModelFLOPsUtilization）S-所用集群算力參考7月23日Meta公布的最新開源模型——Llama3.1405B，該模型基于15.6Ttokens的數(shù)據(jù)量進行預訓練達到最優(yōu)性能，訓練數(shù)據(jù)量約為模型參數(shù)規(guī)模的38.5倍。我們假設最優(yōu)大模型參數(shù)量（N）與Tokens數(shù)（D）的近似線性關系為：D=38.5*N，并設置了參數(shù)量分別為100億、500億、1000億、3000億、5000億、1萬億、2萬億的共七檔模型進行算力需求1）訓練算力需求測算：根據(jù)前述公式計算，得出訓練一次Llama3.1的計算量大致為3.79*10^25FLOPs，與實際情況接近（論文中Llama3.1405B的trainingbudget為3.8*10^25FLOPs）。同時，根據(jù)NVIDIA官網(wǎng)，A10080GSXM、H100SXM的在16位精度下（FP16）的算力峰值分別為624TFLOPs、1979TFLOPs，我們假設集群算力利用率MFU為30%，假設模型訓練時長分別為30天、60天、90天的背景下，得出訓練一次Llama3.1405B模型分別需要7.8萬張、3.9萬張、2.6萬張A100，或者訓練算力需求測算模型2模型3模型4Llama3.1模型5模型6模型75001,0003,0004,0505,00010,00020,0003,85019,25038,500115,500155,925192,500385,000770,000假設訓練時長所需GPU模型1模型2模型3模型4Llama3.1模型5模型6模型7A100481,1914,76142,84778,088119,018476,0711,904,282245962,38121,42439,04459,509238,036952,1413971,58714,28326,03039,673158,691634,761H1003761,50213,51024,62237,528150,111600,44187516,75512,31118,76475,056300,22165014,5048,20812,51050,037200,14720502）推理算力需求測算：根據(jù)Similarweb統(tǒng)計，ChatGPT網(wǎng)站在過去12個月平均月訪問量為14.1億次。我們假設在問答場景下，月訪問量為14億、單用戶平均每次訪問提問次數(shù)為15次，即模型每秒處理請求數(shù)8000次，假設單次問答消耗600Tokens2050考慮并發(fā)峰值和顯存預留等問題，我們假設峰值預留倍數(shù)為10，計算得出每日峰值消耗4.2萬億Tokens。根據(jù)C≈2N*D我們得到對應推理所需算力及所需GPU數(shù)量（假設采用INT8精度、MFU=30%），如下圖表所示，千億參數(shù)模型單問答場景推理大約需要2.6萬張A100或者8188張H100。月訪問量（億次）23…23…23…23…23…23…24…24…24…24…24…24…14.123…23…23…23…23…23…24…24…24…24…24…24…14.14◆單場景下（問答）推理算力需求測算模型2模型3模型4模型5模型6模型75001,0003,0005,00010,00020,00042,00042,00042,00042,00042,00042,00042,0000.0490.0490.0490.0490.0490.0490.046006006006006004.3大模型服務器成本測算我們將前述訓練（假設訓練時長60天）和推理（單場景）兩個階段所需GPU數(shù)量加和，并統(tǒng)一假設1臺服務器集成8張A100，計算得出千億參數(shù)規(guī)模模型訓練+推理大約需要3544臺服務器，萬億參數(shù)規(guī)模模型需要6.2萬臺服務器。訓練+推理算力需求測算模型1模型2模型3模型4模型5模型6模型7300020000模型訓練+推理所需GPU數(shù)量（A100）2,62113,58028,34999,327189,347497,7111,471,491245962,38121,42459,509238,036952,1412,59712,98425,96877,903129,838259,675519,350模型所需服務器數(shù)量（8張A100）3281,6983,54412,41623,66962,214183,937常在百億至千億量級，且數(shù)量較多，我們假設中位數(shù)500億參數(shù)規(guī)模的模型有50個，通用大模型參數(shù)規(guī)模普遍更大，我們假設中位數(shù)分別為1000億、5000億、10000億參數(shù)規(guī)模的大模型分別有25個、15個、10個。假為2301億美元。如果再考慮問答場景之外的推理場景，AI服務器的市場規(guī)模將更加巨大。根據(jù)IDC數(shù)據(jù)，2023年的全球AI服務器市場規(guī)模是211億美元，相比2023年全球AI服務器市場規(guī)模，大模型的持續(xù)迭代升級將為AI服務器市場帶來廣闊的市場空間。4◆大模型服務器成本測算模型數(shù)量單個模型所需服務器數(shù)量單臺服務器成本成本測算模型參數(shù)規(guī)