【甲子光年】AI算力行業(yè)發(fā)展報告

出品機構(gòu)：甲子光年智庫智庫院長：宋濤報告撰寫：劉瑤、郭瑤琴、王藝霖發(fā)布時間：2024.12Part

04實踐落地

，A

I算力應(yīng)用的新標桿Part05來日方長，AI新世代下的不斷探索Part02層見疊出，復(fù)雜工程需要多樣手段解決

Part01時代動力，AI新世代繁榮的發(fā)動機

Part03

各取所需，市場激發(fā)AI算力的選擇思考目

錄21e+22013

2014數(shù)據(jù)來源:

《

2024.12訓練算力（FLOPS）需求與人工智能發(fā)展關(guān)系圖N=121訓練算力需求FLOPS模型規(guī)模指數(shù)級增長推動算力需求爆發(fā)●GPT-4

●

ChatGPT1e+4AlphaGoZero1e+3Neural

MachineTranslation1e+1TI7

Dota

1v1

Xception1e+0

DeepSpeech2●

ResNetsSeq2SeqGoogleNet1e-31e-42015

2016

2017

2018

2019

2020

2021

2022

2023

縱觀AI發(fā)展

，算法的技術(shù)突破拉動了算力的需求

2015-2016年左右開啟了大模型時代，整體的訓練計算量較之前的時期大2到3個數(shù)量級。從2022年底，隨著ChatGPT成功帶來大規(guī)模參數(shù)通用大模型相繼發(fā)布。這些大模型的訓練需要千億、甚至萬億級參數(shù)，以及上千GB的高質(zhì)量數(shù)據(jù)，大模型的訓練迭代將極大地拉動了智能算力的需求。

2012-2023年算力需求翻了數(shù)十萬倍，AI算力需求遠超摩爾定律，大模型對算力的需求每年持續(xù)增長，未來10年AI算力需求將再增長500倍?！?/p>

GPT-3AlphaZeroVGG

Visualizing

andUnderstanding

ConvNetsAlexNet深度學習不斷取得進展，算力翻倍僅需要5.7個月，所需算力量級由TFLOPs增至EFLOPs深度學習時期之前，訓練計算算力需求緩慢增長，算力翻倍需要21.3個月2010前2010-202220121e-11e-23無論是訓練還是推理，大模型的爆發(fā)引發(fā)全球算力需求的指數(shù)級增長

技術(shù)層面上，基礎(chǔ)模型通過遷移學習（TransferLearning）和規(guī)模（scale）得以實現(xiàn)；Transformer的應(yīng)用標志著基礎(chǔ)模型時代的開始（基礎(chǔ)模型的龐大規(guī)模和應(yīng)用范圍突飛猛進），模型參數(shù)量指數(shù)級增長，帶動算力超過摩爾定律。

Sora等視頻生成類模型相較于大語言模型消耗的算力提升20倍。隨著海量數(shù)據(jù)的積累，大模型需要處理的數(shù)據(jù)量也在不斷增長，進一步加劇了對算力的需求。ideo)GPT4(10000

texttokens)DiT-XL/2

I

Generatiomagen(512x512px

images)102510231021101910171015Transformer結(jié)構(gòu)對于基礎(chǔ)模型訓練算力需求的推動作用1e+091e+081e+071e+061e+051e+041e+031e+02基于Transformer結(jié)構(gòu)算法訓練所需算力短時間內(nèi)激增，遠超摩爾定律推理消耗算力對比（單位：FLOPS）1e+091e+08

1e+07

1e+06

1e+05

1e+04

1e+03

1e+020.0

0.2

0.4

0.6

0.8

1.0基于Transformer結(jié)構(gòu)算法與時間的關(guān)系Transformer摩爾定律與時間的關(guān)系Sora(1

min4

PFLOPsPFLOPs2024.12

從產(chǎn)業(yè)規(guī)?？?，全球人工智能快速增長。2023年全球人工智能市場收入達5381億美元，同比增長18.5%，到2026年市場規(guī)模將達9000億美元。

從投融資看，2024年Q1全球AI領(lǐng)域完成1779筆融資交易，籌集的風險投資總額達216億美元。

從企業(yè)發(fā)展看，全球人工智能呈現(xiàn)“中美主導(dǎo)”格局。截至2023年三季度，全球人工智能企業(yè)有29542家。美國有9914家，占比為34%；中國有4469家，占比為15%；中美人工智能企業(yè)數(shù)占全球總數(shù)約49%。

7575.86382.35381.334%

15%6%5%

4%36%圖1：

2022-2026年全球AI市場規(guī)模（單位：億美元）圖2：全球AI領(lǐng)域投融資情況（單位：億美元）圖3：

全球AI企業(yè)數(shù)量國家分布AI產(chǎn)業(yè)快速發(fā)展為AI算力市場帶來新機遇900080007000600050004000300020001000010227892020

2021

2022

20232024Q1160020222023

2024E2025E

2026E加拿大4541.210000英國其他美國印度中國900012001000149514002024.1240080090021620060005算法層面核心技術(shù)突破感知+交互數(shù)字孿生虛擬現(xiàn)實全息立體應(yīng)用場景數(shù)據(jù)層面訓練

標注計算任務(wù)本地化云計算邊緣計算資源“三劍客”中，算力承接算法及數(shù)據(jù)，

成為AI產(chǎn)業(yè)發(fā)展基石當下的時代機遇：大規(guī)模模型的摩爾定律-單模型參數(shù)量每年增長10倍

在現(xiàn)代人工智能領(lǐng)域，算力扮演著推動創(chuàng)新、實現(xiàn)突破的核心驅(qū)動力。算力、算法、數(shù)據(jù)和系統(tǒng)架構(gòu)等多個方面的綜合優(yōu)化對于大規(guī)模模型訓練的成功至關(guān)重要。3640（Pflops-day3）/上萬塊V100GPU組成gao帶寬集群算力“海洋之光”超級計算機（國產(chǎn)超算）512塊GPU騰訊太極機器學習平臺鵬城云腦Ⅱ和全場景AI計算框架

MindSpore

，2048

塊GPU16塊GPU280塊GPU鵬城云腦Ⅱ（2048塊CPU）

和百度飛槳4095（Pflops-day）/2128

張GPU商湯AIDC，峰值算力3740Petaflops3昇騰AI基礎(chǔ)軟硬件平臺復(fù)旦大學超算中心從技術(shù)層面看，在大模型的研發(fā)過程中，預(yù)訓練、微調(diào)和模型推理等環(huán)節(jié)是核心關(guān)鍵因素和主要計算特征。GPT3.5“八卦爐”（腦級AI模型）M6“混元”

HunYuan_tvr盤古系列大模型孟子Megatron-TuringERNIW

3.0Titan源

1.0書生(INTERN+)某視覺模型紫東太初MOSS超過萬億單詞的人類

語言數(shù)據(jù)集中文多模態(tài)數(shù)據(jù)集

M6-Corpus1.9TB圖像292GB

文本五大跨模態(tài)視頻檢索數(shù)據(jù)集40TB訓練數(shù)據(jù)數(shù)百G級別不同領(lǐng)

域的高質(zhì)量語料3390億條文本數(shù)據(jù)純文本和知識圖譜的4TB語料庫5000GB

高質(zhì)量中文數(shù)據(jù)集--基于萬條小規(guī)模數(shù)據(jù)

集--OpenAI清華大學等1阿里騰訊華為云瀾舟微軟和英偉達百度和鵬程實驗室浪潮信息商湯科技等商湯科技中科院自動化所復(fù)旦大學多模態(tài)預(yù)訓練模型結(jié)

合人類參與強化學習多模態(tài)預(yù)訓練模型NLP大模型NLP大模型NLP大模型計算機視覺模型計算機視覺模型圖、文、音三模態(tài)對話式大型語言模型數(shù)據(jù)數(shù)據(jù)巨量化1750億174萬億（與人腦中

突觸數(shù)量媲美）10萬億萬億千億10億5300億2600億2457億100億300億千億百億算力內(nèi)容創(chuàng)造力算法跨模態(tài)融合智能交互硬件算力實時算力大算力模型類型算力層面多模態(tài)認知計算

6

大數(shù)據(jù)

語料庫高精度

訓練集AI大數(shù)據(jù)量企業(yè)大參數(shù)大模型投喂2023.08

千行百業(yè)ALL

In

AI

，算力成為智能化升級的核心支撐

A

I快速發(fā)展正在推動各行業(yè)的數(shù)智化轉(zhuǎn)型，大模型為千行百業(yè)提供了創(chuàng)新解決方案。通用大模型側(cè)重發(fā)展通識能力，行業(yè)/場景大模型側(cè)重發(fā)展專業(yè)能力，模型賦能行業(yè)有效的提升了效率、降低成本及優(yōu)化決策過程。

度融合

，將加速產(chǎn)業(yè)升級和數(shù)字化轉(zhuǎn)型進程。

0%教育傳媒

。

金融。游戲

出行。

醫(yī)療

制造建筑

o

o

電商●

軟件算力基礎(chǔ)設(shè)施AI芯片AI服務(wù)器

智算中心云服務(wù)

算力支撐成為了AI產(chǎn)業(yè)發(fā)展的關(guān)鍵，也是實現(xiàn)AI技術(shù)在各行業(yè)廣泛應(yīng)用的基礎(chǔ)。目前大模型在廣告、傳媒、教育、金融等領(lǐng)域快速落地應(yīng)用，AI算力與各行業(yè)深場景模型及應(yīng)用智能客服代碼生成

自動駕駛

智能監(jiān)控

智能醫(yī)學影像

智能藥物研發(fā)圖1：大模型賦能各行各業(yè)

圖2：主要行業(yè)大模型應(yīng)用階段示意圖行業(yè)模型零售教育場景數(shù)據(jù)行業(yè)數(shù)據(jù)通識數(shù)據(jù)發(fā)展階段

落地成熟期教學和評分助手自動定價政務(wù)廣告……智算一體機……NLP多模態(tài)預(yù)測CV基礎(chǔ)模型目標市場滲透率農(nóng)業(yè)

能源采納成長期試驗加速期探索孵化期科學計算智能風控智能調(diào)度推薦搜索金融廣告?zhèn)髅?024.12交通醫(yī)療100%工業(yè)7…………通用算力智能算力超算算力技術(shù)特點一般主要由CPU芯片提供計算能力，適合計算復(fù)雜度適中的云計算、

邊緣計算類場景。一般由GPU為代表、FPGA、ASIC等AI芯片的加速計算平臺提供的算力，側(cè)重于處理和分析大量數(shù)據(jù)，

執(zhí)行復(fù)雜計算任務(wù)。由超級計算機等高性能計算集群所提供的算力，注重雙精度通用計算能力，

追求精確的數(shù)值計算。應(yīng)用場景應(yīng)用范圍廣泛，如科學研究、工程設(shè)計、商業(yè)分析、醫(yī)學診斷等。主要用于人工智能的訓練和推理計算，

如語音、圖像和視頻的處理等。主要用于尖端科學

領(lǐng)域的計算，如行星模擬、藥物分子設(shè)計、基因分析等。

數(shù)字經(jīng)濟成為全球經(jīng)濟增長的活力所在。2022年，全球51個主要經(jīng)濟體數(shù)字經(jīng)濟同比名義增長7.4%，高于同期GDP名義增速3.2%，持續(xù)為全球經(jīng)濟平穩(wěn)回升注入動力。數(shù)字經(jīng)濟快速發(fā)展推動數(shù)字基礎(chǔ)設(shè)施建設(shè)步伐加快。算力作為重要的數(shù)字基礎(chǔ)設(shè)施，算力結(jié)構(gòu)不斷調(diào)整。

全球算力主要由通用算力、智能算力和超算算力組成。通用算力作為基礎(chǔ)，滿足廣泛的日常計算需求；智能算力則在新興技術(shù)領(lǐng)域發(fā)揮關(guān)鍵作用；超算算力針對特定高端需求提供強大計算能力。數(shù)據(jù)顯示，2023年底全球算力總規(guī)模約910EFLOPS，其中，智能算力從2021年的113EFLOPS增長至2023年的335EFLOPS，增速遠超其他。2021

2022數(shù)字基礎(chǔ)設(shè)施加快建設(shè)，智能算力增長勢頭強勁498398圖1：

2021-2023年全球算力規(guī)模（單位：

EFLOPS）6005004003002001000圖2：不同算力的重點應(yīng)用領(lǐng)域142113智能算力

超算算力1010通用算力20232024.12335551248時間發(fā)文部門文件名稱主要內(nèi)容2024.10國家發(fā)展改革委員會《國家數(shù)據(jù)標準體系建設(shè)指南》要強化基礎(chǔ)設(shè)施互聯(lián)互通、算力保障和流通利用標準建設(shè)，為數(shù)據(jù)資源、數(shù)據(jù)技術(shù)、數(shù)據(jù)流通、融合應(yīng)用提供

支撐。2024.09

國務(wù)院辦公廳《國務(wù)院辦公廳關(guān)于加快公共數(shù)據(jù)資源開發(fā)利用的意見》繁榮數(shù)據(jù)產(chǎn)業(yè)發(fā)展生態(tài)。將數(shù)據(jù)產(chǎn)業(yè)作為鼓勵發(fā)展類納入產(chǎn)業(yè)結(jié)構(gòu)調(diào)整指導(dǎo)目錄，支持數(shù)據(jù)采集標注、分析挖

掘、流通使用、數(shù)據(jù)安全等技術(shù)創(chuàng)新應(yīng)用，

鼓勵開發(fā)數(shù)據(jù)模型、數(shù)據(jù)核驗、評價指數(shù)等多形式數(shù)據(jù)產(chǎn)品。圍繞

數(shù)據(jù)采存算管用，培育高水平數(shù)據(jù)要素型企業(yè)。聚焦算力網(wǎng)絡(luò)和可信流通，支持數(shù)據(jù)基礎(chǔ)設(shè)施企業(yè)發(fā)展。

落實

研發(fā)費用加計扣除、

高新技術(shù)企業(yè)稅收優(yōu)惠等政策。支持數(shù)據(jù)行業(yè)協(xié)會、學會等社會團體和產(chǎn)業(yè)聯(lián)盟發(fā)展，凝

聚行業(yè)共識，加強行業(yè)自律，推動行業(yè)發(fā)展。2024.03中央人民政府《政府工作報告》適度超前建設(shè)數(shù)字基礎(chǔ)設(shè)施，加快形成全國一體化算力體系，培育算力產(chǎn)業(yè)生態(tài)。2023.12國家發(fā)展改革委員會《關(guān)于深入實施“東數(shù)西算”工程加快構(gòu)建全國一體化算力網(wǎng)的實施意見(發(fā)改數(shù)據(jù)〔2023〕1779號)》到2025年底，

普惠易用、綠色安全的綜合算力基礎(chǔ)設(shè)施體系初步成型，

東西部算力協(xié)同調(diào)度機制逐步完善，通用算力、智能算力、超級算力等多元算力加速集聚，國家樞紐節(jié)點地區(qū)各類新增算力占全國新增算力的60%以

上，國家樞紐節(jié)點算力資源使用率顯著超過全國平均水平。1ms時延城市算力網(wǎng)、

5ms時延區(qū)域算力網(wǎng)、20ms時延跨國家樞紐節(jié)點算力網(wǎng)在示范區(qū)域內(nèi)初步實現(xiàn)。

算力電力雙向協(xié)同機制初步形成，國家樞紐節(jié)點新建數(shù)據(jù)中心綠電占比超過80%。用戶使用各類算力的易用性明顯提高、成本明顯降低，國家樞紐節(jié)點間網(wǎng)絡(luò)傳輸費用

大幅降低。算力網(wǎng)關(guān)鍵核心技術(shù)基本實現(xiàn)安全可靠，以網(wǎng)絡(luò)化、普惠化、綠色化為特征的算力網(wǎng)高質(zhì)量發(fā)展格

局逐步形成。2023.10工業(yè)和信息化部《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動計劃》推動算力結(jié)構(gòu)多元配置。結(jié)合人工智能產(chǎn)業(yè)發(fā)展和業(yè)務(wù)需求，重點在西部算力樞紐及人工智能發(fā)展基礎(chǔ)較好地

區(qū)集約化開展智算中心建設(shè)，

逐步合理提升智能算力占比。推動不同計算架構(gòu)的智能算力與通用算力協(xié)同發(fā)展，

滿足均衡型、計算和存儲密集型等各類業(yè)務(wù)算力需求。2023.3科技部《關(guān)于開展國家新一代人工智能公共算力開放創(chuàng)新平臺申報工作的通知》為貫徹落實《國家新一代人工智能發(fā)展規(guī)劃》

(國發(fā)〔2017〕

35號),做好“國家新一代人工智能公共算力開放創(chuàng)

新平臺”(簡稱“公共算力平臺”)啟動建設(shè)工作,根據(jù)

《國家新一代人工智能公共算力開放創(chuàng)新平臺建設(shè)指引(試

行)》

(國科辦高〔2022〕

89號,簡稱《建設(shè)指引》

),結(jié)合我國人工智能技術(shù)發(fā)展和算力基礎(chǔ)設(shè)施建設(shè)的需求，

現(xiàn)啟動“公共算力平臺”建設(shè)申報工作。2022.8科技部財政部《企業(yè)技術(shù)創(chuàng)新能力提升行動方案（2022-

2023年）

》推動國家超算中心、智能計算中心等面向企業(yè)提供低成本算力服務(wù)。支持建設(shè)一批重大示范應(yīng)用場景，鼓勵創(chuàng)

新型城市、國家自創(chuàng)區(qū)、國家高新區(qū)、國家農(nóng)高區(qū)、國家新一代人工智能創(chuàng)新發(fā)展試驗區(qū)等發(fā)布一批應(yīng)用場景清單，向企業(yè)釋放更多場景合作機會。國家層面統(tǒng)籌布局，陸續(xù)出臺多項政策大力支持算力發(fā)展國內(nèi)重要的算力政策文件內(nèi)容數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結(jié)整理,

2024.12省市時間文件名稱主要內(nèi)容山東2024.06山東省算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動方案強化多元算力協(xié)同部署。引導(dǎo)通用算力、智能算力、高性能算力中心等合理梯次布局，支持重點企業(yè)建設(shè)智算中心，適度超前提高智能算力占比。推進通用算力中心規(guī)范有序、規(guī)模集約發(fā)展。重點在人工智能發(fā)展基礎(chǔ)較好、產(chǎn)業(yè)需求旺盛的地區(qū)集約化開展智算中心建設(shè)，支持濟南、青島等市用好人工智能創(chuàng)新應(yīng)用先導(dǎo)區(qū)、創(chuàng)新發(fā)展試驗區(qū)，構(gòu)建多元異構(gòu)的千卡級別、萬卡級別智能算力集群。引導(dǎo)濟南、青島國家級超算中心深度融入國家分布式超算互聯(lián)網(wǎng)系統(tǒng)，爭取建設(shè)中國算網(wǎng)山東節(jié)點，打造國際一流的超算中心。河北2024.05關(guān)于進一步優(yōu)化算力布局推動人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展的意見到2025年,全省算力規(guī)模達到35百億億次/秒(EFLOPS)以上,智能算力占比達到35%左右,新增算力基礎(chǔ)軟硬件設(shè)施自主可控比例60%以上。在智能制造、醫(yī)療局指動人工智能產(chǎn)業(yè)創(chuàng)新健康等優(yōu)勢領(lǐng)域孵化一批行業(yè)應(yīng)用大模型,培育典型應(yīng)用場景30個。智能產(chǎn)業(yè)合作進一步深化,在環(huán)京區(qū)域打造人工智能產(chǎn)業(yè)集聚區(qū),指動一批人工行能合作項目落地實施。北京2024.04北京市算力基礎(chǔ)設(shè)施建設(shè)實施方案（2024-2027）到2025年,基本建成智算資源供嶺集群化、有算設(shè)施建設(shè)自主化、有算能力賦能精準化、街算中心運營綠色化、們算生態(tài)發(fā)展體系化的格局。到2027年,優(yōu)化京津冀象算力供給質(zhì)量和規(guī)模,力命自主可控算力滿足大模型訓賬高求,算力能耗標準達到圖內(nèi)領(lǐng)光水平。江蘇2024.04江蘇省算力基礎(chǔ)設(shè)施發(fā)展專項規(guī)劃全市“613”產(chǎn)業(yè)體系重點企業(yè)和在揚從事人工智能研發(fā)應(yīng)用的科研統(tǒng)所,在運河城市算力平臺積用非關(guān)聯(lián)方的智能算力資源,憑已簽訂的算力服務(wù)合同獲取算力券。算力寫求方通過平臺購買使用智能算力資源服務(wù)的,按服實際支付智能算力費用30%給予支持,給予同一主體每年最高200萬元補貼,算力養(yǎng)有效期為12個月。黑龍江2024.03黑龍江省支持智算中心和超算中心建設(shè)獎勵政策實施細則省工信廳負責對照績效目標做好事后績效評價工作，聚焦注重投入產(chǎn)出效益，對政策實施效果和資金使用情況開展“雙評價”，提升績效評價質(zhì)量和實效。健全評價指標體系，將包括但不限于新增智算、超算規(guī)模，新增算力服務(wù)營收等個性化指標作為產(chǎn)出效益評價重點。加強績效評價結(jié)果應(yīng)用，將評價結(jié)果作為政策調(diào)整、預(yù)算安排和資金分配的重要依據(jù)，對于產(chǎn)出效益未達預(yù)期的，對政策延續(xù)實施的必要性開展評估，根據(jù)評估結(jié)果提出應(yīng)用措施。上海2024.03上海市智能算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展

“算力浦江”智算行動實施

方案（2024-2025年）力爭到2024年,信息通信行業(yè)基本形成布局合理、算網(wǎng)協(xié)同、軟硬協(xié)同、低破高效、數(shù)字化特型帶動能力突出、產(chǎn)業(yè)鏈更加充備的新型數(shù)據(jù)中心發(fā)展體系,初步建成全圖一體化算力網(wǎng)絡(luò)上海樞組節(jié)點,形成與本市數(shù)字經(jīng)濟發(fā)展方貳相運應(yīng),長三南地區(qū)協(xié)同發(fā)展的算力服務(wù)發(fā)展格局,建成具有跟太乃至全球影響力的高能級算力樞細中心。廣東2024.03廣東省算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動暨“粵算”行動計劃2025年，在計算方面，算力規(guī)模達到38EFLOPS，智能算力占比達到50%，建成智能計算中心10個。浙江2024.03關(guān)于發(fā)展計算產(chǎn)業(yè)打造算力強區(qū)的若干政策（征求意見稿）力爭到2025年,全區(qū)集成電路產(chǎn)業(yè)規(guī)模達400億元,網(wǎng)絡(luò)通信產(chǎn)業(yè)規(guī)模達850億元。報進機州人工智能計算中心建設(shè)擴容,基于全核肉主技術(shù)路絨的公共算力規(guī)模達到

500P,培育等化5個具有行業(yè)影響力的專用模型,人工智能賦能標桿企業(yè)8家、其型應(yīng)用場景10個。南京2024.03南京市推進算力產(chǎn)業(yè)發(fā)展行動方案2025年,全市數(shù)據(jù)中心總規(guī)模達到25萬標準機架,總算力超8.5EFL0PS(FP32),可統(tǒng)籌智能算力超6000PFL0PS(FP16)。貴州2024.02貴州省算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動計劃（2024-2025）推動算力結(jié)構(gòu)多元配置。結(jié)合人工智能產(chǎn)業(yè)發(fā)展和業(yè)務(wù)需求，重點在西部算力樞紐及人工智能發(fā)展基礎(chǔ)較好地區(qū)集約化開展智算中心建設(shè)，逐步合理提升智能算力占比。推動不同計算架構(gòu)的智能算力與通用算力協(xié)同發(fā)展，滿足均衡型、計算和存儲密集型等各類業(yè)務(wù)算力需求。

各省市通過政策引導(dǎo)和支持，推動地方算力資源的開放共享、數(shù)據(jù)中心的集約化發(fā)展、算力網(wǎng)絡(luò)的一體化建設(shè)，以及算力與實體經(jīng)濟的深度融合，從而加速AI應(yīng)用的落地和數(shù)字經(jīng)濟的發(fā)展。

國內(nèi)典型城市大力發(fā)展算力的相關(guān)政策匯總各省市積極響應(yīng)，通過政策引導(dǎo)和支持推動地方算力發(fā)展數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結(jié)整理,

2024.12Part

01時代動力，AI新世代繁榮的發(fā)動機Part02層見疊出，復(fù)雜工程需要多樣手段解決Part

04實踐落地

，A

I算力應(yīng)用的新標桿Part05來日方長，AI新世代下的不斷探索

Part03

各取所需，市場激發(fā)AI算力的選擇思考目

錄

大模型的研發(fā)、

部署及集成是一項復(fù)雜的系統(tǒng)工程

算力準備&模型訓練推理部署&集成進行綜合規(guī)劃和設(shè)計，以實現(xiàn)高效、經(jīng)濟且可持續(xù)的算力供給。

大模型在不同場景的算力需求及工程難度訓練預(yù)訓練二次訓練

全參微調(diào)

局部微調(diào)超大規(guī)模大規(guī)模較小規(guī)模千卡～萬卡數(shù)百卡～千卡

單卡8卡起步很高高較高TP/DP/PP并

基模選擇，高

十萬～百萬條行，海量數(shù)據(jù)質(zhì)量數(shù)據(jù)指令集推理ToC推理

To

B中心To

B邊緣超大規(guī)模千卡以上很高極致性能

滿足大模型需求的算力是一項復(fù)雜的系統(tǒng)工程

滿足大模型需求的算力是一項涉及多層面復(fù)雜系統(tǒng)工程，因為它不僅需要在計算能力上實現(xiàn)指數(shù)級增長，以應(yīng)對大模型的龐大慘數(shù)量，還要在數(shù)據(jù)傳輸、存儲和處理等多個維度深度優(yōu)化。

模型設(shè)計超參定義和范

圍標定

推理部署壓縮/轉(zhuǎn)換

優(yōu)化/部署大規(guī)模訓練&

微調(diào)模型預(yù)訓練代碼調(diào)試模型訓練下游任務(wù)微調(diào)代碼調(diào)試算力準備&系統(tǒng)調(diào)優(yōu)

算力系統(tǒng)的設(shè)計遠非簡單的算力資源堆砌，而是需要解決低時延數(shù)據(jù)交換、節(jié)點間計算負載的均衡分配、消彌算力堵點，預(yù)防硬件故障等一系列技術(shù)難題。且不同應(yīng)用場景對算力效率、調(diào)度靈活性、擴展性、安全穩(wěn)定、成本效益等方面有著各自獨特的需求。這些需求的多樣性和復(fù)雜性要求在構(gòu)建算力基礎(chǔ)設(shè)施時，需要數(shù)據(jù)處理數(shù)據(jù)&模型準備小規(guī)模單卡1卡起步一般<萬條指令

集模型微調(diào)設(shè)計API開放防攻擊/故障

隔離模型層/優(yōu)化器

設(shè)計行業(yè)特征工程小規(guī)模數(shù)十卡較高靈快輕易大規(guī)模數(shù)百卡高融合高效算力需求工程難度系統(tǒng)調(diào)試與

上線AI集群平臺

建設(shè)計算平臺系統(tǒng)設(shè)計算力需求工程難度公共開放

數(shù)據(jù)處理指令微調(diào)

數(shù)據(jù)處理行業(yè)私有

數(shù)據(jù)處理在線

推理在離

推理剪

枝轉(zhuǎn)

換蒸

餾量

化模型架構(gòu)設(shè)計模型

微調(diào)集成2024.12?

AI算力仍舊是建設(shè)在過往的算力架

構(gòu)基礎(chǔ)上，市場概

念可以覆蓋芯片、服務(wù)器、智算中心、

云服務(wù)以及相關(guān)的

產(chǎn)業(yè)鏈相關(guān)方案?

由于構(gòu)建AI算力底

層的硬件產(chǎn)品的復(fù)

雜性（計算芯片、

存儲產(chǎn)品的架構(gòu)、

方案等多樣性），

結(jié)合用戶需求的多

樣性，因此可衍生

出大量的產(chǎn)品方案中間層（接口層）通用算力中心、智算中心、超算中心通過軟硬件結(jié)合方式實現(xiàn)

算力資源使用效率提升服務(wù)器、路由器、交換機、光模塊等IT設(shè)備及機架其他非IT設(shè)備服務(wù)器管理軟件等芯片層單芯片、多卡互聯(lián)、存儲、網(wǎng)卡、

PCB、

BMC、電源等

芯片軟件棧，解決卡內(nèi)、卡間的互聯(lián)及加速

AI算力具備軟硬件的復(fù)雜性，并且以不同產(chǎn)品/服務(wù)/方案為應(yīng)用賦能

基于AIGC的技術(shù)棧，算力層作為上層模型及應(yīng)用的重要支撐算力層數(shù)據(jù)資源（數(shù)據(jù)采集、清洗、標注等）算力優(yōu)化解決方案提升算力在AI應(yīng)用時的利用率用于訓練或云部署的深度學習框架和中間件等，包括PyTorch、TensorFlow邊緣或端側(cè)應(yīng)用提供基于本地邊緣或端側(cè)交互的應(yīng)用網(wǎng)絡(luò)平臺應(yīng)用基于公共網(wǎng)絡(luò)平臺的應(yīng)用，單一平臺應(yīng)用PaaS、

MaaS，邊緣計算等數(shù)據(jù)中心工具與模型部署和調(diào)用API代碼及權(quán)重開源的預(yù)訓練模型，一

般可免費試用商業(yè)化的預(yù)訓練模型，通過API調(diào)用基于預(yù)訓練模型的場景/產(chǎn)品適配開源模型共享平臺云服務(wù)（智算云服務(wù)）層

深度學習框架與中間件等應(yīng)用層模型層數(shù)據(jù)層智算服務(wù)平臺

數(shù)據(jù)中心（智算中心）層 框架層開源模型非開源預(yù)訓練模型Prompt優(yōu)化與模型微調(diào)閉源模型應(yīng)用模型Hub數(shù)據(jù)中心與模型API從模型到應(yīng)用閉源服務(wù)器層2024.12

生成式AI的突破依賴于算力的“暴力美學”

，應(yīng)用依賴于算力在場景中的釋放

A

I技術(shù)在實際應(yīng)用中包括兩個環(huán)節(jié)：訓練（Training）和推理（Inference），AIGC的算力需要考慮訓練及推理兩個方面。

訓練是指通過數(shù)據(jù)開發(fā)出AI模型，使其能夠滿足相應(yīng)的需求，一般為AI技術(shù)的研發(fā)。因此參數(shù)量的升級對算力的需求影響大。訓練推理模型參數(shù)數(shù)值基本確定，隨著應(yīng)用場景、適用人群數(shù)量增加，導(dǎo)致推

理數(shù)據(jù)量及模型數(shù)量增多，進而使推理算力需求井噴發(fā)展當下模型參數(shù)量大規(guī)模提升，同時影響訓練數(shù)據(jù)量及訓練次數(shù)，推動

訓練階段算力及對應(yīng)的微調(diào)階段算力提升算

力

推理是指利用訓練好的模型進行計算，利用輸入的數(shù)據(jù)獲得正確結(jié)論的過程，一般為AI技術(shù)的應(yīng)用。推理部署的算力主要在于每個應(yīng)用場景日數(shù)據(jù)的吞吐量。訓練完的模型參數(shù)量也會影

響推理端算力推理算力核心

影響因素訓練次數(shù)單用戶數(shù)據(jù)量模型數(shù)量參數(shù)量訓練數(shù)據(jù)量應(yīng)用場景模型數(shù)量用戶活躍度訓練階段應(yīng)用時間微調(diào)階段訓練算力核

心影響因素www.jazzyear.com2023.08功能需求決定推理能力，推理能力取決訓練水平，有限算力資源要進行主次的優(yōu)先選擇模型推理階段的算力主要為運行模型和數(shù)據(jù)處理，并且需要考慮產(chǎn)品的使用體驗

復(fù)雜工程的算力落地理念：需要基于目標與資源的分配去達成工程學平衡

應(yīng)用落地的算力選擇，更應(yīng)該強調(diào)最優(yōu)解，而非最大解。在實現(xiàn)AIGC的技術(shù)落地過程中，模型的參數(shù)量及涌現(xiàn)結(jié)果固然重要，但模型在運行過程中所需的算力

成本、能耗成本、運營成本等是否能匹配AIGC技術(shù)提供的效果及價值突破更為重要。以終為始，貼合行業(yè)需求，實現(xiàn)目標與資源平衡

，是AI新世代下的算力選擇依據(jù)核心目標：基于行業(yè)Know-How需要實現(xiàn)的AIGC技術(shù)功能拆分，實現(xiàn)精準的需求分析行業(yè)Know-How不僅僅表現(xiàn)在豐富的行業(yè)實踐經(jīng)歷，而是深入理解客戶的業(yè)務(wù)需求，并且通過管理項目開發(fā)的流程完成，在細化需求中尋找到主要矛盾并解決。Why（用戶分析）?

基于用戶的細分行業(yè)屬性，熟悉細分行業(yè)的需求價值?

基于用戶的業(yè)務(wù)流程細節(jié)，對用戶的需求矛盾分析?

基于用戶的資源能力，明確用戶的負擔上限

?

……How（項目執(zhí)行）?

在不同階段和層面對項目的工作內(nèi)容從主項、分項、子項

甚至單體的各個部分進行拆分（例如采用WBS），實現(xiàn)項

目關(guān)鍵節(jié)點的管理，?

完成項目人員的協(xié)同、管理、分工及時間資源調(diào)配?

對風險的預(yù)知、判斷及合理控制

?

……人員成本(工程化協(xié)作的團隊）模型規(guī)模（參數(shù)稀疏程度）模型種類（算力需求系數(shù)相關(guān)數(shù)據(jù)吞吐量時延網(wǎng)絡(luò)通信安全性與穩(wěn)定性技術(shù)實現(xiàn)路徑資源分配：通過選擇合適的技術(shù)路徑實現(xiàn)算力的成本優(yōu)化其他成本制約因素推理需求（長期運營）考慮到模型訓練“黑盒”機制與多次調(diào)優(yōu)，所需算力與開發(fā)過程強相關(guān)訓練需求（一次開發(fā)）時間成本(是否盡快搶到實踐化的落地）能耗成本(云服務(wù)或者算力的使用成本）基于需求進行fine-tune訓練數(shù)據(jù)量算法結(jié)構(gòu)參數(shù)量規(guī)模預(yù)訓練www.jazzyear.com2023.08GPT-4的價格變化86%下降比例2023年3月2023年11月2024年5月2024年8月2022-2027年中國AI服務(wù)器工作負載及預(yù)測u訓練

a推理20222023E2024E2025E2026E2027E英偉達FY2024數(shù)據(jù)中心推理與訓練占比推理端

40%訓練端60%l

a

a

a

a58.4%41.3%67.7%68.8%70.5%72.6%58.7%41.6%32.3%31.2%29.5%27.4%

AIGC模型在處理輸入和輸出時，其計算資源消耗與輸入輸出的數(shù)據(jù)量成正比，費用計算基于

輸入輸出的Token數(shù)量。

以O(shè)penAI為例，在過去兩年里，它將API訪問成本降低了99%。具體來看，GPT-3的API

推理成本從2021年的每千Token0.06美元降至2022年的0.02美元，降幅達66%。到2023年，GPT-3.5Turbo的API推理成本與2021年相比下降了86%。隨著推理成本的降低，推理端算力需求將持續(xù)擴大（1/2）根據(jù)英偉達財報，其數(shù)據(jù)中心的推理占比已經(jīng)達到40%未來，AI服務(wù)器的工作負載可能以推理為主GPT-40$7/1MtokensGPT-40$4/1MtokensGPT-4

Turbo$14/1MtokensGPT-4$36/1Mtokens推理算力未來可能爆發(fā)的示意圖算力消耗推理算力爆發(fā)推理成本大幅下降（10X-100X）AI推理成本2024

未來AI應(yīng)用推理的成本可能會遠超訓練。大模型訓練是階段性的需求，訓練數(shù)據(jù)通常是固定的，比如幾萬億、幾十萬億token的量級，且客戶集中度高。但做推理，可能每天都是幾萬億到10萬億Token

，一周就超過了訓練的計算量。

模型推理成本下降是超級應(yīng)用爆發(fā)的前提條件之一。==xx÷ChatGPT

推理生成超1T

Tokens/

天x訓練Tokens數(shù)量GPT3.5

~2T

TokensGPT4

~10T

Tokens推理成本遠超訓練成本

當前AI應(yīng)用需求正在發(fā)生變遷，大模型正從ToVC泡沫炒作階段走向To

B落地階段，未來可能走向ToC

階段，當前制約在于AI推理成本，成本降低后將迎

來應(yīng)用爆發(fā)。

企業(yè)可以進行推理成本優(yōu)化，包括硬件降本（如硬件梯次利用）、算力調(diào)度（按需求波峰波谷配置資源）和推理加

速。隨著推理成本的降低，推理端算力需求將持續(xù)擴大（2/2）推理所需Token

數(shù)遠超訓練所需Token

數(shù)提高MFU，推理場景比訓練場景面臨更多技術(shù)挑戰(zhàn)2N

FLOPs/token6N

FLOPs/tokenModel

FLOPs

UtilizationPrompt數(shù)量/生成Token推理成本訓練成本訓練算力爆發(fā)成本

/FLOPPart03各取所需，市場激發(fā)AI算力的選擇思考Part

01時代動力，AI新世代繁榮的發(fā)動機Part

04實踐落地

，A

I算力應(yīng)用的新標桿Part05來日方長，AI新世代下的不斷探索Part02層見疊出，復(fù)雜工程需要多樣手段解決目

錄AI的算力資源選擇，需要結(jié)合自身部署能力及應(yīng)用需求綜合考量?算力資源的維度不僅包括算力規(guī)模大小，要考慮算力部署及運營過程中可以利用的程度。算力是工程化結(jié)果，是從芯片到資源服務(wù)的多層次構(gòu)造，需要算力服務(wù)方自身在自身專業(yè)能力及經(jīng)驗案例上的實際Know-How作為基礎(chǔ)。?不同需求程度的用戶不能唯算力的參數(shù)而論，而是要結(jié)合自身對于算力部署的能力進行進一步探究。?

核心計算單元的

算力參數(shù)?

對應(yīng)的運算精度?單元數(shù)量需要從芯片層面解決工程問題，包括芯片互聯(lián)、構(gòu)建網(wǎng)絡(luò)、適配從應(yīng)用到硬件的環(huán)

境，工作量大且繁雜，需要具備從0到1的經(jīng)驗豐富的技術(shù)團隊支持?

芯片的選擇及適配?

智算硬件的選擇及適配?

智算中心的選擇及適配?接入方式、算力調(diào)度、需求分配、彈性擴展、高效穩(wěn)定、算法優(yōu)化、

通訊傳輸、第三方生態(tài)、故障排查、大模型相關(guān)數(shù)據(jù)及訓練工具包（生態(tài)）、模型的納管及生態(tài)合作、云邊端協(xié)同通過服務(wù)器等硬件完成自有算力的部署，環(huán)境調(diào)試，完成大量不同硬件

設(shè)備的選型、優(yōu)化及穩(wěn)定性保障，需要具備成熟的項目案例經(jīng)驗影響算力資源利用的維度（算力提供方在AI算力領(lǐng)域的Know-How及經(jīng)驗）?

芯片的選擇及適配?

智算硬件的選擇及適配?租戶管理、配額管理、運維管理、資源及作業(yè)調(diào)度管理、系

統(tǒng)監(jiān)控、安全及穩(wěn)定★按需取用、靈活擴展、無需各IT系統(tǒng)的復(fù)雜運維，直接

在完成優(yōu)化的環(huán)境下進行開發(fā)?

芯片的選擇及適配?硬件選型及適配（如內(nèi)存）、異構(gòu)算力的

調(diào)度及配合、網(wǎng)絡(luò)傳輸、軟件優(yōu)化、集群

架構(gòu)、環(huán)境優(yōu)化可按需適配資源及彈性適配，

部署時間更快，

可以選擇適配AIGC產(chǎn)品/服務(wù)的算力資源，減少對于AI算力環(huán)境優(yōu)化的時間及人力成本?

內(nèi)存/顯存、片內(nèi)互聯(lián)及片間

互聯(lián)、

AI適配生態(tài)工具（包括

適配算法及其他硬件）、物理

環(huán)境支撐、折舊速率算力直接使用者所需技術(shù)要求云服務(wù)智算硬件智算中心芯片2023.12AI芯片是智算產(chǎn)業(yè)的核心環(huán)節(jié)，AI芯片未來發(fā)展空間巨大

芯片作為算力產(chǎn)業(yè)的基石，為智能算法和應(yīng)用提供了不可或缺的計算能力。在服務(wù)器成本中，

核心芯片如GPU占據(jù)了超過80%的比重。掌握自主

可控的AI芯片技術(shù)，對于智算產(chǎn)業(yè)的持續(xù)發(fā)展至關(guān)重要。

隨著人工智能應(yīng)用場景的不斷拓展，

市場對高性能AI芯片的需求日益增長。同時，存算一體、光通信等前沿技術(shù)的突破，為AI芯片產(chǎn)業(yè)注入了強

勁的增長動力。數(shù)據(jù)顯示，

2023年中國AI芯片市場規(guī)模已達到約652億人民幣。預(yù)計到2026年，市場規(guī)模將顯著增長至1611億人民幣，AI芯片

市場正迎來快速發(fā)展的黃金時期。60%8%9%28%45%83%50%51%32%348266159圖1：服務(wù)器主要成本構(gòu)成

圖2：

2020-2026年中國AI芯片市場規(guī)模（單位：

億人民幣）14002021內(nèi)存、存儲器成本CPU、GPU成本機器學習服務(wù)器100%90%高性能服務(wù)器50%40%80%70%20%10%基礎(chǔ)服務(wù)器推理服務(wù)器2025E2026E2024E其他2023202020221611120010001600180012282023.1225%21%23%25%30%4009118002006006520%02023.10美國商務(wù)部將壁仞科技、摩爾線程等公司列入實體名單。2023.03美國商務(wù)部將浪潮信息、龍芯中科等公司列入實體名單。2022.10BIS對中國實體超級計算機計算芯片和包含此類芯片的計算機商品的禁令，對收到許可

證要求限制的外國生產(chǎn)項目的范圍擴大到實體名單上中國境內(nèi)的28家現(xiàn)有實體；針對<=18nm的DRAM>=128層的NAND存儲芯片增加了新的許可證要求；限制美國人員

在沒有許可證的情況下支持中國某些半導(dǎo)體制造設(shè)施的研發(fā)和集成電路的制造；將包括

長江存儲、中國科學院大學等科研院校在內(nèi)的31家實體列入未經(jīng)核實名單（UVL)。2022.08美國通知英偉達向中國和俄羅斯出口A100和H100芯片需新的許可證要求。2022.08BIS公告美國準備對EDA等四項技術(shù)實行出口管制。2022.07美國半導(dǎo)體廠商收到美國商務(wù)部規(guī)定，要求不得向中國供應(yīng)用于制造<=14nm芯片的設(shè)

備。2022.07美國眾議院通過《芯片與科學法案》，主要內(nèi)容包括：分5年提供527億美元用于半導(dǎo)體

制造激勵計劃、研發(fā)投資、稅收抵免，其中美國芯片基金共500億美元，390億美元用

于鼓勵半導(dǎo)體制造企業(yè)，

110億美元補貼芯片研發(fā)；法案要求獲得補貼的半導(dǎo)體企業(yè)未來10年內(nèi)不得在中國大陸新建或擴建先進制程的半導(dǎo)體工廠。2020.12中芯國際被納入實體名單，對用于<=10nm技術(shù)節(jié)點的產(chǎn)品或技術(shù)，美國商務(wù)部采取

“推定拒絕”的審批政策進行審核。2019-20202019年5月，華為及69家附屬關(guān)聯(lián)公司被美國列入“實體名單”，2020年5月，

BIS限

制華為購買使用美國技術(shù)、軟件設(shè)計制造的半導(dǎo)體；

2020年8月，

BIS在實體清單中新

增38家華為附屬公司，并修訂外國制造直接產(chǎn)品規(guī)則，

進一步限制華為使用基于美國軟件/技術(shù)生產(chǎn)的半導(dǎo)體。2018.04美國商務(wù)部發(fā)布公告，在未來7年內(nèi)禁止中興通訊向美國企業(yè)購買敏感產(chǎn)品。2023.10.17壁仞科技及其附屬關(guān)聯(lián)公司摩爾線程及其附屬關(guān)聯(lián)公司2023.03.02龍芯中科技術(shù)股份有限公司浪潮集團2022.12.15長江存儲科技有限責任公司寒武紀及其附屬關(guān)聯(lián)公司合肥兆芯電子有限公司2021.12.17長沙景嘉微電子股份有限公司2021.11.26新華三半導(dǎo)體技術(shù)有限公司2021.07.09杭州華瀾微電子股份有限公司2021.03.08國家超級計算深圳中心2020.12.18中芯國際及其附屬關(guān)聯(lián)公司深圳云天勵飛技術(shù)有限公司2019.06.24曙光信息產(chǎn)業(yè)股份有限公司2019.05.16華為及其附屬關(guān)聯(lián)公司

在中美科技博弈的背景下，

AI芯片的國產(chǎn)化既是技術(shù)發(fā)展的需求，也是國家戰(zhàn)略的一部分，對于提升國家的科技實力和產(chǎn)業(yè)競爭力具有重要作用。圖1：

近年美國對華半導(dǎo)體管制措施

圖2：被美國列入

“實體清單”的中國半導(dǎo)體企業(yè)AI芯片成為中美科技博弈的焦點之一

，AI芯片國產(chǎn)化刻不容緩2023.12

在AI技術(shù)快速發(fā)展的背景下，

AI芯片已成為美國政府卡中國脖子的新武器。自2018年以來，

被美國列入“實體清單”

的中國AI芯片企業(yè)持續(xù)增加。

同時，美國聚焦于高算力芯片，限制英偉達、

AMD等企業(yè)的GPU出口，試圖全面遏制我國AI產(chǎn)業(yè)發(fā)展。

美國的限制措施激發(fā)了中國AI芯片產(chǎn)業(yè)的自主創(chuàng)新和研發(fā)，加速了國產(chǎn)替代的進程。中國企業(yè)面對外部壓力。加大研發(fā)投入，努力構(gòu)建自主可控的產(chǎn)業(yè)鏈。

被列入“實體清單”的AI芯片企業(yè)數(shù)量

美國商務(wù)部工業(yè)和安全局對華高算力芯片出口限制AMD

MI250

●英偉達A100/A800●英偉達

L40S

英偉達

L40oO英偉達

RTX4090Ti英偉達

RTX4090

英偉達H100/H800●AMD

RX7900XTX1525美國的限制措施為國產(chǎn)替代提供機遇，國產(chǎn)化進程迎來加速期21201714970201820192020

2021

2022

20231364115863ECCN

3A090a:對包

括中國在內(nèi)的“D：

5”國家（地區(qū)）“推定拒絕”ECCN

3A090b:出口

商必須在簽訂合同簽

25天通知BIS，由BIS斟酌審查向“實體清單”以

外的企業(yè)出口無需

提前申請總計算能力（TPP）

∞

通用半導(dǎo)體

通信

AI性能密度閾值（

PD）24001600英特爾GPU

Max

NEXTAMD

MI200/MI210AMD

MI250X英特爾

GPU

Max

15501.6

3.25.92

∞10548002023.122526203022067公司型號GPU架構(gòu)峰值INT8

計算性能峰值半精度（FP16)性能顯存容量最大功耗工藝制程發(fā)布時間H100SXMHopper3958TOPS1979TFLOPS80GB700W4nm2022Q1A10080GBPCleAmpere624

TOPS312

TFLOPS80GBHBM2300W7nm2020Q2昇騰910B達芬奇-376TFLOPS-400W7nm2023昇騰910達芬奇640TOPS320TFLOPS-310W7nm2019Q3昇騰310達芬奇16TOPS8TFLOPS-8W12nm2018Q4MLU370LUarch03256TOPS96TOPS7nm2021Q4壁立仞架構(gòu)2048TOPS1024TFLOPSHBM2e20%7nm2022Q3BR104壁立仞架構(gòu)1024TOPS-32GBHBM2e300W7nm2022Q3天垓100GPGPU256TOPS128TFLOPS32GBDRAM

HBM2250W7nm2021Q3

GPU占據(jù)AI芯片主導(dǎo)地位，推理需求加速CPU的使用

2023年上半年，中國加速芯片的市場規(guī)模超過50萬張，

GPU卡占有90%市場份額，非GPU卡占據(jù)10%市場份額。中國本土AI芯片品牌出貨量近5

萬張，占整個市場的10%。

2024年上半年，中國加速芯片市場規(guī)模超過90萬張。

GPU卡占據(jù)80%市場份額，非GPU卡占據(jù)20%市場份額。中國

本土AI芯片品牌出貨量近20萬張，約占整個市場的20%。

數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結(jié)整理,2023.1223圖2：

國產(chǎn)芯片與NVIDIA性能差距正在縮小2023年H1

-2024年H1中國AI芯片市場份額非GPU

10%非GPUGPUGPU80%90%芯片類型GPUFPGAASIC定制化程度通用型半定制化靈活性好好不好成本高較高低編程語言/架構(gòu)CUDA、OpenCL

等Verilog/VHDL等

硬件描述語言、OpenCL、HLS功耗偏大較大偏小延遲1ms1us1us主要優(yōu)點峰值計算能力強、平均性能較高、功平均性能很強、功產(chǎn)品成熟耗較低、靈活性強耗很低、體積小主要缺點功率不高、不可編輯、功耗高量產(chǎn)單價高、峰值計算能力較低、編程語言難度大前期投入成本高、

不可編輯、研發(fā)時間長、技術(shù)風險大主要應(yīng)用場景云端訓練、云端推理云端推理、終端推理云端推理、推斷推

理、終端推理

TPU具有更低功耗和專用特性，成為AI芯片的重要發(fā)展趨勢之一（1/2）

GPU擁有高并行計算能力，適用于多種任務(wù)，但功耗和成本較高，在特定應(yīng)用的優(yōu)化上不如FPGA和ASIC靈活。

FPGA可以針對特定應(yīng)用進行編程，

以實現(xiàn)硬件級別的優(yōu)化，提供極高靈活性。但FPGA需要硬件描述語言（HDL）

編程，比GPU編程更復(fù)雜和困難，開發(fā)周期較長。高性能FPGA的

成本通常高于GPU，尤其是在大規(guī)模部署時。

ASIC為特定應(yīng)用定制，可以實現(xiàn)極高的性能和效率，且功耗通常低于GPU和FPGA。但ASIC一旦制造完成，就很難更改，這限制了其適應(yīng)新算法或任務(wù)的能力。設(shè)計和制造周期較長。發(fā)布機構(gòu)算力產(chǎn)品產(chǎn)品數(shù)量（片）算力利用率（%）GPT-3OpenAINVIDIAv10010000GPT-4OpenAINVIDIAA10025000GopherDeepMindTPUv34096PaLMGoogleTPUv46144能效王者，

TPU算力利用率較高AI芯片類型定制化46%2023.1221%33%34%24/2014-2015提供具有成本效益的大規(guī)模推理2014

2015推出Trillium，可靈活匹配不同AI模型的訓練和推理需求TPU

v4

和A100

在各種模型上的訓練效果-

NVIDAA100(Availableon-prem)GoogleTPUv4(Available

Claud)

GoogleTPUv4(Research)

1.37x10.50BERT

ResNet

DLRM

RetinaNet

MaskRCNNTPUv4和A100在訓練上的成本比較

Modeledcosttotrainon4096A100chipson

MicrosoftAzureCosttotrain($)·

Costtotrainon4096TPUv4chipsonGoogle

Cloud100806035%saving59$4042$200BERT

ResNetTPU具有更低功耗和專用特性，成為AI芯片的重要發(fā)展趨勢之一（2/2）

數(shù)據(jù)來源:

公開資料、專家訪談、甲子光年智庫總結(jié)整理,2023.1225

1.82x

1.67x2023-至今支持大規(guī)模AI模型的訓練和推理2018

20202022

2023

2024推出支持大規(guī)模訓練和推理的TPUv5和v5p推出支持服務(wù)器端AI訓練的TPUv2Google

TPU發(fā)展史2016-2022支持AI模型的訓練TPUv1在內(nèi)部上

線推出TPUv3

推出TPUv4Trainingt

imespeedup開始研發(fā)TPU50%saving1.15x89$39$1.52

AI快速發(fā)展推動智能時代的到來，對算力的需求爆發(fā)式增長。傳統(tǒng)數(shù)據(jù)中心以CPU為核心，主要負責數(shù)據(jù)處理及應(yīng)用承載，已無法滿足當前大規(guī)

模并行計算的需求。因此，智算中心應(yīng)運而生，專注于提供AI模型訓練和推理所需的高性能計算能力。

智算中心以xPU為核心，單機柜功率密度達到20～100kW，耗電量大，在建設(shè)規(guī)劃時需重點考量地理位置、能源條件、算力規(guī)模、網(wǎng)絡(luò)能力、能

耗問題等關(guān)鍵因素。圖1：傳統(tǒng)數(shù)據(jù)中心VS智算中心

圖2：不同時期數(shù)據(jù)中心機柜的典型功率（單位：kW每機柜)智算中心

AI降低編程門檻，迭代速度快，讓懂業(yè)務(wù)與懂編程的融合，開發(fā)出更好的應(yīng)用，推動企業(yè)數(shù)字化。

以xPU為中心，提供并行計算，處理

AI模型訓練所需的大量矩陣運算。

采用多元算力融合架構(gòu)，利用異構(gòu)計算與分布式系統(tǒng)，提供彈性、可伸縮擴展的算力聚合能力。

單機柜功率密度通常在20～100千瓦之間，主要采用液冷或風液混合的散熱技術(shù)。

主要承載AI模型的訓練與推理，高效提供算力資源，并支持大數(shù)據(jù)的處理。傳統(tǒng)數(shù)據(jù)中心 得益于個人數(shù)字化的高速發(fā)展，互聯(lián)網(wǎng)行業(yè)的公有云及應(yīng)用需求是拉動IDC業(yè)務(wù)快速增長的核心驅(qū)動力。

以CPU為中心，適用于一般性的計

算需求。 采用馮·諾依曼的主從架構(gòu)，面對大

量并行任務(wù)時存在“計算墻”、“內(nèi)存墻”等問題。 單機柜的功率密度通常在3～8千瓦之間，可裝載的服務(wù)器設(shè)備數(shù)量有限，算力密度相對較低，一般次啊用傳統(tǒng)的風冷散熱。

主要承載企業(yè)級應(yīng)用和數(shù)據(jù)存儲，如Web服務(wù)、數(shù)據(jù)庫管理和文件存儲等常規(guī)信息處理任務(wù)。AI算力需求增長推動數(shù)據(jù)中心走向智算中心2～33～55～8AI

DC智能時代機房計算機時代云DC大數(shù)據(jù)時代DC互聯(lián)網(wǎng)時代20

～1002023.12

智算中心能效水平日益提高，機架規(guī)模穩(wěn)步增長，

算力集群上架率顯著提升

我國大力推動智算中心建設(shè)，截至2024年6月，我國數(shù)據(jù)中心超過830萬標準機架，

算力規(guī)模達246EFLOPS（FP32）

，智算同比增速超過65%。

2022年，我國數(shù)據(jù)中心平均上架率為58%，華東、華北、華南地區(qū)上架率超過65%，西北、西南地區(qū)分別約為30%和40%?！皷|數(shù)西算”工程實

施以來，算力集群的整體上架率快速提升，西部地區(qū)的算力規(guī)模增長顯著。在用算力中心平均PUE為1.48，與2022年的1.52相比有所改善。圖3：

2023年末國家重點數(shù)據(jù)中心集群上架率慶陽集群80%～85%貴安集群

55%～60%蕪湖集群

50%～55%張家口集群

60%～65%400中衛(wèi)集群

80%～85%和林格爾和集寧集群55%～60%520圖2：中國在用算力中心PUE值1.7

1.65圖1：

2023年中國數(shù)據(jù)中心機架規(guī)模（單位：萬個）900

重慶集群65%～70%韶關(guān)集群45%～50%

數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結(jié)整理,2023.12272017

2018

2019

2020

2021

2022

20237002019

2020

2021

2022

20231.551.551.451.351.521.651.621.484018108002002266006523153005001661001.61.51.40智能算力市場空間廣闊，全國加快智算中心建設(shè)

2022年中國智能算力規(guī)模為259.9EFLOPS（基于FP16計算），預(yù)計2027年達到1117.4EFLOPS，五年復(fù)合增長率達33.9%。

智算中心建設(shè)提速，數(shù)據(jù)顯示，2024年上半年，全國已經(jīng)建設(shè)和正在建設(shè)的智算中心超過250個，招投標事件791起，已有超20個城市建設(shè)了智算中心。圖1：

2022-2027年中國智能算力規(guī)模及預(yù)測

（基于FP16計算，單位：

EFLOPS)項目數(shù)量占比項目投資規(guī)模項目地區(qū)分布主要應(yīng)用領(lǐng)域>1000P大型智算中心百億元及以上京津冀、長三

角、珠三角AI大模型、自

動駕駛、空間地理等人工智能技術(shù)領(lǐng)域300~1000P中型智算中心10億元以上一線、新一線及二線城市人工智能產(chǎn)業(yè)

鏈或細分行業(yè)

智能化集群<100P小型智算中心10億元以下二線及以下城

市企業(yè)智能化建設(shè)或小型人工智能產(chǎn)業(yè)集群200616.6497.1414.1259.9155.2751200

1117.4

圖2：中國智算中心項目建設(shè)現(xiàn)狀60020242025E

2026E

2027E020202022

2023812.5202110002023.1270%20%10%40080028

政府或通過平臺公司投資建設(shè)智算中心。

運營上由平臺公司運營，或引入第三方企業(yè)參與運營。該模式多適用于發(fā)達地區(qū)，本地有強算力需求。

引入運營商或第三方企業(yè)投資運營

政府提供電力、土地等優(yōu)惠政策，如每年購買不少于2000萬算力補貼，連續(xù)購買5年

平臺公司投資建設(shè)智算中心

企業(yè)與平臺公司或地方性國資企業(yè)成立合資公司，負責公司人、財、物管理