2024年中國ai算力行業(yè)發(fā)展報告-甲子光年-202412

智庫院長：宋濤報告撰寫：劉瑤、郭瑤琴、王藝霖發(fā)布時間：2024.12智庫院長：宋濤報告撰寫：劉瑤、郭瑤琴、王藝霖發(fā)布時間：2024.12 2縱觀AI發(fā)展，算法的技術突破拉動了算力的需求2015-2016年左右開啟了大模型時代，整體的訓練計算量較之前的這些大模型的訓練需要千億、甚至萬億級參數(shù)，2012-2023年算力需求翻了數(shù)十萬倍，AI算力需求遠超摩爾定律，大模型對算力的需求模型規(guī)模指數(shù)級增長推動算力需求爆發(fā)●GPT-4模型規(guī)模指數(shù)級增長推動算力需求爆發(fā)●GPT-4●ChatGPT1e+4AlphaGoZero1e+3NeuralMachineTranslation1e+1TI7Dota1v1Xception1e+0DeepSpeech2●ResNetsSeq2SeqGoogleNet1e-31e-4201520162017201820192020202120222023●GPT-3●GPT-3AlphaZero1e-1VGGVisualizingandUnderstandingConvNets1e-2AlexNet20121e+220132014訓練算力需求FLOPSAlphaZero1e-1VGGVisualizingandUnderstandingConvNets1e-2AlexNet20121e+220132014訓練算力需求FLOPS33無論是訓練還是推理，大模型的爆發(fā)引發(fā)全球算力需求的指數(shù)級增長技術層面上，基礎模型通過遷移學習（TransferLearning）和規(guī)模（scale）得以實現(xiàn)；Transformer的應用標志著基礎模型時代的Sora等視頻生成類模型相較于大語言模型消耗的算力提升20倍。隨著海量數(shù)據(jù)的積累，大模型需要處理的數(shù)據(jù)量也在不斷增長，進一步加劇了對算力的102510231021101910171015Transformer結構對于基礎模型訓練算力需求的推動102510231021101910171015SoraSora(1minideo)GPT4(10000texttokens)DiT-XL/2IGeneratioximages)0.00.20.40.60.81.0基于Transformer結構算法與時間44AI產業(yè)快速發(fā)展為AI算力市場帶來新機遇從產業(yè)規(guī)?？?，全球人工智能快速增長。2023年全球人工智能市場收入從投融資看，2024年Q1全球AI領域完成從企業(yè)發(fā)展看，全球人工智能呈現(xiàn)“中美主導”格局。截至2023年三季度，全球人工智能企業(yè)有29542家。美國有9914家，占比為34%；中國有4469家為15%；中美人工智能企業(yè)數(shù)占全球總數(shù)約49%。圖1：2022-2026年全球AI市場規(guī)模（單位：億美元）圖2：全球AI領域投融資情況（單位：億美元）圖3：全球AI企業(yè)數(shù)量國家分布00加拿大0加拿大052024.125資源“三劍客”中，算力承接算法及數(shù)據(jù)，成為AI產業(yè)發(fā)展基石在現(xiàn)代人工智能領域，算力扮演著推動創(chuàng)新、實現(xiàn)突破的核心驅動力。算力算法跨模態(tài)融合算法跨模態(tài)融合算力內容創(chuàng)造力大數(shù)據(jù)語料庫計算任務數(shù)據(jù)層面高精度訓練集算力層面硬件算力智能交互算力內容創(chuàng)造力大數(shù)據(jù)語料庫計算任務數(shù)據(jù)層面高精度訓練集算力層面硬件算力智能交互實時算力數(shù)據(jù)數(shù)據(jù)巨量化算法層面核心技術突破多模態(tài)認知計算數(shù)字孿生數(shù)字孿生虛擬現(xiàn)實虛擬現(xiàn)實全息立體應全息立體應用場景2023.082023.08千行百業(yè)ALLInAI，算力成為智能化升級的核心支撐AI快速發(fā)展正在推動各行業(yè)的數(shù)智化轉型，大模型為千行百業(yè)提供了創(chuàng)新解決方案。通用大模型側重發(fā)展通識能力，行算力支撐成為了AI產業(yè)發(fā)展的關鍵，也是實現(xiàn)AI技術在各行業(yè)廣泛應用的基礎。目前大模型在廣告、傳媒、教育、金融等領域快速落地應用，AI算力與各行業(yè)深能行業(yè)有效的提升了效率、降低成本及優(yōu)化決策過程。算力支撐成為了AI產業(yè)發(fā)展的關鍵，也是實現(xiàn)AI技術在各行業(yè)廣泛應用的基礎。目前大模型在廣告、傳媒、教育、金融等領域快速落地應用，AI算力與各行業(yè)深圖1：大模型賦能各行各業(yè)圖2：主要行業(yè)大模型應用階段示意圖目標市場滲透率目標市場滲透率場景模型及應用智能客服代碼生成場景模型及應用智能客服代碼生成 自動駕駛智能監(jiān)控 智能醫(yī)學影像智能藥物研發(fā)數(shù)據(jù)推薦搜索智能風控數(shù)據(jù)推薦搜索智能風控自動定價智能調度自動定價智能調度100%教學和評分助手100%教學和評分助手…………數(shù)據(jù)廣告●軟件廣告政務行業(yè)模型金融數(shù)據(jù)廣告●軟件廣告政務行業(yè)模型金融醫(yī)療教育零售傳媒交通工業(yè)……數(shù)據(jù)教育數(shù)據(jù)傳媒。傳媒。金融多模態(tài)CV預測……。游戲出行科學計算多模態(tài)CV預測……。游戲出行科學計算NLP。醫(yī)療農業(yè)。醫(yī)療農業(yè)能源建筑oo電商0%制造智算一體機……算力基礎設施制造智算一體機……發(fā)展階段落地成熟期采納成長期試驗加速期探索孵化期發(fā)展階段落地成熟期采納成長期試驗加速期探索孵化期AI芯片AI服務器智算中心云服務72024.127數(shù)字基礎設施加快建設，智能算力增長勢頭強勁數(shù)字經濟成為全球經濟增長的活力所在。2022年，全球51個主要經濟體數(shù)字經濟同比名義增長7.4%，高于同期GDP名義增速3.2%，持續(xù)為全球經濟平穩(wěn)全球算力主要由通用算力、智能算力和超算算力組成。通用算力作為基礎，滿足廣泛的日常計算需求；智能算力則在新興技術領域發(fā)揮關鍵作用；超算特定高端需求提供強大計算能力。數(shù)據(jù)顯示，2023年底全球算力總規(guī)模約910EFLOPS，其中，智能算力從2021年的113EFLOPS增長至2023年的335EF圖1：2021-2023年全球算力規(guī)模（單位：EFLOPS）圖2：不同算力的重點應用領域通用算力通用算力超算算力技術特點一般主要由CPU芯片提供計算能力，適合計算通用算力通用算力超算算力技術特點一般主要由CPU芯片提供計算能力，適合計算一般由GPU為代表、FPGA、ASIC等AI芯片的加速計算平臺提供的算力，側重于處性能計算集群所提供的算力，注重雙追求精確的數(shù)值計應用場景應用范圍廣泛，如科學研究、工程設計、商業(yè)主要用于人工智能如語音、圖像和視主要用于尖端科學領域的計算，如行星模擬、藥物分子0082024.128國家層面統(tǒng)籌布局，陸續(xù)出臺多項政策大力支持算力發(fā)展國內重要的算力政策文件內容2024.10國家發(fā)展改革委員會《國家數(shù)據(jù)標準體系建設指南》要強化基礎設施互聯(lián)互通、算力保障和流通利用標準建設，為數(shù)據(jù)資源、數(shù)據(jù)技術、數(shù)據(jù)流通、融合應用提供2024.09國務院辦公廳《國務院辦公廳關于加快公共數(shù)據(jù)資源開發(fā)利用的意見》繁榮數(shù)據(jù)產業(yè)發(fā)展生態(tài)。將數(shù)據(jù)產業(yè)作為鼓勵發(fā)展類納入產業(yè)結構調整指導目錄，支持數(shù)據(jù)采集標注、分析挖掘、流通使用、數(shù)據(jù)安全等技術創(chuàng)新應用，鼓勵開發(fā)數(shù)據(jù)模型、數(shù)據(jù)核驗、評價指數(shù)等多形式數(shù)據(jù)產品。圍繞數(shù)據(jù)采存算管用，培育高水平數(shù)據(jù)要素型企業(yè)。聚焦算力網(wǎng)絡和可信流通，支持數(shù)據(jù)基礎設施企業(yè)發(fā)展。落實研發(fā)費用加計扣除、高新技術企業(yè)稅收優(yōu)惠等政策。支持數(shù)據(jù)行業(yè)協(xié)會、學會等社會團體和產業(yè)聯(lián)盟發(fā)展，凝聚行業(yè)共識，加強行業(yè)自律，推動行業(yè)發(fā)展。2024.03中央人民政府《政府工作報告》適度超前建設數(shù)字基礎設施，加快形成全國一體化算力體系，培育算力產業(yè)生態(tài)。2023.12國家發(fā)展改革委員會《關于深入實施“東數(shù)西算”工程加快構建全國一體化算力網(wǎng)的實施意見(發(fā)改數(shù)據(jù)〔2023〕1779號)》到2025年底，普惠易用、綠色安全的綜合算力基礎設施體系初步成型，東西部算力協(xié)同調度機制逐步完善，通用算力、智能算力、超級算力等多元算力加速集聚，國家樞紐節(jié)點地區(qū)各類新增算力占全國新增算力的60%以上，國家樞紐節(jié)點算力資源使用率顯著超過全國平均水平。1ms時延城市算力網(wǎng)、5ms時延區(qū)域算力網(wǎng)、20ms時延跨國家樞紐節(jié)點算力網(wǎng)在示范區(qū)域內初步實現(xiàn)。算力電力雙向協(xié)同機制初步形成，國家樞紐節(jié)點新建數(shù)據(jù)中心綠電占比超過80%。用戶使用各類算力的易用性明顯提高、成本明顯降低，國家樞紐節(jié)點間網(wǎng)絡傳輸費用大幅降低。算力網(wǎng)關鍵核心技術基本實現(xiàn)安全可靠，以網(wǎng)絡化、普惠化、綠色化為特征的算力網(wǎng)高質量發(fā)展格局逐步形成。2023.102023.10工業(yè)和信息化部《算力基礎設施高質量發(fā)展行動計劃》推動算力結構多元配置。結合人工智能產業(yè)發(fā)展和業(yè)務需求，重點在西部算力樞紐及人工智能發(fā)展基礎較好地區(qū)集約化開展智算中心建設，逐步合理提升智能算力占比。推動不同計算架構的智能算力與通用算力協(xié)同發(fā)展，滿足均衡型、計算和存儲密集型等各類業(yè)務算力需求。2023.3科技部《關于開展國家新一代人工智能公共算力開放創(chuàng)新平臺申報工作的通知》為貫徹落實《國家新一代人工智能發(fā)展規(guī)劃》(國發(fā)〔2017〕35號),做好“國家新一代人工智能公共算力開放創(chuàng)新平臺”(簡稱“公共算力平臺”)啟動建設工作,根據(jù)《國家新一代人工智能公共算力開放創(chuàng)新平臺建設指引(試行)》(國科辦高〔2022〕89號,簡稱《建設指引》),結合我國人工智能技術發(fā)展和算力基礎設施建設的需求，現(xiàn)啟動“公共算力平臺”建設申報工作。2022.8科技部財政部《企業(yè)技術創(chuàng)新能力提升行動方案（2022-2023年）》推動國家超算中心、智能計算中心等面向企業(yè)提供低成本算力服務。支持建設一批重大示范應用場景，鼓勵創(chuàng)新型城市、國家自創(chuàng)區(qū)、國家高新區(qū)、國家農高區(qū)、國家新一代人工智能創(chuàng)新發(fā)展試驗區(qū)等發(fā)布一批應用場景清單，向企業(yè)釋放更多場景合作機會。數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結整理,2024.12各省市積極響應，通過政策引導和支持推動地方算力發(fā)展各省市通過政策引導和支持，推動地方算力資源的開放共享、數(shù)據(jù)中心的集約化發(fā)展、算力網(wǎng)絡的一體化建設，以及算力與實體經濟的深度融合，從而加速AI應用的落地和數(shù)字經濟的發(fā)展。山東2024.06山東省算力基礎設施高質量發(fā)展行動方案強化多元算力協(xié)同部署。引導通用算力、智能算力、高性能算力中心等合理梯次布局，支持重點企業(yè)建設智算中心，適度超前提高智能算力占比。推進通用算力中心規(guī)范有序、規(guī)模集約發(fā)展。重點在人工智能發(fā)展基礎較好、產業(yè)需求旺盛的地區(qū)集約化開展智建設，支持濟南、青島等市用好人工智能創(chuàng)新應用先導區(qū)、創(chuàng)新發(fā)展試驗區(qū)，構建多元異構的千卡級別、萬卡級別智能算力集導濟南、青島國家級超算中心深度融入國家分布式超算互聯(lián)網(wǎng)系統(tǒng)，爭取河北2024.05關于進一步優(yōu)化算力布局推動人工智能產業(yè)創(chuàng)新發(fā)展的意見到2025年,全省算力規(guī)模達到35百億億次/秒(EFLOPS)以上,智能算力占比達到35%左右,新增算力基礎軟硬件設施自上。在智能制造、醫(yī)療局指動人工智能產業(yè)創(chuàng)新健康等優(yōu)勢領域孵化一批行業(yè)應用大模型,培育典型應用場景30個。智能產北京2024.04北京市算力基礎設施建設實施方案（2024-2027）到2025年,基本建成智算資源供嶺集群化、有算設施建設自主化、有算能力賦能精準化、街算中心運營綠色格局。到2027年,優(yōu)化京津冀象算力供給質量和規(guī)模,力命自主可控江蘇2024.04江蘇省算力基礎設施發(fā)展專項規(guī)劃全市“613”產業(yè)體系重點企業(yè)和在揚從事人工智能研發(fā)應用的科研統(tǒng)所,在運河城市算力平臺積用非關聯(lián)方的智能算力資源,憑的算力服務合同獲取算力券。算力寫求方通過平臺購買使用智能算力資源服務的,按服實際支付智能算力費用30%給予支持,給予黑龍江2024.03黑龍江省支持智算中心和超算中心建設獎勵政策實施細則省工信廳負責對照績效目標做好事后績效評價工作，聚焦注重投入產出效益，對政策實施效果和資金使用情況開展“雙評價績效評價質量和實效。健全評價指標體系，將包括但不限于新增智算、超算規(guī)模，新增算力服務營收等個性化指標作為產出效益重點。加強績效評價結果應用，將評價結果作為政策調整、預算安排和資金分配的重要依據(jù)，對于產出效益未達預期的，對政上海2024.03上海市智能算力基礎設施高質量發(fā)展“算力浦江”智算行動實施方案（2024-2025年）力爭到2024年,信息通信行業(yè)基本形成布局合理、算網(wǎng)協(xié)同、軟硬協(xié)同、低破高效、數(shù)字化特型帶動能力突出、產業(yè)鏈更數(shù)據(jù)中心發(fā)展體系,初步建成全圖一體化算力網(wǎng)絡上海樞組節(jié)點,形成與本市數(shù)字經濟發(fā)展方貳相運應,長三南地區(qū)協(xié)同發(fā)展的算力廣東2024.03廣東省算力基礎設施高質量發(fā)展行動暨“粵算”行動計劃2025年，在計算方面，算力規(guī)模達到38EFLOPS，智能算力占比達到50浙江2024.03關于發(fā)展計算產業(yè)打造算力強區(qū)的若干政策（征求意見稿）力爭到2025年,全區(qū)集成電路產業(yè)規(guī)模達400億元,網(wǎng)絡通信產業(yè)規(guī)模達850億元。報進機州人工智能計算中心建術路絨的公共算力規(guī)模達到500P,培育等化5個具有行業(yè)影響力的專用模型,人工智能賦能標南京2024.03南京市推進算力產業(yè)發(fā)展行動方案2025年,全市數(shù)據(jù)中心總規(guī)模達到25萬標準機架,總算力超8.5EFL0PS(FP32),可統(tǒng)籌智能算力超6000PFL0PS(F貴州2024.02貴州省算力基礎設施高質量發(fā)展行動計劃（2024-2025）推動算力結構多元配置。結合人工智能產業(yè)發(fā)展和業(yè)務需求，重點在西部算力樞紐及人工智能發(fā)展基礎較好地區(qū)集約化開展智建設，逐步合理提升智能算力占比。推動不同計算架構的智能算力與通用算力協(xié)同發(fā)展，滿足均衡型、計算和存儲密集型等各數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結整理,2024.12 滿足大模型需求的算力是一項復雜的系統(tǒng)工程滿足大模型需求的算力是一項涉及多層面復雜系統(tǒng)工程，因為它不僅需要在計算能力上實現(xiàn)指數(shù)級增長，以應對大模型的龐大慘數(shù)量，還要在數(shù)據(jù)傳輸、算力系統(tǒng)的設計遠非簡單的算力資源堆砌，而是需要解決低時延數(shù)據(jù)交換、節(jié)點間計算負載的均衡分配、消彌算力堵點，預防硬件故障等一系列技術難算力系統(tǒng)的設計遠非簡單的算力資源堆砌，而是需要解決低時延數(shù)據(jù)交換、節(jié)點間計算負載的均衡分配、消彌算力堵點，預防硬件故障等一系列技術難同應用場景對算力效率、調度靈活性、擴展性、安全穩(wěn)定、成本效益等方面有著各自獨特的需求。這些需求的多樣性和復雜單卡1卡起步集算力需求大規(guī)模數(shù)百卡高數(shù)十卡靈快輕易超大規(guī)模極致性能訓練預訓練二次訓練全參微調局部微調推理大模型在不同場景的算力需求及工程難度超大規(guī)模大規(guī)模較小規(guī)模千卡～萬卡數(shù)百卡～千卡單卡8卡起步很高高較高TP/DP/PP并基模選擇，高十萬～百萬條行，海量數(shù)據(jù)質量數(shù)據(jù)指令集算力需求模型微調模型預訓練代碼同應用場景對算力效率、調度靈活性、擴展性、安全穩(wěn)定、成本效益等方面有著各自獨特的需求。這些需求的多樣性和復雜單卡1卡起步集算力需求大規(guī)模數(shù)百卡高數(shù)十卡靈快輕易超大規(guī)模極致性能訓練預訓練二次訓練全參微調局部微調推理大模型在不同場景的算力需求及工程難度超大規(guī)模大規(guī)模較小規(guī)模千卡～萬卡數(shù)百卡～千卡單卡8卡起步很高高較高TP/DP/PP并基模選擇，高十萬～百萬條行，海量數(shù)據(jù)質量數(shù)據(jù)指令集算力需求模型微調模型預訓練代碼調試模型訓練下游任務微調代碼調試公共開放數(shù)據(jù)處理行業(yè)私有數(shù)據(jù)處理指令微調數(shù)據(jù)處理計算平臺系統(tǒng)設計AI集群平臺建設系統(tǒng)調試與上線蒸餾轉換剪枝量化在線推理在離推理模型架構設計行業(yè)特征工程模型層/優(yōu)化器設計模型微調設計模型設計超參定義和范圍標定防攻擊/故障隔離API開放大模型的研發(fā)、部署及集成是一項復雜的系統(tǒng)工程數(shù)據(jù)&模型準備數(shù)據(jù)&模型準備 算力準備&模型訓練推理部署&集成數(shù)據(jù)處理數(shù)據(jù)處理大規(guī)模訓練&微調大規(guī)模訓練&微調算力準備&系統(tǒng)調優(yōu)壓縮/轉換優(yōu)化/部署 壓縮/轉換優(yōu)化/部署集成集成2024.12AI算力具備軟硬件的復雜性，并且以不同產品/服務/方案為應用賦能閉源模型應用邊緣或端側應用提供基于本地邊緣或端側交互的應用基于AIGC的技術棧，算力層作為上層模型及應用的重要支撐閉源模型應用邊緣或端側應用提供基于本地邊緣或端側交互的應用應用層應用層），數(shù)據(jù)中心與模型APIPrompt優(yōu)化與模型微調網(wǎng)絡平臺應用率模型Hub率模型Hub開源模型模型層深度學習框架與中間件等非開源預訓練模型非開源預訓練模型框架層算力層數(shù)據(jù)層用于訓練或云部署的深度學習框架和中間件等，包括PyTorch、TensorFl框架層算力層數(shù)據(jù)層用于訓練或云部署的深度學習框架和中間件等，包括PyTorch、TensorFl云服務（智算云服務）層智算服務平臺云服務（智算云服務）層智算服務平臺PaaSPaaS、MaaS，邊緣計算等 通用算力中心、智算中心、超算中心通過軟硬件結合方式實現(xiàn)算力資源使用效率提升服務器層服務器層服務器、路由器、交換機、光模塊等IT設備及機架其他非IT設備服務器管理軟件等單芯片、多卡互聯(lián)、存儲、網(wǎng)卡、PCB、BMC、電源等 芯片軟件棧，解決卡內、卡間的互聯(lián)及加速 數(shù)據(jù)資源（數(shù)據(jù)采集、清洗、標注等）數(shù)據(jù)資源（數(shù)據(jù)采集、清洗、標注等）2024.12生成式AI的突破依賴于算力的“暴力美學”，應用依賴于算力在場景中的釋放），訓練是指通過數(shù)據(jù)開發(fā)出AI模型，使其能夠滿足推理是指利用訓練好的模型進行計算，利用輸入的數(shù)據(jù)獲得正確結論的過程，一模型參數(shù)數(shù)值基本確定，隨著應用場景、適用人群數(shù)量增加，導致推模型參數(shù)數(shù)值基本確定，隨著應用場景、適用人群數(shù)量增加，導致推理數(shù)據(jù)量及模型數(shù)量增多，進而使推理算力需求井噴發(fā)展微調階段訓練階段微調階段訓練階段算力算力訓練完的模型參數(shù)量也會影訓練完的模型參數(shù)量也會影當下模型參數(shù)量大規(guī)模提升，同時影響訓練數(shù)據(jù)量及訓練次數(shù)，推動訓練階段算力及對應的微調階段算力提升當下模型參數(shù)量大規(guī)模提升，同時影響訓練數(shù)據(jù)量及訓練次數(shù)，推動訓練階段算力及對應的微調階段算力提升2023.082023.08復雜工程的算力落地理念：需要基于目標與資源的分配去達成工程學平衡應用落地的算力選擇，更應該強調最優(yōu)解，而非最大解。在實現(xiàn)AIGC的技術落地過程中，模型的參數(shù)量及涌現(xiàn)結果固然重要，但模型在運行過程中所需的算力核心目標：基于行業(yè)Know-How需要實現(xiàn)的行業(yè)Know-How不僅僅表現(xiàn)在豐富的行業(yè)實踐經歷，而是深入理解客戶的業(yè)務需求，并且通過管理項目開Why（用戶分析）?基于用戶的細分行業(yè)屬性，熟悉細分行業(yè)的需求價值?基于用戶的業(yè)務流程細節(jié)，對用戶的需求矛盾分析?基于用戶的資源能力，明確用戶的負擔上限?核心目標：基于行業(yè)Know-How需要實現(xiàn)的行業(yè)Know-How不僅僅表現(xiàn)在豐富的行業(yè)實踐經歷，而是深入理解客戶的業(yè)務需求，并且通過管理項目開Why（用戶分析）?基于用戶的細分行業(yè)屬性，熟悉細分行業(yè)的需求價值?基于用戶的業(yè)務流程細節(jié)，對用戶的需求矛盾分析?基于用戶的資源能力，明確用戶的負擔上限?……能耗成本How（項目執(zhí)行）?在不同階段和層面對項目的工作內容從主項、分項、子項甚至單體的各個部分進行拆分（例如采用WBS），實現(xiàn)項目關鍵節(jié)點的管理，?完成項目人員的協(xié)同、管理、分工及時間資源調配?對風險的預知、判斷及合理控制?……資源分配：通過選擇合適的技術路徑實現(xiàn)算力的成本優(yōu)化資源分配：通過選擇合適的技術路徑實現(xiàn)算力的成本優(yōu)化考慮到模型訓練“黑盒”機制與多次調優(yōu)，所需算力與開發(fā)過程強相關模型推理階段的算力主要為運行模型和數(shù)據(jù)處理，并且需要考慮產品的使用體驗技術實現(xiàn)路徑算法結構訓練數(shù)據(jù)量參數(shù)量規(guī)?；谛枨筮M行模型規(guī)模模型種類考慮到模型訓練“黑盒”機制與多次調優(yōu)，所需算力與開發(fā)過程強相關模型推理階段的算力主要為運行模型和數(shù)據(jù)處理，并且需要考慮產品的使用體驗技術實現(xiàn)路徑算法結構訓練數(shù)據(jù)量參數(shù)量規(guī)模基于需求進行模型規(guī)模模型種類數(shù)據(jù)吞吐量安全性與穩(wěn)定性推理需求推理需求訓練需求其他成本制約因素其他成本制約因素人員成本2023.082023.08根據(jù)英偉達財報，其數(shù)據(jù)中心的推理占比已經達到英偉達FY2024數(shù)據(jù)中心推理與訓練占比推理端根據(jù)英偉達財報，其數(shù)據(jù)中心的推理占比已經達到英偉達FY2024數(shù)據(jù)中心推理與訓練占比推理端訓練端AIGC模型在處理輸入和輸出時，其計算問成本降低了99%。具體來看，GPT-推理成本從2021年的每千Token0.06美元降至GPT-3.5Turbo的API推理成本與202GPT-4的價格變化2023年3月2023年11月2022-2027年中國AI服務器工作負載隨著推理成本的降低，推理端算力需求將持續(xù)擴大（2/2）未來AI應用推理的成本可能會遠超訓練。大模型訓練是階段性的需求，訓練數(shù)據(jù)通常是固定的，比如幾萬億、幾十萬億token的量級，且客戶集中度高。但模型推理成本下降是超級應用爆發(fā)的前提條件推理成本推理成本==xxPromptPrompt數(shù)量/生成Token成本成本/FLOP÷ModelModelFLOPsUtilizationChatGPT推理生成超1TTokens/天x訓練成本訓練成本訓練Tokens數(shù)量GPT3.5~2TTokensGPT4~10TTokens推理成本遠超訓練成本推理所需推理所需Token數(shù)遠超訓練所需Token數(shù)提高MFU，推理場景比訓練場景面臨更多技術挑戰(zhàn)推理算力未來可能爆發(fā)的示意圖算力消耗推理算力爆發(fā)訓練算力爆發(fā)AI推理成本推理算力未來可能爆發(fā)的示意圖算力消耗推理算力爆發(fā)訓練算力爆發(fā)AI推理成本當前AI應用需求正在發(fā)生變遷，大模型AI的算力資源選擇，需要結合自身部署能力及應用需求綜合考量?算力資源的維度不僅包括算力規(guī)模大小，要考慮算力部署及運營過程中可以利用的程度。算力是工程化結果，是從芯片到資源服務的多層次構造，需要算?不同需求程度的用戶不能唯算力的?芯片的選擇及適配??芯片的選擇及適配?智算硬件的選擇及適配?智算中心的選擇及適配?接入方式、算力調度、需求分配、彈性擴展、高效穩(wěn)定、算法優(yōu)化、通訊傳輸、第三方生態(tài)、故障排查、大模型相關數(shù)據(jù)及訓練工具包（生態(tài)）、模型的納管及生態(tài)合作、云邊端協(xié)同可按需適配資源及彈性適配，部署時間更快，可以選擇適配AIGC產品/服務的算力資源，減少對于AI算力環(huán)境優(yōu)化的時間及人力成本云服務?芯片的選擇及適配?智算硬件的選擇及適配?租戶管理、配額管理、運維管理、資源及作業(yè)調度管理、系統(tǒng)監(jiān)控、安全及穩(wěn)定★按需取用、靈活擴展、無需各IT系統(tǒng)的復雜運維，直接在完成優(yōu)化的環(huán)境下進行開發(fā)智算中心?芯片的選擇及適配?硬件選型及適配（如內存）、異構算力的調度及配合、網(wǎng)絡傳輸、軟件優(yōu)化、集群架構、環(huán)境優(yōu)化通過服務器等硬件完成自有算力的部署，環(huán)境調試，完成大量不同硬件設備的選型、優(yōu)化及穩(wěn)定性保障，需要具備成熟的項目案例經驗智算硬件需要從芯片層面解決工程問題，包括芯片互聯(lián)、構建網(wǎng)絡、適配從應用到硬件的環(huán)境，工作量大且繁雜，需要具備從0到1的經驗豐富的技術團隊支持云服務?芯片的選擇及適配?智算硬件的選擇及適配?租戶管理、配額管理、運維管理、資源及作業(yè)調度管理、系統(tǒng)監(jiān)控、安全及穩(wěn)定★按需取用、靈活擴展、無需各IT系統(tǒng)的復雜運維，直接在完成優(yōu)化的環(huán)境下進行開發(fā)智算中心?芯片的選擇及適配?硬件選型及適配（如內存）、異構算力的調度及配合、網(wǎng)絡傳輸、軟件優(yōu)化、集群架構、環(huán)境優(yōu)化通過服務器等硬件完成自有算力的部署，環(huán)境調試，完成大量不同硬件設備的選型、優(yōu)化及穩(wěn)定性保障，需要具備成熟的項目案例經驗智算硬件需要從芯片層面解決工程問題，包括芯片互聯(lián)、構建網(wǎng)絡、適配從應用到硬件的環(huán)境，工作量大且繁雜，需要具備從0到1的經驗豐富的技術團隊支持?內存/顯存、片內互聯(lián)及片間互聯(lián)、AI適配生態(tài)工具（包括適配算法及其他硬件）、物理環(huán)境支撐、折舊速率芯片?核心計算單元的算力參數(shù)?對應的運算精度?單元數(shù)量2023.12AI芯片是智算產業(yè)的核心環(huán)節(jié)，AI芯片未來發(fā)展空間巨大芯片作為算力產業(yè)的基石，為智能算法和應用提供了不可或缺的計算能力。在服務器成本中，核心芯片如GPU占據(jù)了超過80%的比重。掌握自主可控的AI芯片技術，對于智算產業(yè)的持續(xù)發(fā)展至關重要。隨著人工智能應用場景的不斷拓展，市場對高性能AI芯片的需求日益增長。同時，存算一體、光通信等前沿技術的突破，為AI芯片產業(yè)注入了強勁的增長動力。數(shù)據(jù)顯示，2023年中國AI芯片市場規(guī)模已達到約652億人民幣。預計到2026年，市場規(guī)模將顯著增長至1611億人民幣，AI芯片市場正迎來快速發(fā)展的黃金時期。圖1：服務器主要成本構成圖2：2020-2026年中國AI芯片市場規(guī)模（單位：億人民幣）0基礎服務器推理服務器機器學習服務器高性能服務器基礎服務器推理服務器機器學習服務器2023.12AI芯片成為中美科技博弈的焦點之一，AI芯片國產化刻不容緩在中美科技博弈的背景下，AI芯片的國產化既是技術發(fā)展的需求，也是國家戰(zhàn)略的一部分，對于提升國家的科技實力和產業(yè)競爭力具有重要作用。壁仞科技及其附屬關聯(lián)公司摩爾線程及其附屬關聯(lián)公司龍芯中科技術股份有限公司浪潮集團長江存儲科技有限責任公司寒武紀及其附屬關聯(lián)公司合肥兆芯電子有限公司長沙景嘉微電子股份有限公司新華三半導體技術有限公司杭州華瀾微電子股份有限公司深圳云天勵飛技術有限公司曙光信息產業(yè)股份有限公司華為及其附屬關聯(lián)公司圖1：近年美國對華半導體管制措施壁仞科技及其附屬關聯(lián)公司摩爾線程及其附屬關聯(lián)公司龍芯中科技術股份有限公司浪潮集團長江存儲科技有限責任公司寒武紀及其附屬關聯(lián)公司合肥兆芯電子有限公司長沙景嘉微電子股份有限公司新華三半導體技術有限公司杭州華瀾微電子股份有限公司深圳云天勵飛技術有限公司曙光信息產業(yè)股份有限公司華為及其附屬關聯(lián)公司2023.10美國商務部將壁仞科技、摩爾線程等公司列入實體名單。2023.03美國商務部將浪潮信息、龍芯中科等公司列入實體名單。2022.10BIS對中國實體超級計算機計算芯片和包含此類芯片的計算機商品的禁令，對收到許可證要求限制的外國生產項目的范圍擴大到實體名單上中國境內的28家現(xiàn)有實體；針對<=18nm的DRAM>=128層的NAND存儲芯片增加了新的許可證要求；限制美國人員在沒有許可證的情況下支持中國某些半導體制造設施的研發(fā)和集成電路的制造；將包括長江存儲、中國科學院大學等科研院校在內的31家實體列入未經核實名單（UVL)。2022.08美國通知英偉達向中國和俄羅斯出口A100和H100芯片需新的許可證要求。2022.08BIS公告美國準備對EDA等四項技術實行出口管制。2022.07美國半導體廠商收到美國商務部規(guī)定，要求不得向中國供應用于制造<=14nm芯片的設2022.07美國眾議院通過《芯片與科學法案》，主要內容包括：分5年提供527億美元用于半導體制造激勵計劃、研發(fā)投資、稅收抵免，其中美國芯片基金共500億美元，390億美元用于鼓勵半導體制造企業(yè)，110億美元補貼芯片研發(fā)；法案要求獲得補貼的半導體企業(yè)未來10年內不得在中國大陸新建或擴建先進制程的半導體工廠。2020.12中芯國際被納入實體名單，對用于<=10nm技術節(jié)點的產品或技術，美國商務部采取“推定拒絕”的審批政策進行審核。2019-20202019年5月，華為及69家附屬關聯(lián)公司被美國列入“實體名單”，2020年5月，BIS限制華為購買使用美國技術、軟件設計制造的半導體；2020年8月，BIS在實體清單中新增38家華為附屬公司，并修訂外國制造直接產品規(guī)則，進一步限制華為使用基于美國軟件/技術生產的半導體。2018.04美國商務部發(fā)布公告，在未來7年內禁止中興通訊向美國企業(yè)購買敏感產品。2023.12美國的限制措施為國產替代提供機遇，國產化進程迎來加速期在AI技術快速發(fā)展的背景下，AI芯片已成為美國政府卡中國脖子的新武器。自2018年以來，被美國列入“實體清單”的中國AI芯片企業(yè)持續(xù)增加。同時，美國聚焦于高算力芯片，限制英偉達、AMD等企業(yè)的GPU出口，試圖全面遏制我國AI產業(yè)發(fā)展。美國的限制措施激發(fā)了中國AI芯片產業(yè)的自主創(chuàng)新和研發(fā)，加速了國產替代的進程。中國企業(yè)面對外部壓力。加大研發(fā)投入，努力構建自主可控的產業(yè)鏈。被列入“實體清單”的AI芯片企業(yè)數(shù)量美國商務部工業(yè)和安全局對華高算力芯片出口限制通用半導體通信AIECCN3A090a:對包括中國在內的“D：5”國家（地區(qū)）“推定拒絕”∞ECCN3A090b:出口商必須在簽訂合同簽25天通知BIS，由BIS斟酌審查98776664向“實體清單”以通用半導體通信AIECCN3A090a:對包括中國在內的“D：5”國家（地區(qū)）“推定拒絕”∞ECCN3A090b:出口商必須在簽訂合同簽25天通知BIS，由BIS斟酌審查98776664向“實體清單”以外的企業(yè)出口無需提前申請531英特爾GPU英特爾GPU000222023.1222GPU占據(jù)AI芯片主導地位，推理需求加速CPU的使用2023年上半年，中國加速芯片的市場規(guī)模超過50萬張，GPU卡占有90%市場份額，非GPU卡占據(jù)10%市場份額。中國本土AI芯片品牌出貨量近5萬張，占整個市場的10%。2024年上半年，中國加速芯片市場規(guī)模超過90萬張。GPU卡占據(jù)80%市場份額，非GPU卡占據(jù)20%市場份額。中國本土AI芯片品牌出貨量近20萬張，約占整個市場的20%。圖2：國產芯片與NVIDIA性能差距正在縮小A100PCleAmpere達芬奇--達芬奇2023年H12023年H1-2024年H1中國AI芯片市場份額-達芬奇-壁立仞架構壁立仞架構- 數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結整理,2023.1223TPU具有更低功耗和專用特性，成為AI芯片的重要發(fā)展趨勢之一（1/2）GPU擁有高并行計算能力，適用于多種任務，但功耗和成本較高，在特定應用的優(yōu)化上不如FPGA和ASIC靈活。FPGA可以針對特定應用進行編程，以實現(xiàn)硬件級別的優(yōu)化，提供極高靈活性。但FPGA需要硬件描述語言（HDL）編程，比GPU編程更復雜和困難，開發(fā)周期較長。高性能FPGA的成本通常高于GPU，尤其是在大規(guī)模部署時。ASIC為特定應用定制，可以實現(xiàn)極高的性能和效率，且功耗通常低于GPU和FPGA。但ASIC一旦制造完成，就很難更改，這限制了其適應新算法或任務的能力。設計和制造周期較長。能效王者，TPU算力利用率較高發(fā)布機構算力產品能效王者，TPU算力利用率較高發(fā)布機構算力產品算力利用率（%）芯片類型定制化程度通用型定制化定制化靈活性好好不好高低編程語言/架構等Verilog/VHDL等//平均性能較高、功平均性能很強、功產品成熟耗較低、靈活性強耗很低、體積小主要缺點主要缺點功率不高、不可編輯、功耗高量產單價高、峰值計算能力較低、編程語言難度大前期投入成本高、不可編輯、研發(fā)時間長、技術風險大主要應用場景云端訓練、云端推理云端推理、終端推理云端推理、推斷推理、終端推理242023.1224TPU具有更低功耗和專用特性，成為AI芯片的重要發(fā)展趨勢之一（2/2）Trainingtimespeedup21.5-NVIDAA100(Availableon-prem)GoogleTPUv4(AvailableClaud)GoogleTPUv4(Research)1.37x10.50BERTTrainingtimespeedup21.5-NVIDAA100(Availableon-prem)GoogleTPUv4(AvailableClaud)GoogleTPUv4(Research)1.37x10.50BERTResNetDLRMRetinaNetMaskRCNN 1.82x1.67x1.15x提供具有成本效益的大規(guī)模提供具有成本效益的大規(guī)模支持AI模型的訓練支持大規(guī)模AI模型的訓練和推理GoogleTPU發(fā)展史TPUv1在內部上線推出Trillium，可靈活匹配不同AI模TPUv1在內部上線推出Trillium，可靈活匹配不同AI模型的訓練和推理需求推出支持服務器端AI訓練的TPU開始研發(fā)TPU開始研發(fā)TPUModeledcosttotrainon4096A10·Costtotrainon4096TPUv4chipsonGo0 數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結整理,2023.1225AI算力需求增長推動數(shù)據(jù)中心走向智算中心AI快速發(fā)展推動智能時代的到來，對算力的需求爆發(fā)式增長。傳統(tǒng)數(shù)據(jù)中心以CPU為核心，主要負責數(shù)據(jù)處理及應用承載，已無法滿足當前大規(guī)模并行計算的需求。因此，智算中心應運而生，專注于提供AI模型訓練和推理所需的高性能計算能力。智算中心以xPU為核心，單機柜功率密度達到20～100kW，耗電量大，在建設規(guī)劃時需重點考量地理位置、能源條件、算力規(guī)模、網(wǎng)絡能力、能耗問題等關鍵因素。圖1：傳統(tǒng)數(shù)據(jù)中心VS智算中心圖2：不同時期數(shù)據(jù)中心機柜的典型功率（單位：kW每機柜)得益于個人數(shù)字化的高速發(fā)展，互聯(lián)網(wǎng)行業(yè)的公有云及應用需求是拉得益于個人數(shù)字化的高速發(fā)展，互聯(lián)網(wǎng)行業(yè)的公有云及應用需求是拉采用馮·諾依曼的主從架構，面對大單機柜的功率密度通常在3～8千瓦之間，可裝載的服務器設備數(shù)量有限，算力密度相對較低，一般次啊主要承載企業(yè)級應用和數(shù)據(jù)存儲，如Web服務、數(shù)據(jù)庫管理和文件存AI降低編程門檻，迭代速度快，讓懂業(yè)務與懂編程的融合，開發(fā)出更AI模型訓練所需的大量矩陣運算。采用多元算力融合架構，利用異構計算與分布式系統(tǒng)，提供彈性、可伸縮擴展的算力聚合能力。單機柜功率密度通常在20～100千瓦之間，主要采用液冷或風液混合智能時代大數(shù)據(jù)時代主要承載AI模型的訓練與推理，高效提供算力資源，并支持大數(shù)據(jù)的智能時代大數(shù)據(jù)時代計算機時代2023.12智算中心能效水平日益提高，機架規(guī)模穩(wěn)步增長，算力集群上架率顯著提升我國大力推動智算中心建設，截至2024年6月，我國數(shù)據(jù)中心超過830萬標準機架，算力規(guī)模達246EFLOPS（FP32），智算同比增速超過65%。2022年，我國數(shù)據(jù)中心平均上架率為58%，華東、華北、華南地區(qū)上架率超過65%，西北、西南地區(qū)分別約為30%和40%。“東數(shù)西算”工程實施以來，算力集群的整體上架率快速提升，西部地區(qū)的算力規(guī)模增長顯著。在用算力中心平均PUE為1.48，與2022年的1.52相比有所改善。圖1：2023年中國數(shù)據(jù)中心機架規(guī)模（單位：萬個）圖2：中國在用算力中心圖1：2023年中國數(shù)據(jù)中心機架規(guī)模（單位：萬個）圖2：中國在用算力中心PUE值和林格爾和集寧集群和林格爾和集寧集群55%～60%00 數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結整理,2023.1227智能算力市場空間廣闊，全國加快智算中心建設2022年中國智能算力規(guī)模為259.9EFLOPS（基于FP16計算），預計2027年達到1117.4EFLOPS，五年復合增長率達33.9%。智算中心建設提速，數(shù)據(jù)顯示，2024年上半年，全國已經建設和正在建設的智算中心超過250個，招投標事件791起，已有超20個城市建設了智圖2：中國智算中心項目建設現(xiàn)狀圖1：2022-2027年中國智能算力規(guī)模及預測圖2：中國智算中心項目建設現(xiàn)狀（基于FP16計算，單位：EFLOPS)00項目數(shù)量占比項目投資規(guī)模項目地區(qū)分布主要應用領域大型智算百億元及以上京津冀、長三角、珠三角AI大模型、自動駕駛、空間地理等人工智能技術領域一線、新一線及二線城市人工智能產業(yè)鏈或細分行業(yè)智能化集群小型智算二線及以下城市企業(yè)智能化建設或小型人工智能產業(yè)集群282023.1228多種智算中心建設及運營模式并行，適配不同算力需求擁有全國布局的網(wǎng)絡基礎資源、數(shù)據(jù)中心資源和具備高標準等級的算力硬件和運維能力，為高性能算力和節(jié)能方案政府投資+企業(yè)運營運營運營投資政府或通過平臺公司投資建設智算中心。運營上由平臺公司運營，或引入第三方企業(yè)參與運營。該模式多適用于發(fā)達地區(qū)，本地有強算力需政策補貼自投自運政策補貼政府提供電力、土地等優(yōu)惠政策，如每年購買不少于2000萬算力補貼，連續(xù)購買5年投資聯(lián)合運營合資公司合資公司智算中心平臺公司投資建設智算中心企業(yè)與平臺公司或地方性國資企業(yè)成立合資公司，負責公司人、財、物管理，其他部門可采用外包等方式2023.12AI服務器需求激增，帶動市場規(guī)?？焖僭鲩LAI服務器是智能算力的重要載體，在全球范圍內迅速擴張。2023年，全球AI服務器市場規(guī)模突破500億美元，增幅高達95.8%，預計到2018年，市場規(guī)模有望突破1000億美元，五年的年復合增長率預計為14.5%。中國AI服務器在AI及智算產業(yè)的高速發(fā)展下持續(xù)攀升，從2020年的149億人民幣增長至2023年的692億人民幣。隨著AI應用的成熟和普及，市場對于AI服務器的需求預計繼續(xù)增長。預計到2028年，中國AI服務器的市場規(guī)模達到1433億人民幣。圖1：2020-2028年全球AI服務器的市場規(guī)模（單位：億美元）圖2：2020-2028年中國AI圖1：2020-2028年全球AI服務器的市場規(guī)模（單位：億美元）（單位：億人民幣）0 .0.0數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結整理,2023.12AI服務器出貨量快速增長響應下游應用需求AI服務器的出貨量從2020年的15萬臺激增至2023年的36萬臺，實現(xiàn)了顯著的增長。其中，訓練型服務器占據(jù)市場主體地位，但隨著生成式AI應用的發(fā)展，推理型服務器預計將逐漸成為市場主流互聯(lián)網(wǎng)行業(yè)在大模型訓練和推理方面處于領先地位，占據(jù)了AI服務器年出貨量的半壁江山。隨著垂直領域大模型在金融、能源、交通、教育、政務以及智能制造等行業(yè)的廣泛應用，對AI服務器等智能計算資源的需求預計將持續(xù)穩(wěn)步上升。圖1：2020-2028年中國AI服務器出貨量圖2：2020-2028年中國AI圖1：2020-2028年中國AI服務器出貨量（單位：萬臺）2023.12“云+AI”雙輪驅動，成為云廠商擴大AI算力投入與產出的新動力從投入端來看，2005-2023年，Amazon、Micosoft、Google及Meta四大云廠商資本開支整體呈現(xiàn)擴大趨勢。2005-2022年，海外云廠商資本開支的增長驅動是云計算業(yè)務（IaaS+PaaS+SaaS）的持續(xù)增長；進入2023年，云計算+AI成為新的雙輪引擎，云廠商通過加強AI算力建設來滿足大模型訓練及推理需求。從收入端來看，得益于MaaS服務帶動，Micosoft、Google、Amazon云收入增速自2023Q3逐步企穩(wěn)，2024Q1三家公司的云收入同比增速分別為31%、28%、17%。MaaS成為云廠商新的增長動力。圖1：AI成為推動海外云廠商資本開支增長的驅動力（單位：億美元）線上辦公需求增長云服務成熟企業(yè)上云加速MicrosoftGoogle正式推出云服務云服務初期AWS率先布局0生成式AI快速發(fā)展線上辦公需求增長云服務成熟企業(yè)上云加速MicrosoftGoogle正式推出云服務云服務初期AWS率先布局0生成式AI快速發(fā)展IaaSPaaSMaaSSaaSIaaSPaaSMaaSSaaS322023.1232AI驅動云計算市場迎來新一輪增長，加速產業(yè)格局重構縱觀整個行業(yè)，我國云計算市場展現(xiàn)出強勁的增長勢頭。2023年，我國云計算市場規(guī)模達6165億元，同比增長35.5%。隨著AI原生帶來的云計算技術革新和大模型規(guī)?；瘧弥鸩铰涞兀朴嬎惝a業(yè)預計將開啟新一輪增長周期。到2027年，市場規(guī)模有望達到21404億元，增長潛力巨大。在市場格局方面，阿里云、天翼云、移動云、華為云、騰訊云和聯(lián)通云六大云服務商共占據(jù)了我國公有云71.5%的市場份額。隨著AI應用的落地，中腰部廠商憑借創(chuàng)新技術與行業(yè)經驗在推動產業(yè)升級方面將發(fā)揮重要作用，云廠商競爭格局或將產生新變化。圖1：2021-2017年中國云計算市場規(guī)模及增速（單位：億人民幣，%）圖2：2023年中國公有云IaaS廠商占比天翼云移動云 華為云華為云a騰訊云a聯(lián)通云其他a聯(lián)通云其他00332023.1233云服務模式轉變，形成涵蓋基礎設施、模型平臺、應用生態(tài)的MaaS服務架構全球云廠商正在圍繞生成式AI重新布局MaaS服務架構，構建大模型端到端服務體系。以AI芯片為核心構建基礎設施，提供大模型訓練、推理所需的算力；利用模型平臺集成自研、第三方或開源大模型，支持應用開發(fā)；直面業(yè)務，將大模型深度賦能行業(yè)/場景，構建“AI+”創(chuàng)新生態(tài)。海內外云廠商在過往的基礎架構上圍繞AI構建新的創(chuàng)新生態(tài)MaaSMaaS模式基于傳統(tǒng)云服務的升級：基于傳統(tǒng)模式的IaaS及PaaS支撐的AI能力釋放用戶AI應用SaaSAzureAI文檔/視覺/語音用戶AI應用SaaSAzureAI文檔/視覺/語音CopilotRecommendationsAI商品推薦、TranslationAI翻譯、VedioAI視頻分類CodeWhispere編程助手SsupplyChain供應鏈助手、Connec聯(lián)絡中心、QuickSight報表從模型到應用從模型到應用基于公共網(wǎng)絡平臺的應用，單一平臺應用AI應用開發(fā)平臺BedrockAzureAIStudioAzureOpenAI服務AI應用開發(fā)平臺BedrockAzureAIStudioAzureOpenAI服務VertexAIAgentBuilder數(shù)據(jù)中心與模型API數(shù)據(jù)中心工具與模型部署和調用API 邊緣或端側應用提供基于本地邊緣或端側交互的應用接提供基服務方案其他模型MaaS接提供基服務方案其他模型MaaS商業(yè)化的預訓練模型，通過API調用開源模型共享平臺其他第三方開源模型基于預訓練模型的場景/產品適配GPT+Sora系列Claude3系列投資模型Claude3系列自研模型TitanGPT+Sora系列Claude3系列投資模型Claude3系列自研模型Titan系列Gemini系列WizardLM系列一般可免費試用PaaSBedrockAzureAI平臺模型平臺云服務算力層X86CPU+NVIDIAPaaSBedrockAzureAI平臺模型平臺云服務算力層X86CPU+NVIDIAGPUX86CPU+NVIDIAGPU芯片IaaS用于訓練或云部署的深度學習框架和中間件等，包括PyTorch、TensorFlowVertexAIPlatformX86CPU+NVIDIAGPUArmX86CPU+NVIDIAGPUArm架構CPUCobaltArm架構CPUGravitonArm架構CPUAxion訓練/推理芯片TPU訓練芯片Trainium訓練推理/芯片Maia訓練/推理芯片TPU訓練芯片Trainium訓練推理/芯片Maia}硬件推理芯片Inferentia硬件推理芯片Inferentia服務器、存儲、網(wǎng)絡等其他服務器、存儲、網(wǎng)絡等其他2023.12342023.1234云服務多重優(yōu)勢助力AI應用調研數(shù)據(jù)顯示，企業(yè)的大模型部署中72%的企業(yè)選擇的使用模型API服務，其中52%來自云廠商托管。由此可見，云服務商在模型購買中具有較大的影響力，企業(yè)出于安全考慮等因素會通過現(xiàn)有云服務商購買模型。Azure用戶更喜歡OpenAI，而Amazon用戶更喜歡Anthropic或Cohere。此外，使用AI云服務有諸多優(yōu)勢：按需付費，靈活調用資源，實現(xiàn)成本控制；推理服務可就近接入，實現(xiàn)低時延；滿足云、邊、端多樣化算力部署；提供了豐富的API和開發(fā)工具，使得開發(fā)者可以快速開發(fā)和部署新應用等。云服務商（如Amazon） 圖1：云在模型購買決定中具有較大影響力圖2：云服務的優(yōu)勢云服務商（如Amazon） 按需付費，即刻按需付費，即刻交付自建數(shù)據(jù)中心總耗時3個月以上1.5月左右招標1月左右硬件安裝軟件調試1.5月左右招標1月左右硬件安裝軟件調試0.5月0.25月業(yè)務割接驗收交付流程零0.5月0.25月1.5月左右零0.5月0.25月云服務云服務分鐘級資源開通上線就就近接入，超低時延352023.1235針對生成式AI的算力解決方案可提升企業(yè)及產業(yè)AI落地效率從而降低企業(yè)在硬件設備上的投入成本。同時，智算集群的從而降低企業(yè)在硬件設備上的投入成本。同時，智算集群的自動化管理和維護功能，可以減少企業(yè)在IT設備維護方面的人通過資源整合技術，將分散算力池化管理，依據(jù)不同應用需求靈活調度，極大提高了資源利用率。這種管理方式使得無論是深度學習模型智算中心都能展現(xiàn)出其不可或缺的作用。通過高效計算和分析能力，企業(yè)可以更快地利用通過高效計算和分析能力，企業(yè)可以更快地利用AI響應市場需求變化，搶占市場先機。降低初始門檻，加速產品的研發(fā)對于優(yōu)勢型產業(yè)集群，AI集群管理通過構建區(qū)域行業(yè)云的價值分析數(shù)字化底座，提供行業(yè)特定能力的平臺和應用，服務區(qū)域價值分析通過優(yōu)化調度算法和資源管理系統(tǒng)，實現(xiàn)了智能與通用算力資源的高效協(xié)同，實現(xiàn)了綠色算力的區(qū)域發(fā)展，協(xié)同賦能產業(yè)綠通過優(yōu)化調度算法和資源管理系統(tǒng)，實現(xiàn)了智能與通用算力資源的高效協(xié)同，實現(xiàn)了綠色算力的區(qū)域發(fā)展，協(xié)同賦能產業(yè)綠色低碳轉型幫助企業(yè)探索新的商業(yè)模式，通過生成式AI技術，挖掘出更多的商業(yè)機會和市場空間。此外，高效的智算集群為企業(yè)提供了強大的創(chuàng)新平彩訊股份AI原生云計算解決方案AICloud，集合了下一代AI原生云計算網(wǎng)絡架構、超大規(guī)模算力集群管理平臺、高性能大模型訓推平臺三層架快速構建大規(guī)模算力集群、部署運營專屬大模型?；诖朔桨?，GPU集群峰值 37AI算力服務商市場變化：產品及服務復雜性提升，推動市場多樣性發(fā)展各省市智算中心trixFusioNsu智算服務平臺纂ongsysx各省市智算中心trixFusioNsu智算服務平臺纂ongsysx…說明：文中的智算服務平臺一般指為解決算力調度、管理、資源匹配及性能優(yōu)化的一類型解決方案提供商，可根據(jù)用戶需求提供多類型、不同交付模式的解決方案。*分類及企業(yè)數(shù)據(jù)截至2024年12月，隨著AI在多場景、多領域的不斷應用，將不斷推38數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結整理,2023.12重點廠商產品及服務能力分析——博大數(shù)據(jù)競爭優(yōu)勢2競爭優(yōu)勢2打造最佳TCO 》 算力基礎設施及服務算力及運維服務：基于自建的智算中心，為客戶設計和建造智算中心、銷售和租賃算力設備、提供算力租賃服務、優(yōu)化算力網(wǎng)絡。同時通過AI賦能針對所有數(shù)據(jù)中心客戶提供監(jiān)控、巡檢、IT運維和 機房改造服務。自有資源量身定制工程化交付+預制化交付提質增效核心能力公司簡介：博大數(shù)據(jù)作為領先的融合算力基礎設施服務商，核心團隊擁有超過20年的行業(yè)運營管理經驗，積累了豐富的通用能算力及邊緣算力資源，并具有強大的算力建設能力、平臺服務能力以及算力運營能力，致力于打造一體化數(shù)據(jù)與算力融合的數(shù)博大數(shù)據(jù)已在全國范圍內部署了以北京、上海、廣州、深圳、成都、武漢為核心的環(huán)首都、長江經濟帶、粵港澳大灣區(qū)及成超大規(guī)模算力基礎設施集群，其總面積超過30萬平方米，擁力企業(yè)核心與邊緣形態(tài)共存的算力集群演變。此外，博大數(shù)據(jù)積極進行國際化布局，不斷通過資源整合打造全球數(shù)字生態(tài)，》一是擁有傳統(tǒng)數(shù)據(jù)中心、大型智算中心和邊緣智算中心，可以滿足客戶通用算力、智能算力和邊緣算力的需求；二是國內業(yè)務與國際業(yè)務的融合，擁有全球化經驗；三是生態(tài)合作的融合，能夠同時支持多種GPU服務器。博大數(shù)據(jù)通過搭建智算算力平臺、進行技術創(chuàng)新，依托高彈性、高管理、高可靠、高算力、高能效、高安全的六大智算理念，為客戶降低TCO。》綜合采用液冷、蒸發(fā)冷熱管系統(tǒng)、電力模塊、光伏、余熱回收等技術，降低PUE，提升效能，提升算力供應能力?！窊碛?00余名專業(yè)運維人員，核心團隊經驗豐富，熟知行業(yè)規(guī)范。依托全國15個數(shù)據(jù)中心，形成互補互備網(wǎng)絡，應急響應迅速。博大數(shù)據(jù)已服務超過2000家優(yōu)質客戶，》一是擁有傳統(tǒng)數(shù)據(jù)中心、大型智算中心和邊緣智算中心，可以滿足客戶通用算力、智能算力和邊緣算力的需求；二是國內業(yè)務與國際業(yè)務的融合，擁有全球化經驗；三是生態(tài)合作的融合，能夠同時支持多種GPU服務器。博大數(shù)據(jù)通過搭建智算算力平臺、進行技術創(chuàng)新，依托高彈性、高管理、高可靠、高算力、高能效、高安全的六大智算理念，為客戶降低TCO?！肪C合采用液冷、蒸發(fā)冷熱管系統(tǒng)、電力模塊、光伏、余熱回收等技術，降低PUE，提升效能，提升算力供應能力。》擁有500余名專業(yè)運維人員，核心團隊經驗豐富，熟知行業(yè)規(guī)范。依托全國15個數(shù)據(jù)中心，形成互補互備網(wǎng)絡，應急響應迅速。博大數(shù)據(jù)已服務超過2000家優(yōu)質客戶，涵蓋金融、互聯(lián)網(wǎng)、云廠家、游戲等多個行業(yè)。基礎服務：遵循模塊化設計理念設計并建造超大規(guī)模算力中心，展現(xiàn)出極高的靈活性和可擴展性，配備有定制化的機電和制冷設備，為客戶提供安全可靠且具備容錯能力的數(shù)據(jù)中心環(huán)境。連接類服務：算力中心通過全光網(wǎng)絡連接所有主流運營商，并與領先的云計算公司和互聯(lián)網(wǎng)公司互聯(lián)互通，幫助客戶快速建設算力中心、云和客戶辦公室之間的高速互聯(lián)網(wǎng)絡。增值服務及解決方案：為客戶提供災備、云遷移、安全等增值服務，構建服務生態(tài)，推動產業(yè)數(shù)字化；根據(jù)各行業(yè)客戶需求為其量身定制上云下云、數(shù)字韌性、數(shù)據(jù)安全等解決方案。>>共有資源客戶資源心臺樹立智算中心產業(yè)標桿，讓澎湃算力觸手可及，助力產業(yè)轉型升級項目背景：博大數(shù)據(jù)與恒為科技合作，在前海智算中心建立了“恒為智云·前海智算中心”，旨在為粵算中心”是廣東省第一個由民企投資、民企運營的華為昇騰集群，也是第一個支持深圳上海兩地實現(xiàn)大帶寬低延時專網(wǎng)打通計算資源的華為昇騰集群。該算力集群面向大灣區(qū)用戶，輻射全國，為各行各業(yè)的數(shù)智升級博大數(shù)據(jù)深圳前海智算中心基礎設施投資20億元，總面積超過5萬平方米，并支持高功率深度定制，整體按照國家A級標準建設，一期可支持算力規(guī)