邁向智能世界白皮書(shū)2024-計(jì)算-華為

邁向智能世界白皮書(shū)2024加速原生創(chuàng)新，共贏數(shù)智未來(lái)01010011構(gòu)建萬(wàn)物互聯(lián)的智能世界l趨勢(shì)—:Al成為對(duì)行業(yè)影響最大的技術(shù)，算力是Al發(fā)展關(guān)鍵驅(qū)動(dòng)力2ScalingLaw延續(xù)，智算集群突破算力瓶頸，支撐大模型發(fā)展操作系統(tǒng)面向Al演進(jìn)，使能異構(gòu)算力融合，賦能Al高效運(yùn)行ARM逐步成為數(shù)字基礎(chǔ)設(shè)施算力主流選擇Al成為對(duì)行業(yè)影響最大的技術(shù)，算力是Al發(fā)展關(guān)鍵驅(qū)動(dòng)力3?趨勢(shì)—:Al成為對(duì)行業(yè)影響最大的技術(shù)，算力是AI發(fā)展關(guān)鍵驅(qū)動(dòng)力人工智能走深向?qū)?，技術(shù)進(jìn)步正推動(dòng)各行各業(yè)智能化的不斷深化·Al進(jìn)入大模型時(shí)代，模型規(guī)模、序列長(zhǎng)度、多模態(tài)等快速發(fā)展，同時(shí)，AIAgent,RAG、SFT、COT等技術(shù)大幅改善AI幻覺(jué)、邏輯錯(cuò)誤等問(wèn)題，LM的準(zhǔn)確度已達(dá)91%以上，基本達(dá)到企業(yè)使用標(biāo)準(zhǔn)?！ご竽Ｐ屯评響?yīng)用爆發(fā)增長(zhǎng)，從2023年6月到2024年6月，全球AIAPP用戶數(shù)從1.35億增長(zhǎng)到2.33億。Al的使用費(fèi)用也在大幅下降，一年時(shí)間內(nèi)推理市場(chǎng)價(jià)格平均降低10倍以上，逐步滿足企業(yè)落地的經(jīng)濟(jì)性?！じ餍袠I(yè)的A應(yīng)用目前主要集中在產(chǎn)品開(kāi)發(fā)、營(yíng)銷(xiāo)、業(yè)務(wù)運(yùn)營(yíng)等三個(gè)環(huán)節(jié)，企業(yè)最少一個(gè)業(yè)務(wù)功能采用A的比例從2023年的55%大幅增大到2024年的72%。Garner的是對(duì)其行業(yè)影響最大的技術(shù)。技術(shù)和經(jīng)濟(jì)性的提升，推動(dòng)了Al加速走向行業(yè)LLM準(zhǔn)確度大幅提升，基本滿足企業(yè)需求Al使用費(fèi)用快速降低，滿足企業(yè)落地經(jīng)濟(jì)性RAG、SFT、Alagents、思維鏈等技術(shù)全球AI用戶數(shù)已上升至2.3億Sources:GenerativeAICommercializationWhitePaper,TenTrendsinAIGCApAl技術(shù)進(jìn)步推動(dòng)各行各業(yè)智能化的不斷深化全行業(yè)醫(yī)療保健與制藥制造人力資源營(yíng)銷(xiāo)產(chǎn)品開(kāi)發(fā)業(yè)務(wù)運(yùn)營(yíng)風(fēng)險(xiǎn)管理供應(yīng)鏈管理戰(zhàn)略和財(cái)務(wù)4?趨勢(shì)—:Al成為對(duì)行業(yè)影響最大的技術(shù)，算力是AI發(fā)展關(guān)鍵驅(qū)動(dòng)力Al技術(shù)提升及應(yīng)用普及，驅(qū)動(dòng)訓(xùn)練&推理算力的增長(zhǎng)與演進(jìn)·AI大模型從LM到MOE、多模態(tài)，并與強(qiáng)化學(xué)習(xí)結(jié)合，進(jìn)一步提升邏輯任務(wù)能力。同時(shí)，伴隨著合成數(shù)據(jù)、超長(zhǎng)序列及模態(tài)混合等技術(shù)的演進(jìn)，模型能力將由傳統(tǒng)的數(shù)據(jù)驅(qū)動(dòng)轉(zhuǎn)變?yōu)樗懔︱?qū)動(dòng)，對(duì)算力提出更高要求，需要突破大帶寬高效互聯(lián)、計(jì)算融合與并行、高負(fù)荷穩(wěn)定運(yùn)行等能力，來(lái)提升有效算力，持續(xù)滿足未來(lái)訓(xùn)練算力需求?！ね评響?yīng)用也從記憶生成走向了思考、理解。OpenAlo1基于思維鏈COT、Token級(jí)別獎(jiǎng)勵(lì)強(qiáng)化學(xué)習(xí)等新技術(shù)，讓A展現(xiàn)了“理科生”的邏輯推理能力，而新技術(shù)中更多的token處理也帶來(lái)了更多的計(jì)算和內(nèi)存需求，提升了模型的推理算力需求。需要通過(guò)算力的彈性擴(kuò)容滿足模型規(guī)模的演進(jìn)，通過(guò)計(jì)算、內(nèi)存均衡技術(shù)提升有效吞吐，降低每token的推理成本，促進(jìn)推理應(yīng)用的更廣泛普及。人工智能技術(shù)及能力躍遷式發(fā)展，對(duì)訓(xùn)練及推理提出更高挑戰(zhàn)5大模型技術(shù)從LLM到LLM+強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)算力需求指數(shù)級(jí)增長(zhǎng)，有效算力需要持續(xù)提升訓(xùn)練所需算力有效算力Baichuan、ChatGLM...大模型能力從記憶生成走向思考理解抬升模型推理成本，落地經(jīng)濟(jì)性面臨挑戰(zhàn)本本OpenAIo1.:思維鏈CoTSora、GPT-40...Token/句子級(jí)別獎(jiǎng)勵(lì)、DLRM、DIEN..昇騰打造開(kāi)放領(lǐng)先的AI基礎(chǔ)軟硬件平臺(tái)，成為中國(guó)智能化升級(jí)的可靠算力底座，走向原生驅(qū)動(dòng)2模型開(kāi)發(fā)場(chǎng)景2模型開(kāi)發(fā)場(chǎng)景昇騰原生開(kāi)發(fā)一套開(kāi)發(fā)體系一套開(kāi)發(fā)體系，三種開(kāi)發(fā)場(chǎng)景多路徑使能大模型創(chuàng)新一套開(kāi)發(fā)體系，三種開(kāi)發(fā)場(chǎng)景多路徑使能大模型創(chuàng)新6ScalingLaw延續(xù)，智算集群突破算力瓶頸，支撐大模型發(fā)展7延續(xù)，智算集群突破算力瓶頸，支撐大模型發(fā)展大模型走向十萬(wàn)億參數(shù)，智算集群跨域協(xié)同，支撐模型高效長(zhǎng)穩(wěn)訓(xùn)練當(dāng)前領(lǐng)先的主流大模型參數(shù)已經(jīng)突破萬(wàn)億，正向10萬(wàn)億參數(shù)邁進(jìn)。大模型能力上限尚未觸及，ScalingLaw依然有效。模型參數(shù)的指數(shù)級(jí)提升，對(duì)算力、網(wǎng)絡(luò)和存儲(chǔ)的需求也成指數(shù)級(jí)提升。相比2018年發(fā)布的GPT1使用的算力，超萬(wàn)億參數(shù)大模型的算力規(guī)模從PFLOPS級(jí)提升干倍至EFLOPS級(jí)；節(jié)點(diǎn)內(nèi)卡間互聯(lián)的網(wǎng)絡(luò)轉(zhuǎn)變?yōu)槌?jié)點(diǎn)間的超高速網(wǎng)絡(luò)互聯(lián)；存儲(chǔ)也從服務(wù)器硬盤(pán)中的TB級(jí)存儲(chǔ)提升千倍，使用多級(jí)高并發(fā)的PB級(jí)存儲(chǔ)。大模型訓(xùn)練特征是單一任務(wù)高并行高同步、計(jì)算&通信密集、長(zhǎng)期滿負(fù)荷運(yùn)行，以服務(wù)器堆疊的方式來(lái)已無(wú)法滿足需求，智算集群將整集群作為一臺(tái)計(jì)算機(jī)來(lái)定義與設(shè)計(jì)，通過(guò)算網(wǎng)協(xié)同、算存協(xié)同等跨域協(xié)同技術(shù)，滿足算力規(guī)模增長(zhǎng)需求；同時(shí)通過(guò)高可靠的器件和系統(tǒng)工程設(shè)計(jì)，以及統(tǒng)一的運(yùn)管平臺(tái)，實(shí)現(xiàn)集群復(fù)雜系統(tǒng)的長(zhǎng)穩(wěn)工作，以及故障的及時(shí)恢復(fù)。大模型走向十萬(wàn)億參數(shù)，帶來(lái)計(jì)算/網(wǎng)絡(luò)/存儲(chǔ)新需求智算集群以通過(guò)算存網(wǎng)等跨域協(xié)同，突破算力瓶頸億級(jí)參數(shù)十萬(wàn)億參數(shù)億級(jí)參數(shù)整集群作為一臺(tái)計(jì)算機(jī)來(lái)定義與設(shè)計(jì)整集群作為一臺(tái)計(jì)算機(jī)來(lái)定義與設(shè)計(jì)PF級(jí)平臺(tái)單服務(wù)器節(jié)點(diǎn)內(nèi)卡間互聯(lián)TBPF級(jí)平臺(tái)單服務(wù)器節(jié)點(diǎn)內(nèi)卡間互聯(lián)TB級(jí)存取服務(wù)器硬盤(pán)算力需求網(wǎng)絡(luò)需求Al集群網(wǎng)絡(luò)存儲(chǔ)PB集群：由算、存、網(wǎng)、光、管構(gòu)成的整體系統(tǒng)，協(xié)同工作實(shí)現(xiàn)負(fù)載親和8?趨勢(shì)二：ScalingLaw延續(xù)，智算集群基于超節(jié)點(diǎn)設(shè)計(jì)，通過(guò)系統(tǒng)工程能力，可突破ScaleUp物理節(jié)點(diǎn)計(jì)算瓶頸，讓成百上千個(gè)NPU以TB級(jí)帶寬超高速互聯(lián)、內(nèi)存統(tǒng)一編址，就像一個(gè)節(jié)點(diǎn)一樣高效工作。在超節(jié)點(diǎn)基礎(chǔ)之上，針對(duì)大模型訓(xùn)練的負(fù)載特征，自上而下設(shè)計(jì)AI原生的智算集群，通過(guò)算、網(wǎng)、存等跨域技術(shù)協(xié)同(如NSLB負(fù)載均衡，NDS直通計(jì)算，MRP多層聯(lián)動(dòng)防護(hù)),進(jìn)一步提升ScaleOut的集群計(jì)算效率和可靠性。通過(guò)高可靠性系統(tǒng)工程設(shè)計(jì)，如負(fù)載感知的精準(zhǔn)液冷、網(wǎng)絡(luò)設(shè)備亞毫秒級(jí)故障感知、集群級(jí)可靠性仿真預(yù)測(cè)等，平均無(wú)故障運(yùn)行時(shí)長(zhǎng)從幾小時(shí)提升到幾天，大幅提升訓(xùn)練效率，讓大模型訓(xùn)練變的更快、更簡(jiǎn)單。ScaleUp:超節(jié)點(diǎn)架構(gòu)突破計(jì)算瓶頸ScaleOut:跨域協(xié)同提升集群計(jì)算效率持續(xù)構(gòu)筑更高效、更可靠的智算集群傳統(tǒng)節(jié)點(diǎn)架構(gòu)可司超節(jié)點(diǎn)架構(gòu)9延續(xù)，智算集群突破算力瓶頸，支撐大模型發(fā)展集群級(jí)統(tǒng)一運(yùn)管平臺(tái)，定義集群管理平臺(tái)標(biāo)準(zhǔn)，實(shí)現(xiàn)集群復(fù)雜系統(tǒng)的長(zhǎng)穩(wěn)運(yùn)行集群能否長(zhǎng)穩(wěn)運(yùn)行，不僅依賴高質(zhì)量硬件和先進(jìn)的架構(gòu)，也與設(shè)備運(yùn)維管理關(guān)系密切。集群級(jí)的統(tǒng)一運(yùn)管平臺(tái)可改變當(dāng)前運(yùn)維管理多域分治、互不相通的不足，重新定義大規(guī)模集群運(yùn)維管理的標(biāo)準(zhǔn)，完成跨域故障快速定位恢復(fù)，實(shí)現(xiàn)集群復(fù)雜系統(tǒng)的長(zhǎng)穩(wěn)運(yùn)行。分鐘定位。可快速對(duì)接自有運(yùn)維系統(tǒng)。，及時(shí)感知亞健康模塊，提前預(yù)防核心器件失效，讓集群告別慢節(jié)點(diǎn)慢網(wǎng)絡(luò)，可長(zhǎng)時(shí)間穩(wěn)定運(yùn)行。立體維優(yōu)：算、網(wǎng)、存跨域全棧管理After全域統(tǒng)管首個(gè)集群級(jí)全域統(tǒng)管單域分管全量納管：億級(jí)器件集群復(fù)雜度管理主動(dòng)預(yù)防：故障提前預(yù)測(cè)+亞健康感知事前預(yù)防事前預(yù)防操作系統(tǒng)面向Al演進(jìn)，使能異構(gòu)算力融合，賦能Al高效運(yùn)行?趨勢(shì)三：操作系統(tǒng)面向Al演進(jìn)，使能異構(gòu)算力融合，賦能Al高效運(yùn)行·AlforOS:A賦能操作系統(tǒng)更智能。操作系統(tǒng)通過(guò)基礎(chǔ)A大模型，基于大量操作系統(tǒng)自身代碼和數(shù)據(jù)，訓(xùn)練出操作系統(tǒng)自身的助手模型，實(shí)現(xiàn)代碼輔助生成、問(wèn)題智能分析、系統(tǒng)輔助運(yùn)維等功能，讓操作系統(tǒng)更智能?！SforAl:操作系統(tǒng)使能A/更高效。操作系統(tǒng)通過(guò)異構(gòu)資源統(tǒng)一管理和調(diào)度，實(shí)現(xiàn)CPU和XPU的深度融合，以更全局、更均衡和更精細(xì)化的視角統(tǒng)籌內(nèi)存和算力，充分挖掘空閑資源，提升有效利用率，進(jìn)而提升Al訓(xùn)練和推理性能?！っ嫦蛑悄芗铀?、數(shù)智融合的趨勢(shì)，openEuler面向A演進(jìn)，致力于打造成為數(shù)智基礎(chǔ)設(shè)施最佳開(kāi)源操作系統(tǒng)。南向使能異構(gòu)算力融合，提升算力使用效率；北向助力更穩(wěn)定的模型訓(xùn)練和更高的推理性能。操作系統(tǒng)面向Al持續(xù)創(chuàng)新openEuler:面向數(shù)智基礎(chǔ)設(shè)施的開(kāi)源操作系統(tǒng)大模型訓(xùn)練+大模型推理使能訓(xùn)練推理高效運(yùn)行使能訓(xùn)練推理高效運(yùn)行通算智算異構(gòu)融合邊緣計(jì)算嵌入式邊緣計(jì)算00智算服務(wù)器通算服務(wù)器智算服務(wù)器?趨勢(shì)三：操作系統(tǒng)面向Al演進(jìn)，使能異構(gòu)算力融合，賦能Al高效運(yùn)行openEuler持續(xù)創(chuàng)新，使能通算智算異構(gòu)算力融合，賦能Al高效運(yùn)行·使能異構(gòu)算力融合：伴隨超節(jié)點(diǎn)和集群架構(gòu)的興起，操作系統(tǒng)在資源管理和調(diào)度上的能力變得尤為重要。openEuler協(xié)同互聯(lián)總線，實(shí)現(xiàn)內(nèi)核統(tǒng)一抽象、統(tǒng)一編址和語(yǔ)義直接訪問(wèn)，通過(guò)低時(shí)延調(diào)度器實(shí)現(xiàn)跨節(jié)點(diǎn)資源的微秒級(jí)訪問(wèn)，結(jié)合異構(gòu)資源池化能力，實(shí)現(xiàn)業(yè)務(wù)負(fù)載與資源的動(dòng)態(tài)配比，使能計(jì)算系統(tǒng)從局部最優(yōu)到全局實(shí)時(shí)最優(yōu)。·賦能A高效運(yùn)行：面向Ai訓(xùn)練，openEuler通過(guò)鏡像數(shù)據(jù)塊級(jí)別的按需加載，大幅縮短任務(wù)冷啟動(dòng)時(shí)間；通過(guò)升級(jí)的設(shè)備健康監(jiān)測(cè)算法，提前發(fā)現(xiàn)亞健康節(jié)點(diǎn)。面向AI基于互聯(lián)總線的openEulerOS內(nèi)核創(chuàng)新集群資源動(dòng)態(tài)調(diào)整超節(jié)點(diǎn)鯤鵬昇騰協(xié)同使能異構(gòu)算力融合賦能Al高效運(yùn)行動(dòng)態(tài)內(nèi)存碎片整理原生接口支持多級(jí)緩存池容器冷啟動(dòng)在線檢測(cè)+健康度分析故障檢測(cè)精度?趨勢(shì)三：操作系統(tǒng)面向Al演進(jìn)，使能異構(gòu)算力融合，賦能Al高效運(yùn)行·openEuler開(kāi)源5年，實(shí)現(xiàn)了跨越式發(fā)展。根據(jù)IDC報(bào)告，2023年中國(guó)新增市場(chǎng)份額占比36.8%,排名第一。并在技術(shù)創(chuàng)新、行業(yè)應(yīng)用、產(chǎn)業(yè)生態(tài)建立了完善的發(fā)展體系，形成了正循環(huán)。社區(qū)匯聚了從處理器、操作系統(tǒng)、數(shù)據(jù)庫(kù)、行業(yè)應(yīng)用等全產(chǎn)業(yè)鏈超過(guò)1800家企業(yè)成員，社區(qū)開(kāi)源貢獻(xiàn)者超過(guò)20,000位，為社區(qū)發(fā)展不斷努力?！penEuler-直致力于打造國(guó)際化的開(kāi)源協(xié)作平臺(tái)，匯聚全球開(kāi)源力量，為世界開(kāi)源貢獻(xiàn)中國(guó)智慧。在技術(shù)生態(tài)方面，openEuler始終堅(jiān)持UpstreamFirst原則，與國(guó)際主流基金會(huì)深度合作，已支持了全球98%的主流開(kāi)源軟件；更進(jìn)一步，歐拉已經(jīng)作為持續(xù)集成的操作系統(tǒng)，進(jìn)入云原生、大數(shù)據(jù)、存儲(chǔ)、數(shù)據(jù)庫(kù)、HPC等開(kāi)源社區(qū)，實(shí)現(xiàn)了上游歐拉原生支持，開(kāi)箱即用。累計(jì)部署850萬(wàn)+套，中國(guó)服務(wù)器OS市場(chǎng)份額第一聯(lián)接全球主流開(kāi)源基金會(huì)，全球98%的主流開(kāi)源軟件原生支持1800+社區(qū)企業(yè)全球鏡像覆蓋國(guó)家和地區(qū)海外開(kāi)發(fā)者全球下載量ARM算力從端側(cè)延伸至服務(wù)器市場(chǎng)，中國(guó)市場(chǎng)ARM系服務(wù)器占比超過(guò)15%·隨著自動(dòng)駕駛，云游戲等應(yīng)用興起，數(shù)據(jù)中心側(cè)，傳統(tǒng)單一架構(gòu)難以滿足要求，端-邊-云協(xié)同成為趨勢(shì)，ARM算力是從最初的端側(cè)起步，目前在端側(cè)擁有95%以上絕對(duì)優(yōu)勢(shì)。隨著多樣性算力發(fā)展，ARM進(jìn)入算力更高的服務(wù)器領(lǐng)域，基于協(xié)同趨勢(shì)表現(xiàn)出顯著的優(yōu)勢(shì)，當(dāng)前在云/數(shù)據(jù)中心場(chǎng)景已逐步成為主流?！RM在服務(wù)器市場(chǎng)的總算力占比穩(wěn)步提升，ARM服務(wù)器市場(chǎng)份額不斷提升，截止2024年Q2,中國(guó)市場(chǎng)ARM系服務(wù)器(以鯤鵬為主)占比已經(jīng)超過(guò)15%。ARM架構(gòu)服務(wù)器已逐步成為通用計(jì)算領(lǐng)域新的選擇，助力各行各業(yè)數(shù)字化轉(zhuǎn)型。ARM在端側(cè)已經(jīng)占據(jù)超過(guò)90%份額ARM在云/數(shù)據(jù)中心逐步成為主流中國(guó)市場(chǎng)ARM系服務(wù)器出貨量占比超15%以鯤鵬為代表的ARM路線，生態(tài)逐步完善，全面服務(wù)各行業(yè)核心場(chǎng)景·鯤鵬計(jì)算產(chǎn)業(yè)從2019年發(fā)展至今，聚焦基礎(chǔ)軟硬件根技術(shù)創(chuàng)新，堅(jiān)定“硬件開(kāi)放、軟件開(kāi)源、使能伙伴、發(fā)展人才”的戰(zhàn)略，已基本構(gòu)建覆蓋從基礎(chǔ)硬件、基礎(chǔ)軟件、行業(yè)應(yīng)用，以及開(kāi)發(fā)套件和工具鏈的完整產(chǎn)業(yè)生態(tài)?！つ壳?，在全球鯤鵬計(jì)算產(chǎn)業(yè)伙伴的共同努力下，已發(fā)展5500+合作伙伴，共推出16500+鯤鵬聯(lián)合解決方案，并已經(jīng)構(gòu)筑了完整的基礎(chǔ)軟硬件生態(tài)和人才發(fā)展體系，發(fā)展了320萬(wàn)+鯤鵬開(kāi)發(fā)者，并在政府、金融、運(yùn)營(yíng)商、電力、能源、教育、醫(yī)療等各個(gè)行業(yè)實(shí)現(xiàn)了大規(guī)模的商用落地。全面服務(wù)各行業(yè)核心場(chǎng)景鯤鵬基礎(chǔ)軟硬件平臺(tái)生態(tài)共建，合作共贏全面服務(wù)各行業(yè)核心場(chǎng)景鯤鵬基礎(chǔ)軟硬件平臺(tái)生態(tài)共建，合作共贏極致性能，極簡(jiǎn)開(kāi)發(fā)硬件踐行伙伴優(yōu)先，使能商業(yè)成功openEuler2023年中國(guó)新增服務(wù)器OS市場(chǎng)份額36.8%成為核心技術(shù)路線國(guó)計(jì)民生行業(yè)國(guó)計(jì)民生行業(yè)鯤鵬從“遷移適配”走向“原生開(kāi)發(fā)”,2025年將超過(guò)1000+伙伴實(shí)現(xiàn)鯤鵬原生應(yīng)用開(kāi)發(fā)·鯤鵬從“遷移適配”走向“原生開(kāi)發(fā)”,通過(guò)原生開(kāi)發(fā)，提高客戶與伙伴多技術(shù)路線開(kāi)發(fā)效率，提升應(yīng)用性能?！ぴ谄髽I(yè)原有CVCD流水線中，通過(guò)組件化封裝的鯤鵬Devkit、Boostkit、openEuler的各類原生開(kāi)發(fā)工具(鯤鵬場(chǎng)景化SDK、畢異編譯器、調(diào)優(yōu)診斷工具等),實(shí)現(xiàn)“一次編碼，多路線適配”,即一次開(kāi)發(fā)即可上線ARM、x86等不同平臺(tái)版本軟件，讓客戶和伙伴不再維護(hù)多平臺(tái)開(kāi)發(fā)團(tuán)隊(duì)，版本迭代效率提升30%。鯤鵬WAAS可動(dòng)態(tài)感知業(yè)務(wù)負(fù)載，自動(dòng)調(diào)參，自動(dòng)調(diào)用最優(yōu)加速庫(kù)，典型場(chǎng)景業(yè)務(wù)性能提升10%-30%。·截至2024年9月，已有200多家頭部伙伴實(shí)現(xiàn)鯤