益企研究院-2023新型算力中心調(diào)研報(bào)告：算力經(jīng)濟(jì)時(shí)代·數(shù)字中國(guó)萬(wàn)里行

InfiniBand擴(kuò)大規(guī)模），力網(wǎng)和東數(shù)西算。在《算力經(jīng)濟(jì)時(shí)代·數(shù)字中國(guó)萬(wàn)里行2023新型算力1、從洞察算力到提出“算力經(jīng)濟(jì)”I22018年，有了“算力”這個(gè)名詞后，這一問(wèn)題出現(xiàn)了轉(zhuǎn)折點(diǎn)。起初算I4綜上所述，圍繞算力本身產(chǎn)生的算力服務(wù)產(chǎn)業(yè)中，我們看到里面有芯另外一條路是人工智能內(nèi)容生成AIGC，包括大家在微信朋友圈里看到基于科學(xué)計(jì)算的深度學(xué)習(xí)怎么反哺科學(xué)計(jì)算、解決計(jì)算問(wèn)題，AI范式提高了科學(xué)計(jì)算的精度，降低了成本。比如近年來(lái)，AlphaFold等人雜志上，Baker教授團(tuán)隊(duì)帶來(lái)了蛋白質(zhì)設(shè)計(jì)的又一項(xiàng)革命性突破：利I6儲(chǔ)資源以及網(wǎng)絡(luò)資源的新型信息基礎(chǔ)設(shè)施。算力網(wǎng)絡(luò)體系包括算力度中I8一新的通用人工智能開(kāi)始以更加高效的方式解決海量的開(kāi)放式任務(wù)，它更加接近人的智能，而且能夠產(chǎn)生有智慧的內(nèi)容，也帶來(lái)了新的研究強(qiáng)大的多模態(tài)基礎(chǔ)模型，通過(guò)強(qiáng)化學(xué)習(xí)和人的反饋，不斷解鎖模型而大規(guī)模深度學(xué)習(xí)模型的參數(shù)和數(shù)據(jù)量達(dá)到了一定量級(jí)，超大規(guī)模跡預(yù)測(cè)到行車(chē)規(guī)劃，上萬(wàn)個(gè)算法模型需要同時(shí)完成高并發(fā)的并行計(jì)開(kāi)始，人工智能算力成為主要增量，數(shù)字中國(guó)萬(wàn)里行考察期間，小鵬汽車(chē)和阿里云共同發(fā)布在烏蘭察布合建當(dāng)時(shí)國(guó)內(nèi)最大的自動(dòng)駕駛智算中心“扶搖”，專(zhuān)門(mén)用于自動(dòng)駕駛模型訓(xùn)練，算力規(guī)模達(dá)的8個(gè)樞紐節(jié)點(diǎn)，出發(fā)點(diǎn)切合了國(guó)家后來(lái)提出“新基建”，路線選擇和洞察也與國(guó)家“東數(shù)西算”工程的規(guī)劃高度契合，深入實(shí)地對(duì)中里行2023年，中國(guó)云基礎(chǔ)設(shè)施服過(guò)去幾年，云計(jì)算行業(yè)均處于蓬勃發(fā)展階段，技術(shù)演進(jìn)結(jié)合客戶(hù)需求釋放，推動(dòng)市場(chǎng)規(guī)模加速增長(zhǎng)，促使云服務(wù)商加大全球數(shù)據(jù)中心后，通貨膨脹推動(dòng)公共云成本不斷上升，迫使企業(yè)客戶(hù)優(yōu)化公共云年全年，云基礎(chǔ)設(shè)施服務(wù)總支出從2021的1917億美元增長(zhǎng)至同樣，SynergyResearchGroup的數(shù)據(jù)顯示，2022年第四季度全球企業(yè)在云基礎(chǔ)設(shè)施服務(wù)方面的支出超過(guò)610在一定程度上是意料之中的，但毫無(wú)疑問(wèn)，當(dāng)前的經(jīng)濟(jì)環(huán)境也產(chǎn)生/newsroom/china-cloud-mark由互聯(lián)網(wǎng)轉(zhuǎn)向傳統(tǒng)企業(yè)。政企客戶(hù)對(duì)于云服務(wù)的安全、可控要求較作為算力的聚集點(diǎn)，云數(shù)據(jù)中心的規(guī)?；?yīng)使得算力得以普惠化，用戶(hù)按需采購(gòu)算力、存儲(chǔ)、帶寬即可開(kāi)展業(yè)務(wù)。隨著國(guó)內(nèi)大模型市場(chǎng)的快速發(fā)展對(duì)我國(guó)的基礎(chǔ)算力提出更高的要求，沒(méi)有算力基礎(chǔ)，算法等發(fā)展難以為繼。此時(shí)，云計(jì)算廠商的算力基礎(chǔ)設(shè)施優(yōu)勢(shì)凸顯，大模型的爆發(fā)會(huì)導(dǎo)致訓(xùn)練的應(yīng)用場(chǎng)景越來(lái)越多，對(duì)訓(xùn)練的需求大幅增長(zhǎng)，如何保證算力不衰減，對(duì)算力的高帶寬、存算一體等過(guò)官方微信公眾號(hào)官宣了旗下的超大規(guī)模語(yǔ)言模型；華為云也介紹中里行數(shù)據(jù)、機(jī)器學(xué)習(xí)等諸多領(lǐng)域的復(fù)雜系統(tǒng)性工程，需要有超大規(guī)模AI算力的商業(yè)應(yīng)用以及智算中心的發(fā)展。無(wú)論是智慧城市還是智能制多任務(wù)、多模態(tài)的能力需要強(qiáng)大的算力基礎(chǔ)設(shè)施，以數(shù)字中國(guó)萬(wàn)里中里行超算算力是基于超級(jí)計(jì)算機(jī)等計(jì)算集群所提供各種互聯(lián)技術(shù)將多個(gè)計(jì)用所有被連接系統(tǒng)的綜合計(jì)算能力來(lái)處理大型計(jì)算問(wèn)題，所以又通常被稱(chēng)為高性能計(jì)算集群。算中心，多個(gè)省級(jí)超算過(guò)各種互聯(lián)技術(shù)將多個(gè)計(jì)算機(jī)系統(tǒng)連接在一起，利用所有被連接系統(tǒng)的綜合計(jì)算能力來(lái)處理大型計(jì)算問(wèn)題，所以又通常被稱(chēng)為高性能性能計(jì)算機(jī)性能TOP100排行榜來(lái)看，應(yīng)用于“算力服務(wù)”的系統(tǒng)工業(yè)/制造1%人工智能1%科學(xué)計(jì)算4%視頻3%政府1%教育科研3%金融3%互聯(lián)網(wǎng)1%電信1%超算中心18%能源/石油1%云計(jì)算4%大數(shù)據(jù)6%算力服務(wù)57%多樣性計(jì)算需求，加速算力格局變換?；趚86的通用計(jì)算繼續(xù)構(gòu)成5種加速器，并搭配以更為簡(jiǎn)單易用、能夠降低部署和優(yōu)化難度中里行會(huì)期間，阿里云宣布搭載倚天710芯片的阿里云彈性計(jì)算實(shí)上線，從現(xiàn)場(chǎng)官方公布的數(shù)據(jù)來(lái)看，在新型云計(jì)算架構(gòu)體系下，倚的資源，作為現(xiàn)有部分適配難度較大的業(yè)務(wù)運(yùn)行的非信創(chuàng)過(guò)渡資源在高性能計(jì)算領(lǐng)域，從全球來(lái)看，全球超級(jí)計(jì)算機(jī)TOP500排行榜架構(gòu)處理器的超級(jí)計(jì)算機(jī)建設(shè)計(jì)劃，Arm指令集兼容架構(gòu)有望成為核數(shù)2Armv8.2-A日本理研計(jì)Armv8.2-A日本東京大學(xué)信息技術(shù)Armv8.2-A日本宇宙航空工業(yè)振興Armv8.2-A日本名古屋大學(xué)信息技美國(guó)桑迪亞集兼容架構(gòu)的高性能處理器，面向高性能計(jì)算、大數(shù)據(jù)、分布式存儲(chǔ)和Arm原生應(yīng)用等場(chǎng)景，能夠充分發(fā)揮Arm指令集兼容架算力服務(wù)成為一種新的業(yè)態(tài)，將通用計(jì)算、智能計(jì)算、并行計(jì)算等多樣性算力統(tǒng)一納管和調(diào)度，屏蔽不同硬件架構(gòu)差異，實(shí)現(xiàn)大規(guī)模異構(gòu)中里行現(xiàn)高精度到低精度算力的全覆蓋、多種計(jì)算類(lèi)型的全覆蓋，以及AI從“東數(shù)西存”到“東數(shù)西算”，促使更多行業(yè)和企業(yè)重視數(shù)據(jù)，帶動(dòng)數(shù)據(jù)存儲(chǔ)、管理、使用的需求增長(zhǎng)。用戶(hù)對(duì)數(shù)據(jù)存儲(chǔ)容量、數(shù)據(jù)傳輸速度、硬件設(shè)備性能略?xún)r(jià)值被大家認(rèn)同，東數(shù)西算是“全國(guó)一體化算力網(wǎng)絡(luò)”下轄的動(dòng)數(shù)據(jù)存儲(chǔ)、管理、使用的需求增長(zhǎng)。用戶(hù)對(duì)數(shù)據(jù)存儲(chǔ)容量、數(shù)在服務(wù)器中，大容量機(jī)械硬盤(pán)是海量數(shù)據(jù)的有效載體。機(jī)械硬盤(pán)的容量在持續(xù)增長(zhǎng)。數(shù)字中國(guó)萬(wàn)里行發(fā)現(xiàn)，目前希捷的企業(yè)級(jí)銀設(shè)計(jì)、噪音振動(dòng)等挑戰(zhàn)接踵而至，對(duì)服務(wù)器架構(gòu)的設(shè)計(jì)提出了更高的要求，硬盤(pán)廠商與服務(wù)器廠商需要更緊密協(xié)作，尋求硬盤(pán)和而在有些場(chǎng)景中，機(jī)械硬盤(pán)無(wú)法滿(mǎn)足現(xiàn)代工作負(fù)載對(duì)于數(shù)據(jù)訪問(wèn)增加空間、電源、散熱和備件更換方面的成本。為了追求更高的帶寬、更短的延遲，SSD的應(yīng)用日趨廣泛。SSD擅長(zhǎng)應(yīng)用在高展速度，但到目前為止，SSD的單位容量?jī)r(jià)格依然與硬盤(pán)有著數(shù)量級(jí)的差距。SSD與硬盤(pán)各自的特點(diǎn)需要各自繼續(xù)發(fā)展，而彼此中里行從硬盤(pán)角度，值得一提的是希捷的熱輔助磁記錄技術(shù)（英文縮寫(xiě)為HAMR硬盤(pán)在讀寫(xiě)速度、性能、可靠性、穩(wěn)定性等方面均表現(xiàn)卓根據(jù)希捷最新公布的技術(shù)路線圖，HAMRSSD的發(fā)展也多面開(kāi)花。其一，通過(guò)接口、控制器的迭代（如正在層產(chǎn)品的論文。其三，NAND的多值化進(jìn)一步提升了SSD的容量“隱形維度”。《數(shù)字中國(guó)建設(shè)整體布局規(guī)劃》明確，數(shù)字中國(guó)建設(shè)按照“2522”地緣政治事件，45%的國(guó)家政府將認(rèn)為“數(shù)字主權(quán)對(duì)于保中里行2026年，買(mǎi)家將優(yōu)先考慮基主權(quán)、業(yè)務(wù)可用主權(quán)、供應(yīng)鏈主權(quán)和地域主權(quán)。通過(guò)多個(gè)層次的建設(shè)，達(dá)到數(shù)字主到自生（Survivability）。注釋?zhuān)篏5000指的是global5000，就是全球5000強(qiáng)的大公司。安全效果不能依靠單一技術(shù)或產(chǎn)品來(lái)解決，需要依靠“系統(tǒng)論”原生安全產(chǎn)品、合規(guī)安全等構(gòu)建可信云原生安全架構(gòu)。可信云原通過(guò)構(gòu)建自主可控的算力調(diào)度服務(wù)平臺(tái)，逐管，系統(tǒng)優(yōu)化算力基礎(chǔ)設(shè)施布局，對(duì)通用算力、超算、智算、邊數(shù)據(jù)和人工智能是數(shù)實(shí)融合的關(guān)鍵，數(shù)智能設(shè)施，構(gòu)建云、網(wǎng)、智、算融合體系的數(shù)字經(jīng)濟(jì)基礎(chǔ)底座。加大網(wǎng)信產(chǎn)業(yè)資源，中國(guó)電子云能夠縱向打穿整個(gè)自主計(jì)算產(chǎn)業(yè)生態(tài)鏈，通過(guò)跨產(chǎn)線、跨企業(yè)的組合性產(chǎn)品解決方案，將各個(gè)單點(diǎn)優(yōu)勢(shì)再結(jié)合，形成電子云的整體優(yōu)勢(shì)，以云化形式對(duì)外輸出中國(guó)電原生安全三大關(guān)鍵技術(shù)優(yōu)勢(shì)的全棧分布式云，不斷提升專(zhuān)屬云運(yùn)燕架構(gòu)”共同支撐，提供統(tǒng)一技術(shù)服務(wù)底座。其中,云管理平臺(tái)管平臺(tái)的全Operator化；基于容器操作系統(tǒng)實(shí)現(xiàn)計(jì)算虛擬化產(chǎn)滑線性進(jìn)化，同時(shí)在多集群管理、多集群調(diào)度，以及在性能、損中里行東數(shù)西算是促進(jìn)綠色節(jié)中和目標(biāo)的重要手段。“東數(shù)西算”工程聚焦?；⒕G色化方面著重發(fā)力，支持高效供配電技術(shù)、制冷技術(shù)、節(jié)能勵(lì)自發(fā)自用、微網(wǎng)直供、本地儲(chǔ)能等手段提耗和靈活性等方面具有優(yōu)勢(shì)。例如，通過(guò)對(duì)大數(shù)據(jù)計(jì)算集群基于.落實(shí)“云數(shù)融合”。中國(guó)電子云”現(xiàn)有產(chǎn)品體系包含三層，一是提供算力基礎(chǔ)平臺(tái)的產(chǎn)品，包括專(zhuān)屬云CECSTACK、超融合在業(yè)務(wù)層可提供各種商業(yè)模式和業(yè)務(wù)架構(gòu)的分布式云全棧全域解決方案，包括運(yùn)營(yíng)云、專(zhuān)屬云、分支云、邊緣云等。同時(shí)產(chǎn)品性強(qiáng)算力通常意味著高能耗。當(dāng)數(shù)據(jù)中心的算耗也在增加。在雙碳背景下，數(shù)據(jù)中心迎來(lái)轉(zhuǎn)強(qiáng)算力通常意味著高能耗。當(dāng)數(shù)據(jù)中心的算力大幅度提升，CPU/傳統(tǒng)風(fēng)冷冷卻技術(shù)成熟，冷板式冷卻技術(shù)對(duì)數(shù)據(jù)中心架構(gòu)和機(jī)柜結(jié)構(gòu)所需改變較少，未來(lái)一段時(shí)間內(nèi)，風(fēng)液混合成為數(shù)據(jù)中心首選。中里行浸沒(méi)式液冷技術(shù)需要對(duì)數(shù)據(jù)中心架構(gòu)做較大調(diào)整，更適合新建設(shè)的據(jù)中心分布式光伏項(xiàng)目已經(jīng)全容量并網(wǎng)發(fā)電。該項(xiàng)目充分利用8棟大平層機(jī)房樓的屋頂面積，共計(jì)安裝光伏組件2萬(wàn)目。每個(gè)屋頂還配有光伏組件自動(dòng)清洗機(jī)器人，保持光伏組件清潔人工智能大模型還是數(shù)字經(jīng)濟(jì)持續(xù)發(fā)展，對(duì)算力中心提出更高的挑超算系統(tǒng)追求完成（特定）任務(wù)所需的算力和效率，為其構(gòu)建的數(shù)據(jù)中心（超算中心）通常規(guī)模不是很大但具有很高的密度。從數(shù)據(jù)中心建設(shè)的角度，我們可以把云計(jì)算中心視為超算中心在通用算力方向上的大規(guī)?；虺笠?guī)模版本，而智算中心與超算計(jì)算機(jī)界“皇冠上的明珠”，合稱(chēng)ABC的人工智能（Artificial中里行作為big.LITTLE技術(shù)的發(fā)明者，Arm把異構(gòu)核的理念帶入服務(wù)器內(nèi)存密集型應(yīng)用程序的系統(tǒng)提供盡可能高的.NeoverseN系列關(guān)注橫向擴(kuò)展性能，提供經(jīng)過(guò)優(yōu)化的平衡的中里行如果把應(yīng)用場(chǎng)景限定在規(guī)模較大的云計(jì)算中心和智算中心、超算中），.定于2023年第四季度推出的第五代英特爾至強(qiáng)可擴(kuò)展處理器第五代英特爾至強(qiáng)可擴(kuò)展處理器與第四代共平臺(tái)，易于遷移，而各自增加核心數(shù)則是共識(shí)。CPU核心數(shù)量的持續(xù)增長(zhǎng)要求更高的內(nèi)升晶體管密度的過(guò)程中，困難實(shí)在太多了，尤其是EUV（Extreme光刻技術(shù)之外的創(chuàng)新重新喚起了業(yè)界對(duì)半導(dǎo)體未來(lái)發(fā)展速度的期創(chuàng)造Chiplet這個(gè)概念，其實(shí)是向以往單一追求晶體管微之后十年并未復(fù)現(xiàn)。而現(xiàn)在的Chiplet，則是一條明確的長(zhǎng)期演1、高性能、高并發(fā)的需求使得數(shù)據(jù)中心、超算等領(lǐng)域?qū)υ黾雍藨?yīng)商都會(huì)傾向于將晶體管數(shù)量和裸晶面積堆砌到工程上難以負(fù)高性能、高并發(fā)的需求使得數(shù)據(jù)中心、超算等領(lǐng)域?qū)υ黾雍诵囊?guī)模和級(jí)供應(yīng)商都會(huì)傾向于將晶體管數(shù)量和裸晶面積堆砌到工程上難以負(fù)荷的程度。通過(guò)微縮減少裸晶面積、降低單位成本，并不是高性能產(chǎn)品中里行2、28nm制造工藝之后，微縮已經(jīng)無(wú)法降低單位晶體管的生產(chǎn)c)存儲(chǔ)器件介于上述二者之間，且主流存儲(chǔ)器本質(zhì)上是電容，即便使用先進(jìn)工藝，也不能獲得如邏輯器件那樣顯而高性能處理器對(duì)存儲(chǔ)帶寬及容量、I/O帶寬及數(shù)量的要求也越來(lái)越高，SRAM、存儲(chǔ)控制器、I/O控制器及PHY（物理層3、Chiplet的芯粒可以應(yīng)用到多款產(chǎn)品上，增加了產(chǎn)品開(kāi)發(fā)的中的半數(shù)要水平旋轉(zhuǎn)180°,以保證4個(gè)CCD上的8個(gè)DDR內(nèi)存代英特爾至強(qiáng)可擴(kuò)展處理器就已經(jīng)或主動(dòng)或被動(dòng)的歸類(lèi)為Chiplet中里行），.獨(dú)立優(yōu)化：可以按照I/O、運(yùn)算、存儲(chǔ)（SRAM）的不同要求分別選擇成本適宜的制程，譬如代號(hào)Genoa（熱那亞）的第四代.高度靈活：1個(gè)IOD可以搭配數(shù)量不等的CCD，以提供不同的如果將這個(gè)CCD看作8核的CPU，IOD看作原），微縮到封裝里的八路服務(wù)器，用這種方法構(gòu)建64核，難度比在單中里行第二至四代EPYC以IOD為中心連接多個(gè)較小規(guī)模的CCD，是比PCIe、內(nèi)存控制器的數(shù)量比較容易；劣勢(shì)是任意核心與其他資源的距離太遠(yuǎn)，帶寬和時(shí)延會(huì)受限。在AMD享有明顯的制程優(yōu)勢(shì)（并作為x86陣營(yíng)的帶頭大哥，英特爾從開(kāi)啟至強(qiáng)可擴(kuò)展處理器系列至），（2D）Mesh是水平（X）和垂直（Y）方向的連線組成的二維交Cache、DDR/PCIe控制器等設(shè)備。出于布線方便等考慮，內(nèi)存控制器、PCIe控制器、UPI/CCIX等負(fù)責(zé)對(duì)外I/O的設(shè)備都布置在最隨著矩陣規(guī)模的擴(kuò)大，居中的核心訪問(wèn)I/O資源的路徑也會(huì)有所延長(zhǎng)，但通過(guò)增加I/O資源數(shù)量并優(yōu)化其分布及訪問(wèn)策同樣是網(wǎng)格架構(gòu)，Arm和英特爾在細(xì)節(jié)上還是有些值得注意CMN-700每個(gè)交叉點(diǎn)上的設(shè)備從CMN-600的2個(gè)增加到2片（slice）L3緩存，在矩陣邊上的節(jié)點(diǎn)還很可能會(huì)連接內(nèi)中里行英特爾至強(qiáng)可擴(kuò)展處理器的每個(gè)（非I/O）節(jié)點(diǎn)上只有1個(gè)CPU核心及其對(duì)應(yīng)的L3Cache，考慮到每個(gè)CPU核心支持超線程Graviton、Ampere在服務(wù)器CPU市場(chǎng)似乎構(gòu)計(jì)算的興起，Arm在力基礎(chǔ)設(shè)施中的影響力偉達(dá)加入戰(zhàn)團(tuán)，Arm在服務(wù)器CPU領(lǐng)域有望從遜、高通、華為等企業(yè)都推出了基于Arm指令集的服務(wù)器CPU。隨著亞馬遜的Graviton、AmpereAltra等系列產(chǎn)品逐漸在市場(chǎng)站穩(wěn)了腳跟，Arm在服務(wù)器CPU市場(chǎng)漸入佳境。而且，隨著異構(gòu)計(jì)早在2021年，英偉達(dá)就對(duì)外介紹了基于ArmNeoverse架構(gòu)的目前還沒(méi)看到NVIDIAGrace晶體管規(guī)模的相關(guān)資料，不妨先參照兩位“前輩”的數(shù)據(jù)。據(jù)推測(cè)基于ArmNeoverseV1的AWSNVIDIAGraceHopper超級(jí)芯片的渲染圖看，Grace的芯片面積與Hopper近似，而已知后者為800億晶體管，二者均基于臺(tái)積電N4制程節(jié)點(diǎn)。據(jù)此推測(cè)72核的Grace芯片的晶體管規(guī)模大于等系統(tǒng)I/O控制器）之間提供3.2TB/s的分段帶寬。網(wǎng)格的節(jié)點(diǎn)緩存分區(qū)）。但從示意圖來(lái)看，位于網(wǎng)格角落的4個(gè)CSN連接的核心和2個(gè)SCC。整體而言，Grace的網(wǎng)格內(nèi)應(yīng)該有80個(gè)核心和76個(gè)SCC，其中8個(gè)核心應(yīng)該是出于良率等因素而屏蔽。而網(wǎng)格外圍“缺失”的4個(gè)核心和8個(gè)SCC對(duì)應(yīng)的位置被用于連接NVIDIAGrace支持Arm的許多管理特性，譬如服務(wù)器基礎(chǔ)系統(tǒng)架構(gòu)（SBSA）、服務(wù)器基礎(chǔ)啟動(dòng)要求（SBBR）、內(nèi)存分區(qū)與監(jiān)控中里行題。高優(yōu)先級(jí)的任務(wù)可以?xún)?yōu)先占用L3緩存，或者根據(jù)虛擬機(jī)預(yù)先V2）的實(shí)例，再加上其必將獲得自家GPGPU的深厚實(shí)力界從一開(kāi)始就給予了高度關(guān)注，期待其在超算、機(jī)器學(xué)習(xí)等領(lǐng)域的可以說(shuō)是全方位的，包括基于Armv9-A指令集、更高的性能和微架構(gòu)能效，加上更多的核心數(shù)和更大的L3緩存，NVIDIA英偉達(dá)畢竟是Arm服務(wù)器CPU領(lǐng)域的新手，在這方面資深的AmpereComputing（安晟培半導(dǎo)體）經(jīng)過(guò)多代產(chǎn)品積累之后，在2023年5月中正式發(fā)布擁有192個(gè)單線程自研核的AmpereOne系列處理器，這個(gè)核心數(shù)量也創(chuàng)下了（主流）服AmpereOne采用臺(tái)積電5nm制程，提供的Ampere（A1）一點(diǎn)與NeoverseV2（的上限）相當(dāng)，達(dá)到AmpereAltra和中里行由于每個(gè)核心相對(duì)不那么復(fù)雜，又采用了比較先進(jìn)的制片加上內(nèi)存的TDP“才”500瓦，即單個(gè)（需求。我們認(rèn)為，這種布局也與網(wǎng)格架構(gòu)的特性有關(guān)，我們接下來(lái)流行的Chiplet技術(shù)并不出人意料。目前比較普遍的推測(cè)是做法與與EPYC家族的架構(gòu)比，網(wǎng)格架構(gòu)的整體性比較強(qiáng)，天生的單體式網(wǎng)格架構(gòu)必須考慮交叉點(diǎn)（節(jié)點(diǎn)）的利用率問(wèn)題，如果有太多的交以初代英特爾至強(qiáng)可擴(kuò)展處理器為例，為了滿(mǎn)足從4～28個(gè)的核中里行非增加die的構(gòu)型，而這又離不開(kāi)公司規(guī)模和出貨量的支持——量英特爾認(rèn)為（XCC版）的第四代英特爾至強(qiáng)可擴(kuò)展處理器4個(gè)die拼接的效果是一個(gè)準(zhǔn)單體式（quasi-m不難理解，常見(jiàn)的網(wǎng)格架構(gòu)就是如此，第四代英特爾至強(qiáng)可擴(kuò)展處加速器（DSA/QAT/DLB/IAAUPI中里行如果沒(méi)有采用Chiplet技術(shù)，XCC版本的第四代英特爾至強(qiáng)可擴(kuò)展如果直接把這個(gè)單體式的die四等分，那每一部分就應(yīng)該是一個(gè)但事實(shí)是這4個(gè)die要連為一體，就要為它們?cè)黾右恍幸涣械倪B接片互連橋接）是英特爾用于實(shí)現(xiàn)2.5D封裝的技術(shù)。第四代英特爾至強(qiáng)可擴(kuò)展處理器內(nèi)部封裝了4個(gè)XCC的die，每個(gè)die擁有14面EMIB互聯(lián)的具體帶寬，我們僅能從工藝角度獲知EMIB互聯(lián)總），我們可以通過(guò)間接的方式進(jìn)行估算。每die的4條EMIB對(duì)應(yīng)/s相鄰兩個(gè)XCC之間的互聯(lián)為600GB/s～1TB/s（左右向6中算存互連中算存互連屬。不過(guò)，既然都分級(jí)的一部分，需要為占地面積發(fā)愁的，主要是L3“東數(shù)西存”是“東數(shù)西算”的基礎(chǔ)、前奏，還是子集？這牽涉到數(shù)據(jù)在人口密集的東部產(chǎn)生，在地廣人稀的西部存儲(chǔ)，主要的難點(diǎn)計(jì)算需要頻繁的訪問(wèn)數(shù)據(jù)，在跨地域的情況下，網(wǎng)絡(luò)的帶寬和時(shí)延與數(shù)據(jù)的傳輸和計(jì)算相比，存儲(chǔ)不算耗能，但很占地。核心區(qū)域永遠(yuǎn)是稀缺資源，就像核心城市的核心地段不會(huì)用來(lái)建設(shè)超大規(guī)模數(shù)“東數(shù)西算”并非一日之功，超大規(guī)模數(shù)據(jù)中心與核心城市也是漸行漸遠(yuǎn)，而且不是越遠(yuǎn)越好。同理，圍繞CPU早已構(gòu)筑了一套分層的存儲(chǔ)體系，雖然從Cache到內(nèi)存都是易失性的存儲(chǔ)器（Memory），但往往越是那些處于中間狀態(tài)的數(shù)據(jù)，對(duì)訪問(wèn)時(shí)延的要求越高，也就需要離核心更近——如果真是需要長(zhǎng)期保存的數(shù)和L2Cache已經(jīng)屬于核心的一部分，需要為占地面積發(fā)愁的，主當(dāng)時(shí)業(yè)界便留意到一個(gè)問(wèn)題：芯片的邏輯密度提高了1.84倍，而的論文還展示了2011～2019年SRAM面積的演進(jìn)過(guò)程。在下圖中里行之后，SRAM面積的縮減近乎停滯，即使應(yīng)用了EUV技術(shù)，改善程的SRAM單元面積為0.0199平方微米，相比N50.021平方微米，只縮小了5%。更要命的是，由于良率和成本問(wèn)積極引入新制程生產(chǎn)CCD的AMD對(duì)SRAM成本的感受顯然比較AMD當(dāng)前架構(gòu)面臨內(nèi)存性能落后的問(wèn)題，其原因包括核心數(shù)量較多導(dǎo)致的平均每核心的內(nèi)存帶寬偏小、核心與內(nèi)存的“距離”較遠(yuǎn)緩存芯片通過(guò)混合鍵合、TSV（ThroughSiliconVias，硅通孔）工藝與CCD（背面）垂直連接，該單元包含4個(gè)組成部分：最下層的CCD、上層中間部分L3D，以及上層兩側(cè)的支撐結(jié)構(gòu)——采用硅材質(zhì)，將整組結(jié)構(gòu)在垂直方向找平，并將下方CCX（CoreAMD在Zen3架構(gòu)核心設(shè)計(jì)之初就備了這一手，預(yù)留了必要的邏輯電路以及TSV電路，相關(guān)部分大約使CCD中里行側(cè)的布局，另一方面是考慮到（L3）Cache的功率密度相對(duì)低于為8個(gè)切片，每片8MB。兩組Cache的每個(gè)切片之間是1024個(gè)隨著Zen4架構(gòu)處理器進(jìn)入市場(chǎng)，第二代3DV-Cache也粉墨登場(chǎng)，其帶寬從上一代的2TB/s提升到2.5TB/s，容量依舊為64MB，制程依舊為7nm，但面積縮減為36mm2?？s要是來(lái)自TSV部分，AMD宣稱(chēng)基于上一代積累的經(jīng)驗(yàn)和改進(jìn)，在），改進(jìn)也確實(shí)是相當(dāng)明顯。代價(jià)方面，3DV-Cache限制了處理器整體功耗和核心頻率的提升，在豐富了產(chǎn)品矩陣的同時(shí)，用戶(hù)需要根對(duì)于數(shù)據(jù)中心，核數(shù)是硬指標(biāo)。表面上，目前竟一片L3D只有幾十平方毫米的大小。但其他高性能處理器的內(nèi)核尺直方向堆疊SRAM似乎的外形兼容性。堆疊于處理器頂部是兼容性最差的形態(tài)，堆疊于側(cè)面的性能會(huì)有所限制，堆疊于底部則需要3D封裝的進(jìn)一步普及。對(duì)于第三種情況，使用硅基礎(chǔ)層的門(mén)檻還是比較高的，可以看作是Chiplet的一個(gè)重大階段。以目前AMD通過(guò)IC載板布線水平封裝但其他高性能處理器的內(nèi)核尺寸比CCD大得多，在垂直方向堆疊SRAM似乎不太匹配。但實(shí)際上，這個(gè)是處理器內(nèi)部總線的特征決中里行緩存容量的問(wèn)題，本質(zhì)上是彌補(bǔ)內(nèi)存的性能落差。SRAM快但是），提升DRAM性能的一種比較著名的嘗試是eDRAM（embedded這種愛(ài)好蔓延到了IBMZ15這樣的主機(jī)處理器。2019年發(fā)布的Z2壓力面前都會(huì)被壓榨到極限，eDRAM的單位成本雖低，也架不住△Z15△Z15中央處理器在處理器外部，eDRAM并非業(yè)界廣泛認(rèn)可的標(biāo)準(zhǔn)化產(chǎn)品，市場(chǎng)規(guī)HBM的好處都是通過(guò)與CPU核心中里行隨后三星、美光、NVIDIA、Synopsys等企業(yè)積42/4/84/8/124/8/12/16典型的實(shí)現(xiàn)方式是通過(guò)2.5D封裝將HBM與處理器核心連接，這在CPU、GPU等產(chǎn)品中均有應(yīng)用。早期也有觀點(diǎn)把HBM視作L4算卡在單一封裝內(nèi)集成了2顆計(jì)算核心和8顆HBM2e，容量共華為的昇騰910處理器也集成了4顆HBM。對(duì)于計(jì)算卡、智能網(wǎng)CPU也已開(kāi)始集成HBM，其中最突出的案例是曾經(jīng)問(wèn)鼎超算英特爾在2023年1月中與第四代至強(qiáng)可擴(kuò)展處理器一同推出的至強(qiáng)Max系列，在前者的基礎(chǔ)上集成了64GB的HBM2e。這些HBM2e可以作為內(nèi)存獨(dú)立使用（HBMOnly模式），也可中里行值得一提的是，目前HBM與處理器“組裝”在一起都需要借助硅中介層。傳統(tǒng)的ABS材質(zhì)基板等難以勝任超高密度的觸點(diǎn)數(shù)量和高頻率。但硅中介層有兩種技術(shù)思路，代表是臺(tái)積電的CoWoS被稱(chēng)為硅基礎(chǔ)層，因?yàn)橹薪閷訒?huì)完全承載其他芯片。換句話說(shuō)，處理器和若干HBM的投影面積決定了硅基礎(chǔ)層的大小，而基礎(chǔ)層的面積會(huì)限制HBM的使用數(shù)量（常見(jiàn)的就是4顆）。硅中介層使用65nm之類(lèi)的成熟工藝制造，其成本并不高昂，但尺寸受限于光刻是高性能的大芯片，而大芯片的規(guī)模本身就已經(jīng)逼近了掩膜尺寸極限，給HBM留下的面積非常有限。到了2016年，臺(tái)積電終于突破了這個(gè)限制，實(shí)現(xiàn)1.5倍于掩模尺寸的中介層，從此單芯片內(nèi)部英特爾認(rèn)為只需要通過(guò)硅中介層連接內(nèi)存和處信號(hào)依然可以直通基板。用了硅中介層和有機(jī)載板的技術(shù)特點(diǎn)和電氣特性，但也存在組裝成本毫米。硅中介層的面積如此發(fā)展，下一個(gè)瓶頸就是硅晶圓的切割效另一種思路是英特爾的EMIB，使用的硅中介層要小得多。以第四代英特爾至強(qiáng)可擴(kuò)展處理器的渲染圖為例，棕色的小方塊就是結(jié)合HBM的架構(gòu)示意圖可以看出，英特爾認(rèn)為只需要通過(guò)硅中介體而言，EMIB充分利用了硅中介層和有機(jī)載板的技術(shù)特點(diǎn)和電氣特性，但也存在組裝成本高的缺點(diǎn)（需要在有機(jī)載板中鑲嵌，增加當(dāng)然，對(duì)于更復(fù)雜的“組裝”，英特爾也有對(duì)應(yīng)的方案，如代號(hào)制造工藝生產(chǎn)的47個(gè)小芯片，其中的基礎(chǔ)層（BaseDie）的面積中里行英特爾數(shù)據(jù)中心MaxGPU系列引入了BaseTile的概念，姑且稱(chēng)之為基礎(chǔ)芯片。相對(duì)于中介層的概念，我們也可以把基礎(chǔ)芯片看做是基礎(chǔ)層?；A(chǔ)層表面上看與硅中介層功能類(lèi)似，都是承載計(jì)算核質(zhì)是利用成熟的半導(dǎo)體光刻、沉積等工藝（65nm等級(jí)），在硅上形成超高密度的電氣連接。而基礎(chǔ)層更進(jìn)一步：既然都要加工多層△△中里行Tile）。計(jì)算芯片采用臺(tái)積電N5工藝制造，每顆芯片自有4MBOptimized”的縮寫(xiě)，即為帶寬優(yōu)化的隨機(jī)訪問(wèn)存儲(chǔ)器。獨(dú)立的因此，在英特爾數(shù)據(jù)中心MaxGPU中，基礎(chǔ)芯片通過(guò)Cache交前面已經(jīng)提到，I/O芯片獨(dú)立是大勢(shì)所趨，共享Cache與I/O拉近也是趨勢(shì)。英特爾數(shù)據(jù)中心MaxGPU將Cache與各種高速I(mǎi)/O的PHY集成在同一芯片內(nèi)，正是前述趨勢(shì)的集大成者。通過(guò)EMIB（爆炸圖中的橙色部分）連接在一起。根據(jù)英特爾在HotChips上公布的數(shù)據(jù)，英特爾數(shù)據(jù)中心MaxGPU的L2Cache總帶寬可以達(dá)到13TB/s?？紤]到封裝了兩組基礎(chǔ)芯片和計(jì)算芯片，我們給帶寬打個(gè)對(duì)折，基礎(chǔ)芯片和4顆的L2、L3Cache的帶寬。其實(shí)之前AMD已經(jīng)通過(guò)指甲蓋大小的3DV-Cache證明了3D封裝的性能，那就更不用說(shuō)英特爾數(shù)據(jù)中中里行回顧一下3DV-Cache的弱點(diǎn)——“散熱”不良，我們還發(fā)現(xiàn)將Cache集成到基礎(chǔ)芯片當(dāng)中還有一個(gè)優(yōu)點(diǎn)：將高功耗的計(jì)算核心安再往遠(yuǎn)一些看，在網(wǎng)格化的處理器架構(gòu)中，L3Cache并非簡(jiǎn)單的若干個(gè)塊（切片），而是分成數(shù)十甚至上百單元，分別掛在網(wǎng)格節(jié)中的SRAM可以分成等量的單元與處理器的網(wǎng)格節(jié)點(diǎn)相連。換句話說(shuō)，對(duì)于網(wǎng)格化的處理器，將L3Cache移出到基礎(chǔ)芯片是有合的量級(jí)，足夠勝任每平方毫米內(nèi)數(shù)百至數(shù)千個(gè)連接的需要，可以滿(mǎn)足當(dāng)前網(wǎng)格節(jié)點(diǎn)帶寬的需求。更高密度的連接當(dāng)然也是可行的，10微米甚至亞微米的技術(shù)正在推進(jìn)當(dāng)中，但優(yōu)先的場(chǎng)景是HBM、3DNAND這種高度定制化的內(nèi)部堆棧的混合鍵合，未必適合ChipletChiplet的優(yōu)勢(shì)已經(jīng)獲得了充分的驗(yàn)證，接下來(lái)的問(wèn)題就是通用化、標(biāo)準(zhǔn)化。通過(guò)標(biāo)準(zhǔn)化，來(lái)自不同供應(yīng)商的芯片可以更容易地實(shí)需要分別集成到不同客戶(hù)的芯片中，也不需要適配太多版本的生產(chǎn)在此愿景之下，2022年3月，通用處理器市場(chǎng)的核心玩家Intel、AMD、Arm等聯(lián)合發(fā)布了新的互聯(lián)標(biāo)準(zhǔn)UCIe（Universal與CXL的協(xié)同，說(shuō)明UCIe的目標(biāo)不僅僅是解決芯片制造中的互聯(lián)互通問(wèn)題，而是希望芯片與設(shè)備、設(shè)備與設(shè)備之間的交互是無(wú)縫package）和Rackspace（Offpackage）。中里行隨著新一代Arm和x86架構(gòu)服務(wù)器處理器平臺(tái)（第四代英特爾至跨設(shè)備讀寫(xiě)數(shù)據(jù)時(shí)，在操作延遲期間，內(nèi)存數(shù)據(jù)可能已經(jīng)發(fā)生變化，因此需要額外加入驗(yàn)證過(guò)程，這增加了指令復(fù)雜度和延遲。中里行過(guò)去十年間，CPU的核心數(shù)量從8～12個(gè)的水平，增長(zhǎng)到了60乃通道。每通道的內(nèi)存在此期間也經(jīng)過(guò)了三次大的迭代，帶寬大概增加過(guò)去十年間，CPU的核心數(shù)量從8～12個(gè)的水平，增長(zhǎng)到了60乃至96核，Arm已有192核的產(chǎn)品，而每插槽CPU的內(nèi)存通道數(shù)僅從4通道增加到8或12通道。每通道的內(nèi)存在此期間也經(jīng)過(guò)下降，每核心可以分配的內(nèi)存容量和內(nèi)存帶寬其實(shí)也有所下降。這為什么增加內(nèi)存通道如此緩慢？因?yàn)樵黾觾?nèi)存通道不僅僅需要增加芯片面積，還需要擴(kuò)展對(duì)外接口，在電氣連接方式?jīng)]有根本性改變的情況下，觸點(diǎn)數(shù)量的大量增加會(huì)導(dǎo)致CPU封裝面積劇增。10年前的英特爾至強(qiáng)（IntelXeon）處理器的LGA2011封裝尺寸為質(zhì)量的難度加大。CPU插槽面積增加、內(nèi)存槽數(shù)量增通過(guò)CXL擴(kuò)展內(nèi)存，可以將CPU與內(nèi)存從沿革多年的緊耦合關(guān)系變?yōu)樗神詈?，利用PCIe/CXL通道的物理帶寬增加內(nèi)存總帶寬，而不僅僅限于內(nèi)存控制器自身的通道總數(shù)（即使前者的帶寬相對(duì)較低，但也是增量），利用機(jī)箱的立體空間容納更大容量的內(nèi)存，而△CXL內(nèi)存中里行這是由于內(nèi)存的分配是客戶(hù)按照預(yù)設(shè)的實(shí)例配置租用資源時(shí)，每個(gè)核存，譬如2GB。當(dāng)主機(jī)考慮到人工智能，尤其是機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展，模型容量在過(guò)去5年間大致增加了50倍，內(nèi)存容量的擴(kuò)展方式確實(shí)值得突破一下。不過(guò)這也不是一蹴而就的，畢竟第四代英特爾至強(qiáng)可擴(kuò)展處理器每插槽CPU只支持4個(gè)CXL設(shè)備，給計(jì)算卡之類(lèi)的一分就沒(méi)了。所理器大核確實(shí)多，而且不論單路還是雙路處理器，內(nèi)存槽上限都是總之，不論這兩家通用處理器具體各懷啥心思，CXL的第一輪普及工作就是不盡如人意，顧此失彼。甚至現(xiàn)在還不到糾結(jié)內(nèi)存擴(kuò)展的EDSFF，初步形成生態(tài)環(huán)境，就算是成功。至于內(nèi)存的大事情，且雖然增加了一些訪問(wèn)延遲，但會(huì)降低內(nèi)存的總數(shù)據(jù)中心而言也是數(shù)以?xún)|計(jì)的資金節(jié)約。微軟預(yù)計(jì)通過(guò)CXL和內(nèi)存池這個(gè)階段將構(gòu)建機(jī)柜級(jí)的資源池化。這其中的好處多多，此處主要有約50%的服務(wù)器的實(shí)際內(nèi)存利用率不到一半。這是由于內(nèi)存的分配是與CPU核心綁定的，當(dāng)客戶(hù)按照預(yù)設(shè)的實(shí)例配置租用資源核心數(shù)量被分配完畢后，未被搭配的內(nèi)存便被閑置了。考慮到預(yù)先=16GB內(nèi)存將會(huì)被閑置。如果服務(wù)器核心未被充分利用，被閑置由此，無(wú)從分配的、未被分配的、分配但未充分使用的，這三種性由此，微軟提出通過(guò)內(nèi)存池來(lái)解決這個(gè)問(wèn)題。各主機(jī)搭配容量較少如果減少10%的內(nèi)存搭配數(shù)量，對(duì)于大型數(shù)據(jù)中心而言也是數(shù)以除了節(jié)約總內(nèi)存投入，內(nèi)存池化還可以帶來(lái)內(nèi)存持久化、內(nèi)存故障其次，CXL3.0增加了對(duì)二層交換機(jī)的支持，也就是葉脊（Leaf-Spine）網(wǎng)絡(luò)架構(gòu)，資源池化也不再局限于內(nèi)存，而是可以實(shí)現(xiàn)中里行CXL2.0實(shí)現(xiàn)的是機(jī)柜內(nèi)的池化，CXL3.0除了可以在一個(gè)機(jī)柜內(nèi)實(shí)現(xiàn)計(jì)算資源和存儲(chǔ)資源的解耦和池化，還可以在多個(gè)機(jī)柜之間建立更大的資源池?？缰鳈C(jī)、跨機(jī)柜調(diào)度規(guī)模巨大的計(jì)算資源，已經(jīng)當(dāng)然，CXL3.0依舊暫時(shí)還未落地，而NVIDIA新一代的系統(tǒng)已經(jīng)確實(shí)不需要再去（替其他設(shè)備）管理那么多本地內(nèi)存。畢竟，計(jì)算更高效的計(jì)算資源存在，而不再負(fù)擔(dān)統(tǒng)籌的工作。到這一層次的時(shí)候，這幾年時(shí)不時(shí)被談起的諸如CPU為中心、DPU為中心之類(lèi)的UCIe的Inpackage本質(zhì)就是將整個(gè)芯片封裝視作主板，在基板上組裝大量的芯粒，包括各種處理器、收發(fā)器，以及硬化的IP。整體而言，UCIe是一個(gè)基于并行連接的高性能系統(tǒng)隨著人工智能時(shí)代的到來(lái)，異構(gòu)計(jì)算已經(jīng)是顯學(xué)，原則上，只要功除了集成度的考慮，標(biāo)準(zhǔn)化的Chiplet也帶來(lái)了功能和成本的靈活性，對(duì)于不需要的單元，在制造時(shí)不參與封裝即可——而對(duì)于傳統(tǒng)味著成本的浪費(fèi)。一個(gè)典型的例子就是D展至強(qiáng)處理器中的若干加速器，用戶(hù)可以付費(fèi)開(kāi)啟，但是，如果用中里行和物理層（PhysicalLayer）。協(xié)議層支持PCIe6.0、CXL2.0和CXL3.0，也支持用戶(hù)自定義。根據(jù)不同的的封裝等級(jí)，UCIe也有不同的Packagemodule。通過(guò)用UCIe的適配層和PHY來(lái)替換PCIe/CXL的PHY和數(shù)據(jù)包，就可以實(shí)現(xiàn)更低功耗和性能更優(yōu)的輸距離和能耗將有數(shù)量級(jí)的差異。譬如對(duì)于先進(jìn)封裝，凸塊間距2.5D封裝技術(shù)的特點(diǎn)。以英特爾的EMIB為例，當(dāng)前的凸塊間距即為50μm左右，未來(lái)將向25μm，甚至10μm演進(jìn)。臺(tái)積電的中里行不同封裝的信號(hào)密度也是有本質(zhì)差異的，如標(biāo)準(zhǔn)封裝模塊對(duì)應(yīng)的是16對(duì)數(shù)據(jù)線（TX、RX），而高級(jí)封裝模塊包含64對(duì)數(shù)據(jù)線，每NAND)的內(nèi)部。UCIe能夠滿(mǎn)足通用總線的連接需求即可，如值得一提的是，UCIe對(duì)高速PCIe的深度捆綁，注定了它“嫌貧愛(ài)富”的格局。實(shí)際上，SoC（SystemonChip）是一個(gè)相當(dāng)寬泛的概念，UCIe面向的可以看做是宏系統(tǒng)集成（Macro-SystemonChip）。而在傳統(tǒng)觀念中適合低成本、高密度的SoC可能需要集成大量的收發(fā)器、傳感器、塊存儲(chǔ)設(shè)備等等。再譬如，一些面向邊緣場(chǎng)景的推理應(yīng)用、視頻流處理的IP設(shè)計(jì)企業(yè)相當(dāng)活躍，這些IP可能需要更靈活的商品化落地方式。既然相對(duì)低速設(shè)備的集成不在資源，積極制定本土的在國(guó)際大廠合縱連橫推出UCIe為代表的Chiplet連接標(biāo)準(zhǔn)之際，中國(guó)也并未缺席這一技術(shù)潮流，而是基于國(guó)內(nèi)產(chǎn)業(yè)界資源，積極制定本《小芯片接口總線技術(shù)要求》《小芯片接口總線技術(shù)要求》術(shù)聯(lián)盟（CCITA），重點(diǎn)圍繞Chiplet小芯片和微電子芯片光I/工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)立項(xiàng)了《小芯片接口總線技術(shù)》和《微電子2022年3月，由中科院計(jì)算所、工信部電子四院以及多家國(guó)內(nèi)2023年2月，由中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)審訂，首個(gè)由中國(guó)企業(yè)和專(zhuān)家主導(dǎo)制訂的Chiplet技術(shù)標(biāo)準(zhǔn)《小芯片接口總線技中里行Chiplet走出“初級(jí)階段”為了滿(mǎn)足板內(nèi)甚至封裝內(nèi)高速互聯(lián)的需要，半導(dǎo)體大廠（設(shè)計(jì)、代工）都有相關(guān)的互聯(lián)總線協(xié)議和接口標(biāo)準(zhǔn)。譬如板內(nèi)的有Intel的QPI/Rambus、Kandou、Cadence等，也提出了一些方案，而且主要是基于串行連接方式——選擇串行方案，通常意味著相對(duì)較低的成本、較遠(yuǎn)的傳輸距離，有利于吸引生態(tài)圈內(nèi)更多（更弱勢(shì)）的參與者。國(guó)內(nèi)學(xué)界和部分企業(yè)也在試圖建立自己的標(biāo)準(zhǔn)，爭(zhēng)奪話語(yǔ)權(quán)，絕大多數(shù)處于草案甚至立項(xiàng)階段。不論是大廠，還是產(chǎn)業(yè)界的老面孔，亦或是學(xué)界，積極探索Chiplet技術(shù)帶來(lái)了百花齊放百家爭(zhēng)鳴的局面，也會(huì)帶來(lái)資源浪費(fèi)。湮沒(méi)在歷史長(zhǎng)河中的標(biāo)準(zhǔn)，不計(jì)其數(shù)。目前是Chiplet發(fā)展的早期階段，主要是解決技術(shù)瓶頸和成本約束的問(wèn)題。這個(gè)階段內(nèi)，Chiplet考慮的主要是芯片的切分問(wèn)題，譬如由大拆小、功能與制程的匹配等。應(yīng)用這種思路的主要是服務(wù)器處理器為代表的“大芯片”，不論它們是來(lái)自老牌大廠，還是互聯(lián)網(wǎng)新貴。用”。進(jìn)入這個(gè)階段的企業(yè)還不太多。其中的成功典型是AMD，其核心IP（CCD、IOD）都實(shí)現(xiàn)復(fù)用，可以滿(mǎn)足不同產(chǎn)品線甚至跨代產(chǎn)品線的需要，有效攤薄設(shè)計(jì)投入，也降低了生產(chǎn)成本。另一個(gè)能稱(chēng)得上復(fù)用的例子是Apple的M1Max/Ultra、M2Max/Ultra這類(lèi)產(chǎn)品。AWSGraviton3的內(nèi)存、PCIe控制器可能在未來(lái)的產(chǎn)品中也會(huì)被復(fù)用，尚第三階段就是本章開(kāi)頭提到的愿景了，IP硬化、芯粒商品化、貨架化，不同廠商（而不是代工方）的芯片可以通用。這不僅需要包括UCIe、BoW在內(nèi)的多種標(biāo)準(zhǔn)完成競(jìng)合，出現(xiàn)若干主導(dǎo)性的標(biāo)準(zhǔn)，還需要整個(gè)產(chǎn)業(yè)界探索出新的設(shè)計(jì)、驗(yàn)證流程，明確生產(chǎn)中的責(zé)任歸屬，甚至在安全性方面也會(huì)有巨大的挑戰(zhàn)。國(guó)內(nèi)產(chǎn)業(yè)界則將Chiplet視為“彎道超車(chē)”的機(jī)會(huì)。如果從第一階段角度看，在國(guó)外大廠面臨生產(chǎn)技術(shù)瓶頸的時(shí)候，國(guó)內(nèi)部分互聯(lián)網(wǎng)大廠、獨(dú)角獸企業(yè)確實(shí)有機(jī)會(huì)通過(guò)Chiplet以相對(duì)合理的成本推出有競(jìng)爭(zhēng)力的明旗下產(chǎn)品持續(xù)迭代，產(chǎn)品矩陣羽翼豐滿(mǎn)，才有可能進(jìn)入第二階段。至于第三階段，要的不僅僅是腳踏實(shí)地發(fā)展的耐心，還要有大格局。算力互連由內(nèi)及外，由小漸大算力互連由內(nèi)及外，由小漸大中與GPU在這方面偏偏存在“錯(cuò)配”的現(xiàn)象：GPU的（AI）算力明控制器對(duì)應(yīng)著CPU外面封裝在一起的8個(gè)LPDD5X芯片，裸容量在英偉達(dá)的官方資料里，與512GB內(nèi)存容量同時(shí)出現(xiàn)的內(nèi)存帶寬中里行帶寬為900GB/s。每個(gè)封裝內(nèi)的傳輸距離為30mm，PCB上的傳），Intel代號(hào)SapphireRapids的第四代至強(qiáng)可擴(kuò)展處理器包含3或中里行通過(guò)巨大的帶寬，兩顆GraceCPU被緊密聯(lián)系在一起，其“緊密”程度遠(yuǎn)超傳統(tǒng)的多路處理器系統(tǒng)，已足以匹敵現(xiàn)有的基于有機(jī)載板簡(jiǎn)而言之，CPU擁有的的，帶寬也還可以，但遲）就是一個(gè)非常值得重視的問(wèn)題，尤其是超大機(jī)器學(xué)習(xí)模型的時(shí)配6組顯存控制器全開(kāi)，容量96GB，顯存位寬6144bit，帶寬達(dá)到3TB/s。作為對(duì)比，獨(dú)立的GPU卡H100，根據(jù)不同版本，其與GPU之間是可以互相尋址內(nèi)存的。通過(guò)中里行的直接尋址還可以轉(zhuǎn)化為容量?jī)?yōu)勢(shì)：GraceHopper超級(jí)芯片中的方案的核心優(yōu)勢(shì)。NVLink-C2C的另一個(gè)亮點(diǎn)是能效比，英偉達(dá)宣PCIe5.0的五分之一，再考慮速率，那就有25倍的能效差異了。的區(qū)別。但這個(gè)數(shù)據(jù)也有助于理解NVLink-C2C帶寬依舊為50GB/s，但線路數(shù)量減主要應(yīng)用于數(shù)據(jù)中心場(chǎng)景，其基本形態(tài)為長(zhǎng)方形，正面看不到金手指，屬于一種mezzanine卡，采用類(lèi)似CPU插座的水平安裝方式：（256xOSFPsingle-portNVIDIAConn中里行連接8個(gè)節(jié)點(diǎn)。256個(gè)節(jié)點(diǎn)總共分為32組，每組8個(gè)節(jié)點(diǎn)搭配3能更好，畢竟部分GPU及對(duì)內(nèi)存的原子操作。InfiniBand交換機(jī)上場(chǎng)了。對(duì)于GraceHopper超級(jí)芯片的大規(guī)模集群，NVIDIA的建議是采用Quantu），兩種架構(gòu)。一種是完全采用InfiniBand連接，另一種是混合配置竟部分GPU之間擁有更大的帶寬，以及對(duì)內(nèi)存的原子操作。譬如中里行其次，每張卡有接近足額的按照英偉達(dá)官方文檔的介紹，H100PCIe的雙插槽NVLink橋接沿用自上一代NVL的NVLink互連帶寬為中里行綠色低碳和可持續(xù)發(fā)展中中里行綠色低碳和可持續(xù)發(fā)展中），用算力規(guī)模，預(yù)計(jì)未來(lái)5年中國(guó)智能算力規(guī)模的年復(fù)合增長(zhǎng)率將達(dá)0中里行從能源效率（能效）來(lái)看，芯片功耗提升，數(shù)生更多熱量，需要部署更多的空調(diào)控制機(jī)房溫度，空調(diào)本身的用電也會(huì)上升，使數(shù)據(jù)中心能源效率變低，PUE居高7007005004003002000(年)20132014201520162017201820192020202120222023IntelCPUAMDCPUNVIDIAGPUAMDGPUIT和基礎(chǔ)設(shè)施作為一個(gè)整體考慮，提升數(shù)據(jù)中心整體的能效，達(dá)到提高服務(wù)器的能效有助于節(jié)能。益企研究院出規(guī)模云數(shù)據(jù)中心考察報(bào)告》指出，在數(shù)據(jù)中心層面，更重要的是將IT和基礎(chǔ)設(shè)施作為一個(gè)整體考慮，提升數(shù)據(jù)中心整體的能效，達(dá)到進(jìn)一步降低數(shù)據(jù)中心PUE的中提到2021年底，新建數(shù)據(jù)中心PUE降低到1.35以下，到中和目標(biāo)要求推動(dòng)數(shù)據(jù)中心和5G等新型基礎(chǔ)設(shè)施綠色高質(zhì)量發(fā).2022年：工信部、發(fā)改委、財(cái)政部等六部門(mén)聯(lián)合發(fā)布《工業(yè)能效提升行動(dòng)計(jì)劃》中提到2025年，新建大型、超大型數(shù)據(jù)中心液冷的優(yōu)勢(shì)在于，單位體積的液體帶走熱量的能力通常比空氣強(qiáng)得中里行△思源一號(hào)熱回收原理圖年全球超算大會(huì)（2016ISC）期間參觀位于德國(guó)萊布尼茨實(shí)驗(yàn)室的在中國(guó)，神威·太湖之光全方位的綠色節(jié)能也是一大突破，采用液冷而在浸沒(méi)式液冷技術(shù)的應(yīng)用上，據(jù)公開(kāi)資料顯示，華中科技大學(xué)成為了中國(guó)首個(gè)成功實(shí)現(xiàn)商業(yè)化應(yīng)用的全浸沒(méi)液冷高性能計(jì)算平臺(tái)和△北京大學(xué)高性能計(jì)算中心中里行隨著中國(guó)互聯(lián)網(wǎng)、云計(jì)算的發(fā)展，超大規(guī)模數(shù)據(jù)中心應(yīng)用的體量增加，數(shù)據(jù)中心的建設(shè)理念發(fā)生變化，最典型的是數(shù)據(jù)中心的建設(shè)與IT設(shè)備結(jié)合更緊密。大型互聯(lián)網(wǎng)公司對(duì)數(shù)據(jù)中心行業(yè)的改變也是真型互聯(lián)網(wǎng)公司將液冷技術(shù)規(guī)模應(yīng)用在數(shù)據(jù)中心，繼而促進(jìn)了價(jià)值鏈為此，益企研究院提出并完善“全棧數(shù)據(jù)中心”理念。全棧數(shù)據(jù)中絡(luò)等技術(shù)和數(shù)據(jù)中心風(fēng)火水電作為一個(gè)整體看待；上層業(yè)務(wù)需求的據(jù)中心作為基礎(chǔ)設(shè)施也會(huì)相應(yīng)的產(chǎn)生自上而下的變化。這也意味著現(xiàn)應(yīng)用與技術(shù)聯(lián)動(dòng)，以數(shù)據(jù)中心整體的視角將制冷、供電以及監(jiān)控冷板式液冷相對(duì)成熟，雖然各家形態(tài)不同，但技術(shù)上差異不大。冷板式液冷是指采用液體作為傳熱工質(zhì)在冷板內(nèi)部流道流動(dòng)，通過(guò)熱蓋冷板，液體直接帶走這兩個(gè)高發(fā)熱部件的熱量。液體在冷板內(nèi)流結(jié)垢的去離子水或不導(dǎo)電、不腐蝕的特殊液體兩種。用戶(hù)可根據(jù)自冷板式液冷服務(wù)器對(duì)于目前的數(shù)據(jù)中心的架構(gòu)影響不大，不需要對(duì)機(jī)柜的形態(tài)進(jìn)行大幅度的改變，具有低噪音，高能效以及低總體擁浸沒(méi)式液冷總體方向比冷板式更進(jìn)一步，給元器件提供更可靠和穩(wěn)定的工作溫度，并具有更高的能效。冷板式的服務(wù)器是的風(fēng)冷和液相變式液冷，采用沸點(diǎn)低、易揮發(fā)的液體作為冷媒，利用CPU等器件工作發(fā)換熱器處冷凝，完成制冷循環(huán)，可以把中里行單相式浸沒(méi)通過(guò)液體升溫帶走熱量，不需要發(fā)生相變，在整個(gè)過(guò)程中就可以把換熱設(shè)施和機(jī)柜實(shí)現(xiàn)分離，從而對(duì)換熱系統(tǒng)進(jìn)行一定的冗余設(shè)置就可實(shí)現(xiàn)在線維護(hù)。兩種不同的設(shè)計(jì)方式也直接影響了維護(hù)方式。目前超算中心應(yīng)用相變式的浸沒(méi)液冷較多，單相式浸沒(méi)液過(guò)去幾年，整機(jī)柜服務(wù)器的設(shè)計(jì)已經(jīng)跳出機(jī)柜本身，以數(shù)據(jù)中心乃至數(shù)據(jù)中心的風(fēng)火水電基礎(chǔ)設(shè)施緊密協(xié)同，同時(shí)也能夠與上層的應(yīng)用和液冷技術(shù)的推廣應(yīng)用，是全棧數(shù)據(jù)中心理念的最佳落地實(shí)踐。舉例來(lái)說(shuō)，液冷就很適合通過(guò)整機(jī)柜（服務(wù)器）的形式交付。傳統(tǒng)上在的分界線?；A(chǔ)設(shè)施團(tuán)隊(duì)通常不會(huì)關(guān)注機(jī)柜里產(chǎn)品技術(shù)的演進(jìn)（比如服務(wù)器產(chǎn)品IT業(yè)務(wù)團(tuán)隊(duì)也很少了解基礎(chǔ)設(shè)施的細(xì)節(jié)?；ヂ?lián)網(wǎng)說(shuō)阿里、騰訊、字節(jié)，服務(wù)器保有量都是百萬(wàn)臺(tái)量級(jí)，在這樣的規(guī)模下把服務(wù)器和機(jī)柜作為整體設(shè)計(jì)進(jìn)行優(yōu)化，哪怕效率提升1%都可以節(jié)省一大筆支出。而液冷技術(shù)天然適合整機(jī)柜交付模式，畢竟中里行京東云自研液冷整機(jī)柜服務(wù)器盡量把業(yè)務(wù)功能涉及的模塊放在前數(shù)據(jù)中心基礎(chǔ)設(shè)施層面的能耗主要來(lái)自于制冷和供電模塊的損耗。水機(jī)組、冷凍水泵、空調(diào)等，都是用電設(shè)備；同樣數(shù)據(jù)中心供電架不起配電的作用，把電給到電源箱，電源箱到銅排（busbar）上配通常只部署一半的柜位空間，整機(jī)柜可以布滿(mǎn)，相對(duì)傳統(tǒng)的機(jī)架服持多元算力，機(jī)柜里的服務(wù)器可以集成計(jì)算型、計(jì)算存儲(chǔ)型包括異背后從供液到供電、網(wǎng)絡(luò)連接，在機(jī)柜后方部署有三條總線稱(chēng)之為中里行盲插的技術(shù)難題在于有可能在插拔的時(shí)候出現(xiàn)漏液，為了提高可靠部署，也可應(yīng)用于新建液冷數(shù)據(jù)中心。采用混合液冷設(shè)計(jì)，對(duì)服務(wù)器里關(guān)鍵發(fā)熱器件比如CPU、內(nèi)存、硬盤(pán)、電源等等做了可選的液冷適配并匹配了液冷后門(mén)（液冷門(mén)），液冷門(mén)也是來(lái)自于冷塔的供水，把機(jī)柜里所有的熱量通過(guò)液體帶走，去掉機(jī)房空調(diào)和冷機(jī)做到件，液冷門(mén)也是選配，便于客戶(hù)靈活搭配，利舊現(xiàn)有的空調(diào)。在泄成天然能夠支持故障隔離的設(shè)計(jì)，無(wú)論通過(guò)它的圍擋結(jié)構(gòu)的設(shè)計(jì)還只會(huì)順著導(dǎo)流槽流往機(jī)柜積液盤(pán)，不會(huì)影響下一個(gè)節(jié)點(diǎn)，當(dāng)然前文監(jiān)控模塊也上報(bào)給FusionDirector，由于供水溫度很低液冷門(mén)出浸沒(méi)式液冷也成為一套復(fù)雜的系統(tǒng)工程，需要在可靠性、經(jīng)濟(jì)性和能效之間取得平衡，要解決散熱問(wèn)題的同時(shí)解決冷卻液和系統(tǒng)中所有部件兼容性、IT設(shè)備高速信號(hào)問(wèn)題。而在系統(tǒng)設(shè)計(jì)層面，要兼顧服務(wù)器和機(jī)柜的設(shè)計(jì)、冷卻和監(jiān)控系統(tǒng)的可靠性，從這個(gè)意義來(lái)2018年8月數(shù)字中國(guó)萬(wàn)里行團(tuán)隊(duì)考察了位于張北的阿里云數(shù)據(jù)中心，這里已經(jīng)開(kāi)始部署浸沒(méi)式液冷服務(wù)器集群；2020年阿里仁和數(shù)據(jù)中心投入運(yùn)營(yíng)，成為更大規(guī)模浸沒(méi)液冷技術(shù)的典型實(shí)踐案在杭州仁和數(shù)據(jù)中心部署了阿里云在云網(wǎng)技術(shù)、軟硬一體探索后新一代智能計(jì)算產(chǎn)品：“靈駿”智能算力系統(tǒng)。靈駿智算產(chǎn)品是軟硬件一體化設(shè)計(jì)的算力集群服務(wù)，具備公共云、專(zhuān)有云等多種產(chǎn)品高速網(wǎng)絡(luò)兩部分組成，不僅擁有異構(gòu)計(jì)算彈性能力，還