一文了解高速互聯(lián)技術(shù)CXL

ComputeExpressLink（CXL）作為一種先進(jìn)的互連技術(shù)，在當(dāng)今高性能計(jì)算領(lǐng)域引起了廣泛關(guān)注，其高帶寬、低延遲的特性使其成為連接處理器、加速器、存儲(chǔ)等關(guān)鍵組件的理想選擇。本文將深入探討CXL技術(shù)，從其起源、特點(diǎn)，到應(yīng)用領(lǐng)域和與其他技術(shù)的比較，全面了解CXL對(duì)現(xiàn)代數(shù)據(jù)中心生態(tài)系統(tǒng)的重要性。什么是CXL？CXL的起源可追溯到數(shù)據(jù)中心和高性能計(jì)算領(lǐng)域?qū)Ω焖?、更高效互連技術(shù)的需求。過(guò)去，HDD磁盤(pán)和內(nèi)存之間差距很多，但隨著SSD、NVMe設(shè)備的出現(xiàn)逐漸彌補(bǔ)了中間的鴻溝。然而即使采用了NVMe設(shè)備，其與內(nèi)存的差異仍然有10倍以上。傳統(tǒng)數(shù)據(jù)庫(kù)對(duì)于這一差異已經(jīng)不再敏感，原因是因?yàn)橄到y(tǒng)的瓶頸已經(jīng)來(lái)到了CPU側(cè)，因此這幾年所有人都在關(guān)注列存、向量化等技術(shù)來(lái)降低內(nèi)存使用。對(duì)于許多應(yīng)用而言，盡管NVMe的延遲已經(jīng)足夠滿足要求，但是吞吐依然是很明顯的瓶頸，因此并不能完全替代內(nèi)存，這其中模型訓(xùn)練、向量數(shù)據(jù)都是非常典型的場(chǎng)景。CXL的出現(xiàn)很好地解決了這個(gè)問(wèn)題，通過(guò)將設(shè)備掛載到PCIe總線上，CXL實(shí)現(xiàn)了設(shè)備到CPU之間的互聯(lián)，實(shí)現(xiàn)了存儲(chǔ)計(jì)算分離。CXL還允許CPU以低延遲和高帶寬訪問(wèn)連接設(shè)備上更大的內(nèi)存池，從而擴(kuò)展內(nèi)存。這可以增加AI/ML應(yīng)用程序的內(nèi)存容量和性能。CXL利用靈活的處理器端口，可以在PCIe或CXL模式下運(yùn)行。這兩種設(shè)備類別均可在PCIe5.0中實(shí)現(xiàn)32GT/s的數(shù)據(jù)速率，在PCIe6.0中實(shí)現(xiàn)高達(dá)64GT/s的數(shù)據(jù)速率，為AI/ML應(yīng)用提供了額外的功能和優(yōu)勢(shì)。為什么需要CXL？隨著可用數(shù)據(jù)量的增長(zhǎng)，數(shù)據(jù)中心必須適應(yīng)更復(fù)雜、要求更高的工作負(fù)載。已有數(shù)十年歷史的服務(wù)器架構(gòu)正在發(fā)生變化，使高性能計(jì)算系統(tǒng)能夠處理人工智能/機(jī)器學(xué)習(xí)應(yīng)用程序產(chǎn)生的大量數(shù)據(jù)。這就是CXL的用武之地。CXL提供有效的資源共享/池來(lái)提高性能，最大限度地減少對(duì)復(fù)雜軟件的需求，并降低系統(tǒng)總成本。CXL的好處#CXL為企業(yè)和數(shù)據(jù)中心運(yùn)營(yíng)商帶來(lái)多種優(yōu)勢(shì)，包括：實(shí)現(xiàn)了計(jì)算和存儲(chǔ)資源的分離，不再局限于CPU，GPU、FPGA都可以實(shí)現(xiàn)CXL協(xié)議共享內(nèi)存資源并實(shí)現(xiàn)跟CPU的數(shù)據(jù)交互。提供了比內(nèi)存插槽所能容納的更多的容量和帶寬。通過(guò)CXL連接設(shè)備，計(jì)算資源的擴(kuò)展會(huì)變的更加容易。內(nèi)存變得更加彈性，按需分配、動(dòng)態(tài)遷移都將變成可能。允許CPU結(jié)合DRAM內(nèi)存使用額外內(nèi)存。CXLvs.

PCIevs.

NVLink互連技術(shù)在計(jì)算領(lǐng)域的進(jìn)步中發(fā)揮著關(guān)鍵作用，而CXL、PCIe和NVLink則代表了當(dāng)前領(lǐng)先的互連標(biāo)準(zhǔn)。以下是它們之間的對(duì)比：#帶寬和速度CXL：CXL在帶寬方面表現(xiàn)卓越，CXL2.0支持32GT/s的數(shù)據(jù)傳輸速率，CXL3.0支持64GT/s的數(shù)據(jù)傳輸速率。這使得CXL能夠更有效地滿足處理大規(guī)模數(shù)據(jù)和高性能計(jì)算工作負(fù)載的需求。PCIe：PCIe4.0的速度為16GT/s，PCIe5.0為32GT/s，PCIe6.0提供了64GT/s的速度。PCIe一直是計(jì)算系統(tǒng)中最廣泛使用的互連技術(shù)之一。NVLink：NVLink同樣提供高帶寬，適用于連接NVIDIAGPU。其速度通常與PCIe5.0相當(dāng)，但在GPU之間的通信中具有更低的延遲。#內(nèi)存共享CXL：CXL引入了內(nèi)存共享的概念，使得不同設(shè)備能夠直接訪問(wèn)共享的內(nèi)存。這大大提高了內(nèi)存訪問(wèn)的效率，尤其在大規(guī)模數(shù)據(jù)處理的場(chǎng)景中。PCIe：PCIe通常需要通過(guò)額外的數(shù)據(jù)傳輸步驟實(shí)現(xiàn)設(shè)備之間的內(nèi)存共享，這可能引入一些額外的延遲。NVLink：NVLink也支持GPU之間的內(nèi)存共享，優(yōu)化了大規(guī)模并行計(jì)算的性能。#多用途性CXL：CXL被設(shè)計(jì)成一種通用的互連技術(shù)，可連接處理器、加速器、存儲(chǔ)等多種設(shè)備。其多用途性使得CXL在構(gòu)建靈活且高性能的系統(tǒng)時(shí)更具優(yōu)勢(shì)。PCIe：PCIe同樣是一種通用的互連技術(shù)，廣泛應(yīng)用于連接圖形卡、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)適配器等。NVLink：NVLink主要用于連接NVIDIAGPU，優(yōu)化了GPU之間的通信，適用于圖形處理、深度學(xué)習(xí)等對(duì)GPU性能要求較高的領(lǐng)域。#生態(tài)系統(tǒng)支持CXL：CXL的生態(tài)系統(tǒng)正在迅速發(fā)展，越來(lái)越多的廠商開(kāi)始支持CXL，并推出相應(yīng)的硬件和軟件產(chǎn)品。PCIe：PCIe是當(dāng)前計(jì)算領(lǐng)域中最成熟和廣泛應(yīng)用的互連技術(shù)之一，具有龐大的生態(tài)系統(tǒng)。NVLink：NVLink主要由NVIDIA支持，因此在生態(tài)系統(tǒng)上可能相對(duì)受限。#應(yīng)用領(lǐng)域CXL：CXL廣泛適用于數(shù)據(jù)中心、人工智能、科學(xué)計(jì)算等多個(gè)領(lǐng)域，具有靈活性和高性能的特點(diǎn)。PCIe：PCIe在各種應(yīng)用場(chǎng)景中都有廣泛應(yīng)用，從個(gè)人計(jì)算機(jī)到數(shù)據(jù)中心。NVLink：NVLink主要用于連接NVIDIAGPU，在圖形處理和深度學(xué)習(xí)等領(lǐng)域表現(xiàn)出色。CXL、PCIe和NVLink各自具有獨(dú)特的特點(diǎn)和優(yōu)勢(shì)，選擇取決于特定應(yīng)用的需求和硬件架構(gòu)的要求。CXL以其高帶寬、內(nèi)存共享和多用途性等方面的優(yōu)勢(shì)，在未來(lái)有望在高性能計(jì)算領(lǐng)域取得更大的影響。PCIe作為成熟的互連標(biāo)準(zhǔn)在各個(gè)層面都有強(qiáng)大的生態(tài)系統(tǒng)。NVLink則在與NVIDIAGPU的協(xié)同工作方面表現(xiàn)突出，適用于對(duì)GPU性能要求較高的領(lǐng)域。CXL協(xié)議和標(biāo)準(zhǔn)CXL聯(lián)盟于2019年第三季度成立，是一個(gè)開(kāi)放的行業(yè)標(biāo)準(zhǔn)組織，旨在創(chuàng)建技術(shù)規(guī)范，促進(jìn)數(shù)據(jù)中心加速器和其他高速改進(jìn)的開(kāi)放生態(tài)系統(tǒng)，同時(shí)為新的使用模式實(shí)現(xiàn)突破性的性能。目前CXL已經(jīng)發(fā)布了三個(gè)版本。CXL1.0：CXL的第一個(gè)版本于2019年3月發(fā)布，基于PCIe5.0。它允許主機(jī)CPU通過(guò)緩存一致性協(xié)議(CXL.cache)訪問(wèn)加速器設(shè)備上的共享內(nèi)存，并通過(guò)內(nèi)存語(yǔ)義(CXL.mem)實(shí)現(xiàn)內(nèi)存擴(kuò)展。CXL2.0：CXL的第二個(gè)版本于2020年11月發(fā)布，基于PCIe5.0。它支持CXL交換，將多個(gè)CXL設(shè)備連接到一個(gè)主機(jī)處理器或?qū)⒚總€(gè)設(shè)備匯集到多個(gè)主機(jī)處理器。它還實(shí)現(xiàn)了設(shè)備完整性和數(shù)據(jù)加密功能。CXL3.0：CXL的第三個(gè)版本于2022年8月發(fā)布，基于PCIe6.0。它支持比CXL2.0更高的帶寬和更低的延遲，并增加了設(shè)備熱插拔、電源管理和錯(cuò)誤處理等新功能。CXL規(guī)范描述了允許設(shè)備相互通信的三種協(xié)議。CXL.io：PCIe5.0協(xié)議的增強(qiáng)版本，可用于初始化、鏈接、設(shè)備發(fā)現(xiàn)、枚舉和寄存器訪問(wèn)。它為I/O設(shè)備提供非一致的加載/存儲(chǔ)接口。CXL.cache：一種緩存一致性協(xié)議，定義主機(jī)和設(shè)備之間的交互，允許連接的CXL設(shè)備使用請(qǐng)求和響應(yīng)方法以極低的延遲有效地緩存主機(jī)內(nèi)存。CXL.mem：一種內(nèi)存協(xié)議，主機(jī)處理器可以使用加載和存儲(chǔ)命令訪問(wèn)所連接設(shè)備的內(nèi)存，主機(jī)CPU充當(dāng)主設(shè)備，CXL設(shè)備充當(dāng)從設(shè)備。它可以支持易失性和持久性內(nèi)存架構(gòu)。所有CXL設(shè)備都必須使用CXL.io，但可以選擇支持CXL.cache或CXL.mem，或兩者都支持。這些組合派生出三種設(shè)備類型：類型1：沒(méi)有本地內(nèi)存的專用加速器（例如智能網(wǎng)卡）。設(shè)備依賴于使用CXL.io和CXL.cache協(xié)議對(duì)主機(jī)CPU內(nèi)存的一致訪問(wèn)。它們可以擴(kuò)展PCIe協(xié)議功能（例如原子操作），并且可能需要實(shí)現(xiàn)自定義排序模型。類型2：具有高性能本地內(nèi)存（GDDR或HBM）的通用加速器（GPU、ASIC或FPGA）。要訪問(wèn)主機(jī)CPU和設(shè)備內(nèi)存，設(shè)備可以使用CXL.io、CXL.cache和CXL.mem協(xié)議。它們可以支持一致和非一致事務(wù)。類型3：內(nèi)存擴(kuò)展板和沒(méi)有本地緩存的持久內(nèi)存設(shè)備。設(shè)備可以使用CXL.io和CXL.mem協(xié)議，通過(guò)加載和存儲(chǔ)命令為主機(jī)CPU提供對(duì)內(nèi)存的訪問(wèn)。它們可以支持易失性和持久性內(nèi)存架構(gòu)。由于CXL與PCIe緊密相關(guān)，新版本的CXL依賴于新版本的PCIe，接下來(lái)我們仔細(xì)研究一下CXL2.0和CXL3.0的區(qū)別。什么是CXL2.0如前所述，CXL建立在PCIe物理基礎(chǔ)之上，是一種連接標(biāo)準(zhǔn)，旨在管理比PCIe多得多的功能。除了充當(dāng)主機(jī)和設(shè)備之間的數(shù)據(jù)傳輸之外，CXL還支持三個(gè)分支：IO、Cache和Memory。這三者構(gòu)成了CXL1.0和1.1標(biāo)準(zhǔn)中定義的連接主機(jī)和設(shè)備的新方法的核心。更新后的CXL2.0標(biāo)準(zhǔn)對(duì)其進(jìn)行了改進(jìn)。CXL2.0沒(méi)有帶寬或延遲升級(jí)，因?yàn)樗匀换谙嗤腜CIe5.0物理標(biāo)準(zhǔn)，但它確實(shí)包含了某些急需的PCIe特定功能。相同的CXL.io、CXL.cache和CXL.mem內(nèi)在特性（處理如何處理數(shù)據(jù)以及在什么上下文中處理數(shù)據(jù)）是CXL2.0的核心，同時(shí)還引入了交換功能、更多的加密以及對(duì)永久內(nèi)存的支持。CXL2.0特性和優(yōu)點(diǎn)＞內(nèi)存池CXL2.0支持交換機(jī)啟用內(nèi)存池。主機(jī)可以通過(guò)CXL2.0交換機(jī)訪問(wèn)池中的一臺(tái)或多臺(tái)設(shè)備。雖然主機(jī)必須支持CXL2.0才能利用此功能，但可以在內(nèi)存設(shè)備中使用支持CXL1.0、1.1和2.0的硬件的組合。在1.0/1.1版本下，設(shè)備只能充當(dāng)單個(gè)邏輯設(shè)備，一次只能由一臺(tái)主機(jī)訪問(wèn)。而一個(gè)2.0級(jí)別的設(shè)備可以被劃分為無(wú)數(shù)個(gè)邏輯設(shè)備，從而使多達(dá)16個(gè)主機(jī)能夠同時(shí)訪問(wèn)內(nèi)存的各個(gè)部分。例如，為了將其工作負(fù)載的內(nèi)存需求與內(nèi)存池中的可用容量精確匹配，主機(jī)1(H1)可以使用設(shè)備1(D1)中一半的內(nèi)存和設(shè)備2(D2)中四分之一的內(nèi)存。最多16臺(tái)主機(jī)可以使用D1和D2設(shè)備的剩余空間。只有一臺(tái)主機(jī)可以使用設(shè)備D3和D4，分別兼容CXL1.0和1.1。＞CXL2.0交換了解PCIe交換機(jī)的用戶應(yīng)該知道，它們連接到具有一定數(shù)量通道（例如8個(gè)或16個(gè)通道）的主機(jī)處理器，然后支持下游大量附加通道以增加支持的設(shè)備數(shù)量。例如，典型的PCIe交換機(jī)有16個(gè)用于CPU連接的通道，但下游有48個(gè)PCIe通道以支持六個(gè)鏈接的GPU（每個(gè)通道為x8）。盡管存在上游瓶頸，但對(duì)于依賴GPU到GPU傳輸?shù)墓ぷ髫?fù)載來(lái)說(shuō)，交換機(jī)是最佳選擇，尤其是在CPU通道受限的系統(tǒng)上。CXL2.0現(xiàn)在支持交換標(biāo)準(zhǔn)。＞CXL2.0持久內(nèi)存CXL2.0持久內(nèi)存幾乎與DRAM一樣快，同時(shí)可以像NAND一樣存儲(chǔ)數(shù)據(jù)。長(zhǎng)期以來(lái)，人們一直不清楚這種存儲(chǔ)器是通過(guò)DRAM接口作為慢速大容量存儲(chǔ)器運(yùn)行，還是通過(guò)類存儲(chǔ)接口作為緊湊、快速存儲(chǔ)運(yùn)行。原始CXL標(biāo)準(zhǔn)的CXL.memory標(biāo)準(zhǔn)并不直接提供持久內(nèi)存，除非已經(jīng)連接了設(shè)備。但這一次，CXL2.0提供了額外的PMEM支持。CXL2.0安全CXL鏈路的點(diǎn)對(duì)點(diǎn)安全性是最重要的功能改進(jìn)。CXL2.0標(biāo)準(zhǔn)支持CXL控制器中的硬件加速進(jìn)行任意對(duì)任意通信加密。這是標(biāo)準(zhǔn)的一個(gè)可選組件，這意味著芯片提供商不必將其內(nèi)置，如果已經(jīng)內(nèi)置了也可以選擇啟用或禁用它。CXL2.0規(guī)范CXL2.0規(guī)范完全向后兼容CXL1.1和1.0，同時(shí)增加了對(duì)扇出交換的支持以連接到更多設(shè)備、內(nèi)存池以提高內(nèi)存利用效率、按需提供內(nèi)存容量，以及對(duì)持久性內(nèi)存的支持。#CXL2.0規(guī)范的主要亮點(diǎn)增加了交換功能，支持資源遷移、內(nèi)存擴(kuò)展和設(shè)備扇出。提供對(duì)內(nèi)存池的支持以增加內(nèi)存并減少或消除過(guò)度配置內(nèi)存的需要。通過(guò)添加鏈路級(jí)完整性和數(shù)據(jù)加密(CXLIDE)，為通過(guò)CXL鏈路傳輸?shù)臄?shù)據(jù)提供機(jī)密性、完整性和重放保護(hù)。什么是CXL3.0處理器、存儲(chǔ)、網(wǎng)絡(luò)和其他加速器都可以通過(guò)CXL3.0中的各種主機(jī)和加速器進(jìn)行池化和動(dòng)態(tài)尋址，從而進(jìn)一步分解服務(wù)器的架構(gòu)。這與CXL2.0處理內(nèi)存的方式類似。此外，CXL3.0支持跨交換機(jī)或交換結(jié)構(gòu)的組件/設(shè)備之間的直接通信。例如，兩個(gè)GPU可以在不使用主機(jī)CPU、內(nèi)存或網(wǎng)絡(luò)的情況下相互通信。#CXL3.0規(guī)范的亮點(diǎn)Fabric功能多頭和fabric連接設(shè)備增強(qiáng)的fabric管理可組合的分解基礎(chǔ)設(shè)施更好的可擴(kuò)展性和更高的資源利用率增強(qiáng)的內(nèi)存池多級(jí)交換新的增強(qiáng)一致性功能改進(jìn)了軟件功能帶寬加倍至64GT與CXL2.0相比零延遲完全向后兼容CXL2.0、CXL1.1和CXL1.0CXL3.0的特點(diǎn)＞CXL3.0開(kāi)關(guān)和扇出功能新的CXL交換和扇出功能是CXL3.0的主要特性之一。CXL2.0中添加了交換功能，使眾多主機(jī)和設(shè)備能夠位于單個(gè)CXL交換機(jī)級(jí)別上。得益于CXL3.0，CXL拓?fù)洮F(xiàn)在可以支持多交換層?？梢蕴砑痈嘣O(shè)備，每個(gè)EDSFF機(jī)架除了連接主機(jī)的架頂式CXL交換機(jī)外，還可以有一個(gè)CXL交換機(jī)。＞CXL3.0設(shè)備到設(shè)備通信

CXL還將P2P設(shè)備添加到設(shè)備通信中。P2P允許設(shè)備直接通信，無(wú)需通過(guò)主機(jī)進(jìn)行通信。＞CXL3.0一致性內(nèi)存共享CXL3.0支持一致內(nèi)存共享。這很重要，CXL2.0只允許在各種主機(jī)和加速器之間劃分內(nèi)存設(shè)備。CXL3.0

允許一致性域中的所有主機(jī)共享內(nèi)存，內(nèi)存得到了更有效的利用。＞CXL3.0：每個(gè)根端口支持多個(gè)設(shè)備CXL3.0中消除了先前對(duì)單個(gè)CXL根端口下行連接的Type-1/Type-2設(shè)備數(shù)量的限制。CXL2.0只允許這些處理設(shè)備中的一個(gè)出現(xiàn)在根端口的下游。CXL根端口現(xiàn)在可以實(shí)現(xiàn)Type-1/2/3設(shè)備的完整混合搭配設(shè)置。這尤其需要增加密度（每個(gè)主機(jī)有更多加速器）以及通過(guò)將多個(gè)加速器連接到單個(gè)交換機(jī)來(lái)使用新的點(diǎn)對(duì)點(diǎn)傳輸功能。＞CXL3.0：FabricCXL3.0允許非樹(shù)形拓?fù)?，例如環(huán)形、網(wǎng)狀和其他結(jié)構(gòu)，即使只有兩層交換機(jī)也是如此。各個(gè)節(jié)點(diǎn)的類型沒(méi)有限制，可以是主機(jī)，也可以是設(shè)備。CXL3.0甚至可以處理spine/leaf設(shè)計(jì)，其中流量通過(guò)頂部spine節(jié)點(diǎn)進(jìn)行路由，將流量進(jìn)一步路由回較低級(jí)別（leaf）節(jié)點(diǎn)，而這些節(jié)點(diǎn)又包含實(shí)際的主機(jī)/設(shè)備。＞CXL3.0：全局結(jié)構(gòu)附加內(nèi)存（GlobalFabricAttachedMemory）全局結(jié)構(gòu)附加內(nèi)存(GFAM)支持使用新的內(nèi)存、拓?fù)浜徒Y(jié)構(gòu)功能，通過(guò)進(jìn)一步分解特定主機(jī)的內(nèi)存，推進(jìn)了CXL的Type-3概念。從這個(gè)意義上說(shuō)，GFAM設(shè)備本質(zhì)上是主機(jī)和其他設(shè)備可以根據(jù)需要訪問(wèn)的共享內(nèi)存池。此外，易失性和非易失性存儲(chǔ)器（例如DRAM和閃存）可以組合在GFAM器件中。CXL3.0如何工作？CXL3.0與早期版本相比提供了多項(xiàng)升級(jí)。最重要的是引入了一種稱為混合模式的新模式，它結(jié)合了批處理和實(shí)時(shí)方法的最佳元素。CXL3.0中包含的其他改進(jìn)包括對(duì)更大數(shù)據(jù)集的支持、增強(qiáng)的性能等等。＞CXL3.0的優(yōu)勢(shì)CXL3.0具有多項(xiàng)優(yōu)勢(shì)，跨對(duì)等點(diǎn)的直接內(nèi)存訪問(wèn)是最有趣的特性之一（P2PDMA）。借助此功能，許多主機(jī)可以共享相同的內(nèi)存空間和資源。因此，模型靈活性和可擴(kuò)展性的使用以及性能也可以得到改善。CXL3.0的另一個(gè)優(yōu)勢(shì)是支持更快的速度和更高的電源效率，從而更好地利用資源并提高性能。此外，C