人工智能算力資源池技術(shù)規(guī)范

Q/LB.□XXXXX-XXXX人工智能算力資源池技術(shù)規(guī)范范圍本文件規(guī)定了人工智能算力資源池的總體架構(gòu)、總體要求、功能要求、兼容性要求、組件通信要求、部署集成要求及安全和可靠性要求。本文件適用于人工智能算力資源池的設(shè)計(jì)、開(kāi)發(fā)和運(yùn)維。規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T41867-2022信息技術(shù)人工智能術(shù)語(yǔ)GB/T42018-2022信息技術(shù)人工智能平臺(tái)計(jì)算資源規(guī)范術(shù)語(yǔ)、定義和縮略語(yǔ)術(shù)語(yǔ)和定義GB/T41867-2022、GB/T42018-2022界定的以及下列術(shù)語(yǔ)和定義適用于本文件。為方便使用,以下重復(fù)列出了GB/T42018-2022中的一些術(shù)語(yǔ)和定義。

人工智能加速卡artificialintelligenceacceleratingcard專(zhuān)為人工智能計(jì)算涉及、符合人工智能服務(wù)器硬件接口的擴(kuò)展加速設(shè)備。[來(lái)源：GB/T42018-2022，3.6]

物理計(jì)算資源physicalcomputingresource為人工智能應(yīng)用提供信息處理能力（如存儲(chǔ)、計(jì)算等）的實(shí)體設(shè)備。人工智能服務(wù)器、人工智能加速卡和人工智能加速模組等。[來(lái)源：GB/T42018-2022，3.3]

虛擬計(jì)算資源virtualcomputingresource為人工智能應(yīng)用提供信息處理能力（如存儲(chǔ)、計(jì)算等）的邏輯設(shè)備。邏輯設(shè)備是物理設(shè)備的虛擬化形態(tài)，它與物理設(shè)備間存在映射關(guān)系。[來(lái)源：GB/T42018-2022，3.4]

AI算力池化AIcomputingpowerpooling對(duì)物理計(jì)算資源進(jìn)行抽象，軟件化后形成一個(gè)統(tǒng)一的資源池，方便用戶(hù)按需對(duì)計(jì)算資源進(jìn)行有效調(diào)用，無(wú)需關(guān)注實(shí)際物理計(jì)算資源的大小、數(shù)量、型號(hào)以及安插的物理位置?？s略語(yǔ)下列縮略語(yǔ)適用于本文件。AI：人工智能（ArtificialIntelligence）API：應(yīng)用程序編程接口（ApplicationProgrammingInterface）ASIC：專(zhuān)用集成電路（ApplicationSpecificIntegratedCircuit）CPU：中央處理器（CentralProcessingUnit）FPGA：現(xiàn)場(chǎng)可編程邏輯門(mén)陣列（FieldProgrammableGateArray）GPU：圖形處理單元（GraphicsProcessingUnit）KVM：基于內(nèi)核的虛擬機(jī)（Kernel-basedVirtualMachine）總體架構(gòu)人工智能算力資源池總體架構(gòu)見(jiàn)圖1?？傮w架構(gòu)其中：人工智能業(yè)務(wù)：基于自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)等技術(shù)實(shí)現(xiàn)的業(yè)務(wù)應(yīng)用；異構(gòu)算力資源池：通過(guò)軟件定義的方式將多種異構(gòu)算力變成可動(dòng)態(tài)管理的資源池；運(yùn)行時(shí)：一套兼容各類(lèi)計(jì)算資源的API編程環(huán)境的運(yùn)行環(huán)境，模擬API編程的運(yùn)行時(shí)接口，實(shí)現(xiàn)與上層AI框架的對(duì)接和管理；調(diào)度控制服務(wù)：資源池的核心管理、調(diào)度模塊，實(shí)現(xiàn)對(duì)節(jié)點(diǎn)IP地址、物理計(jì)算資源信息、虛擬計(jì)算資源信息以及應(yīng)用任務(wù)信息等的匯總管理；運(yùn)維管理：提供圖形用戶(hù)界面，實(shí)現(xiàn)資源池全方位管理與監(jiān)控；AI算力池化服務(wù)：發(fā)現(xiàn)并管理節(jié)點(diǎn)上的物理計(jì)算資源，將物理計(jì)算資源池化，將計(jì)算能力提供給集群中各個(gè)物理節(jié)點(diǎn)，以及各個(gè)物理節(jié)點(diǎn)上的虛擬機(jī)、容器；異構(gòu)算力：GPU、FPGA、ASIC等多種計(jì)算資源?？傮w要求資源池應(yīng)采用分布式架構(gòu)、模塊化設(shè)計(jì)，在架構(gòu)及功能方面應(yīng)具備良好的系統(tǒng)可擴(kuò)展能力，使得系統(tǒng)在為用戶(hù)提供服務(wù)的過(guò)程中能實(shí)現(xiàn)平滑擴(kuò)展，持續(xù)運(yùn)行。資源池應(yīng)支持納管GPU、FPGA、ASIC等各類(lèi)異構(gòu)計(jì)算資源。資源池采用的軟硬件應(yīng)便于安裝、升級(jí)，并具有友好的管理界面。資源池應(yīng)具備人工智能應(yīng)用和計(jì)算資源的解耦能力，在同一集群的任意節(jié)點(diǎn)上運(yùn)行人工智能業(yè)務(wù)均可調(diào)用人工智能算力資源池內(nèi)的資源。資源池應(yīng)具備提供細(xì)粒度算力資源的能力。虛擬算力資源池本地調(diào)用性能損耗應(yīng)不高于1%，RDMA網(wǎng)絡(luò)情況下遠(yuǎn)程調(diào)用性能損耗不高于8%。資源池應(yīng)對(duì)能耗進(jìn)行有效的監(jiān)控和管理，通過(guò)遠(yuǎn)程管理提高運(yùn)維管理效率。資源池應(yīng)支持業(yè)務(wù)不停機(jī)的灰度升級(jí)部署。資源池在運(yùn)維管理方面應(yīng)具備計(jì)算資源全局監(jiān)控、告警、日志、數(shù)據(jù)統(tǒng)計(jì)、報(bào)表等能力。功能要求池化管理功能應(yīng)支持AI應(yīng)用與物理計(jì)算資源解耦合，AI應(yīng)用向資源池軟件調(diào)取虛擬計(jì)算資源，資源池軟件再匹配物理計(jì)算資源；應(yīng)支持多臺(tái)物理計(jì)算資源節(jié)點(diǎn)跨機(jī)資源聚合，為單一容器/虛擬機(jī)提供多卡虛擬計(jì)算資源；應(yīng)支持運(yùn)行在普通CPU節(jié)點(diǎn)的人工智能業(yè)務(wù)通過(guò)網(wǎng)絡(luò)遠(yuǎn)程調(diào)用物理GPU計(jì)算資源節(jié)點(diǎn)上的虛擬計(jì)算資源；應(yīng)支持虛擬計(jì)算資源動(dòng)態(tài)調(diào)整，無(wú)需重新加載/重置/重啟容器/虛擬機(jī)等運(yùn)行環(huán)境。池化調(diào)度功能應(yīng)支持配置多種算力資源池任意調(diào)度策略,包括本地調(diào)度、本地優(yōu)先、節(jié)點(diǎn)均衡/緊湊、設(shè)備均衡/緊湊等調(diào)度策略；應(yīng)支持為不同的AI任務(wù)提供個(gè)性化的計(jì)算資源調(diào)度策略；應(yīng)支持AI任務(wù)調(diào)度計(jì)算資源時(shí)，可指定物理計(jì)算資源節(jié)點(diǎn)、人工智能加速卡芯片型號(hào)。提供任意規(guī)格算力資源功能應(yīng)支持為上層業(yè)務(wù)提供聚合多臺(tái)計(jì)算資源節(jié)點(diǎn)上的物理計(jì)算資源的能力，提升計(jì)算能力。應(yīng)支持為上層業(yè)務(wù)提供的虛擬計(jì)算資源按照算力1%和顯存1MB兩個(gè)維度進(jìn)行任意切分，提供小算力資源，提供給小任務(wù)使用，以此節(jié)約算力使用。虛擬算力資源隔離功能應(yīng)支持同一張人工智能加速卡上多任務(wù)虛擬計(jì)算資源并發(fā)運(yùn)行，虛擬計(jì)算資源多任務(wù)隔離保護(hù)，異常虛擬計(jì)算資源任務(wù)不影響其他正常任務(wù)。業(yè)務(wù)熱遷移功能應(yīng)支持人工智能業(yè)務(wù)無(wú)需中斷的業(yè)務(wù)遷移能力，遷移過(guò)程中不影響AI業(yè)務(wù)對(duì)計(jì)算資源的遠(yuǎn)程調(diào)用，能夠有效保證業(yè)務(wù)連續(xù)性，減少上層業(yè)務(wù)宕機(jī)時(shí)間，提升用戶(hù)使用體驗(yàn)。橫向擴(kuò)展功能應(yīng)支持資源池平滑擴(kuò)容、縮容，支持添加和刪除計(jì)算資源節(jié)點(diǎn)或者人工智能加速卡。兼容性要求網(wǎng)絡(luò)兼容性：TCP/IP以太網(wǎng)絡(luò)、RDMA網(wǎng)絡(luò)（InfiniBand和RoCE）。GPU設(shè)備兼容性：NVIDIAGPU、寒武紀(jì)MLU、中科海光DCU。API版本兼容性：NVIDIACUDA、寒武紀(jì)Neuware、中科海光ROCm。操作系統(tǒng)兼容性：64位CentOS6/7、64位Ubuntu16/18/20。云平臺(tái)兼容性：容器環(huán)境、kubernetes環(huán)境、KVM環(huán)境。深度學(xué)習(xí)框架：TensorFlow、Pytorch、PaddlePaddle、MXNet、Xgboost、Deepsheech、NVCaffe、TensorRT、ONNX。組件通信要求管理平面網(wǎng)絡(luò)在部署人工智能算力資源池時(shí)，使用基于TCP/IP網(wǎng)絡(luò)的管理平面，來(lái)承載整個(gè)系統(tǒng)的管理工作。通過(guò)管理網(wǎng)絡(luò)，分布在各個(gè)節(jié)點(diǎn)的功能組件都保持和GPU資源池控制模塊同步。管理平面網(wǎng)絡(luò)邏輯結(jié)構(gòu)見(jiàn)圖2。管理平面網(wǎng)絡(luò)通過(guò)私有的同步協(xié)議，分布式部署的各個(gè)功能組件應(yīng)滿(mǎn)足如下要求：算力資源池控制模塊支持多副本、高可用的部署模式；各個(gè)功能組件啟動(dòng)的次序無(wú)要求；當(dāng)某一個(gè)功能組件從錯(cuò)誤中恢復(fù)之后，可以自動(dòng)同步到正確狀態(tài)。數(shù)據(jù)平面網(wǎng)絡(luò)在應(yīng)用運(yùn)行的過(guò)程中，應(yīng)用所在環(huán)境和計(jì)算資源物理節(jié)點(diǎn)之間的數(shù)據(jù)傳輸使用的是資源池軟件的數(shù)據(jù)面。該數(shù)據(jù)面支持多種后端數(shù)據(jù)傳輸載體，包括TCP/IP以太網(wǎng)絡(luò)、RoCERDMA、InfinibandRDMA、ShareMemory等。數(shù)據(jù)平面網(wǎng)絡(luò)邏輯結(jié)構(gòu)見(jiàn)圖3。數(shù)據(jù)平面網(wǎng)絡(luò)數(shù)據(jù)平面網(wǎng)絡(luò)應(yīng)滿(mǎn)足如下要求：——高帶寬、低延遲；——同時(shí)支持多種傳輸協(xié)議，根據(jù)優(yōu)先級(jí)自動(dòng)使用高性能的傳輸方式；——支持虛擬機(jī)、容器和宿主機(jī)之間的TCP/IP網(wǎng)絡(luò)隔離。部署集成要求部署要求資源池的各個(gè)服務(wù)組件，應(yīng)支持集中式單機(jī)部署或者分布式多機(jī)部署，部署形式包括直接部署在裸金屬服務(wù)器上，即安裝操作系統(tǒng)后，直接以Binary形式部署，也支持以容器鏡像方式部署。集成要求資源池應(yīng)具備適配多種Linux操作系統(tǒng)和云平臺(tái)的能力，同時(shí)支持基于KVM的虛擬機(jī)云平臺(tái)和基于Docker的容器云平臺(tái)。應(yīng)支持原生容器，提供完善的虛擬GPU資源調(diào)度插件，以實(shí)現(xiàn)和Kubernetes的平滑對(duì)接。安全和可靠性要求安全要求資源池架構(gòu)應(yīng)考慮系統(tǒng)整體運(yùn)行的安全策略和機(jī)制，應(yīng)采用多種安全技術(shù)手段，為系統(tǒng)提供完善的安全保障。應(yīng)具備自動(dòng)或手動(dòng)恢復(fù)措施，保證發(fā)生故障時(shí)能夠快速恢復(fù)正常運(yùn)行。資源池應(yīng)對(duì)登錄操作系統(tǒng)、數(shù)據(jù)庫(kù)系統(tǒng)和應(yīng)用系統(tǒng)的用戶(hù)進(jìn)行身份標(biāo)識(shí)和鑒別，應(yīng)嚴(yán)格限制匿名用戶(hù)的訪(fǎng)問(wèn)權(quán)限；對(duì)管理系統(tǒng)本身的操作進(jìn)行分權(quán)、分級(jí)管理。資源池內(nèi)主機(jī)應(yīng)具備對(duì)外界入侵、惡意代碼的告警、監(jiān)控和防護(hù)功能。資源池應(yīng)對(duì)物理計(jì)算資源使用情況進(jìn)行有效的監(jiān)