CloudFabric云數(shù)據(jù)中心網(wǎng)解決方案-ZTP設(shè)計指南

1、 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY PartNumber DOCPROPERTY Product&Project Name CloudFabric云數(shù)據(jù)中心網(wǎng)解決方案 DOCPROPERTY DocumentName 設(shè)計指南（ZTP） DOCPROPERTY Product&Project NameCloudFabric云數(shù)據(jù)中心網(wǎng)解決方案 DOCPROPERTY DocumentName 設(shè)計指南（ZTP） STYLEREF Contents 目 錄文檔版本 DOCPROPERTY DocumentVersion * MER

2、GEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司PAGE ii DOCPROPERTY DocumentVersion * MERGEFORMAT 01 DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司PAGE xxix DOCPROPERTY DocumentVersion * MERGEFORMAT 01 DOCPROPERTY Propri

3、etaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司 STYLEREF 1 Why ZTP文檔版本 DOCPROPERTY DocumentVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司PAGE 1Why ZTP在新建數(shù)據(jù)中心場景，主要困難在于接入交換機設(shè)備數(shù)量極大，如果這些設(shè)備均通過人工手動配置則非常容易出錯，且出錯后很難排查具體錯誤位置，進而導(dǎo)致數(shù)據(jù)中心

4、業(yè)務(wù)上線延期。在擴容數(shù)據(jù)中心場景，則可能因為配置不當(dāng)而影響已經(jīng)部署的業(yè)務(wù)。針對這種設(shè)備大規(guī)模部署場景，產(chǎn)生了ZTP（ZTP，Zero Touch Provisioning）零配置開局技術(shù)，實現(xiàn)批量、自動化地為交換機下發(fā)設(shè)備程序及設(shè)備啟動文件，優(yōu)化開局部署流程，加快業(yè)務(wù)上線速度。零配置開局功能可以提高設(shè)備部署、日常維護和故障處理的效率，降低人力成本。當(dāng)設(shè)備規(guī)劃完成后，無需網(wǎng)絡(luò)管理員到安裝現(xiàn)場對設(shè)備進行軟件調(diào)試，在設(shè)備空配置的情況下，設(shè)備上電后即可自動連接到指定的管理設(shè)備，加載指定的配置文件、設(shè)備軟件大包、license文件等系統(tǒng)文件，實現(xiàn)設(shè)備快速部署。iMaster NCE-Fabric實現(xiàn)Cl

5、oudEngine系列交換機設(shè)備零配置部署，提供以下亮點特性：即插即用批量上線開放可定制設(shè)備上線可視化設(shè)備證書認證接入高安全鏈路校驗減少連接錯誤 DOCPROPERTY Product&Project NameCloudFabric云數(shù)據(jù)中心網(wǎng)解決方案 DOCPROPERTY DocumentName 設(shè)計指南（ZTP） STYLEREF 1 n * MERGEFORMAT 1 STYLEREF 1 Why ZTP文檔版本 DOCPROPERTY DocumentVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOC

6、PROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司PAGE 10方案概述 HYPERLINK l _ZH-CN_TOPIC_0206585858 o 2.1 ZTP組網(wǎng) HYPERLINK l _ZH-CN_TOPIC_0206585859 o 2.2 場景分類 HYPERLINK l _ZH-CN_TOPIC_0206592731 o 2.3 流程概覽 HYPERLINK l _ZH-CN_TOPIC_0206587414 o 2.4 實現(xiàn)原理ZTP組網(wǎng)CloudFabric數(shù)據(jù)中心物理組網(wǎng)采用Spine-Leaf架構(gòu)，支持

7、橫向按需擴容，組網(wǎng)中包含的角色有Spine、Server Leaf、Border Leaf、Service Leaf、DCI-Gateway。其中Server Leaf數(shù)量眾多，對自動化上線的訴求最強烈，因此當(dāng)前ZTP開局主要聚焦在Server Leaf上。Server Leaf節(jié)點支持M-LAG、單機組網(wǎng)，適合不同的服務(wù)器接入場景，由于服務(wù)器M-LAG雙歸接入可靠性高，而且M-LAG設(shè)備各自有獨立的控制面，升級維護簡單，所以推薦M-LAG方式組網(wǎng)。CloudFabric解決方案支持如圖所示三層組網(wǎng)和二層組網(wǎng)兩種架構(gòu)。三層組網(wǎng)架構(gòu)：Spine與Border Leaf、Service Leaf獨

8、立部署，角色分離組網(wǎng)，適合大規(guī)模網(wǎng)絡(luò)場景二層組網(wǎng)架構(gòu)：Spine、Border Leaf、Service Leaf三者融合，適合中小規(guī)模網(wǎng)絡(luò)場景ZTP支持CloudFabric解決方案三層組網(wǎng)和二層組網(wǎng)架構(gòu)場景，支持Underlay IPv4場景對CE設(shè)備的ZTP自動化上線，不支持Underlay IPv6場景。ZTP三層組網(wǎng)基線組網(wǎng)示意ZTP二層組網(wǎng)基線組網(wǎng)示意場景分類ZTP支持CE設(shè)備的開局、擴容以及設(shè)備替換場景。ZTP開局新建數(shù)據(jù)中心或新建POD場景，ZTP支持開局場景，實現(xiàn)自動化版本加載和配置導(dǎo)入，實現(xiàn)設(shè)備自動化上線。ZTP擴容CloudFabric網(wǎng)絡(luò)支持靈活組網(wǎng)、彈性擴容：當(dāng)服務(wù)器

9、數(shù)量增加時，可相應(yīng)增加Server Leaf數(shù)量；當(dāng)Spine轉(zhuǎn)發(fā)帶寬不足時，可相應(yīng)增加Spine節(jié)點個數(shù)。ZTP支持擴容場景，實現(xiàn)擴容設(shè)備的自動化上線。ZTP設(shè)備替換當(dāng)CE設(shè)備發(fā)生故障或升級更替時，需要進行設(shè)備替換操作。ZTP支持設(shè)備替換場景，實現(xiàn)替換設(shè)備的自動化上線。流程概覽在使用ZTP方式進行自動化部署時，分為“帶內(nèi)組網(wǎng)場景”和“帶外組網(wǎng)場景”兩種，兩者的組網(wǎng)方式和開通流程有所差別：帶內(nèi)組網(wǎng)場景是指開局設(shè)備與控制器之間的管理流量和后續(xù)的業(yè)務(wù)流量共用一張網(wǎng)絡(luò)，共同使用業(yè)務(wù)網(wǎng)口，沒有單獨的管理交換機或管理網(wǎng)絡(luò)。帶外組網(wǎng)場景是指開局設(shè)備與控制器之間的管理網(wǎng)絡(luò)和業(yè)務(wù)網(wǎng)絡(luò)分開部署且需要部署獨立管理

10、交換機。帶外管理網(wǎng)又分為帶外Meth口管理網(wǎng)和VPN隔離的帶外管理網(wǎng)。兩者的區(qū)別是管理口的配置不同：帶外Meth口管理網(wǎng)中Meth口綁定設(shè)備管理IPVPN隔離的帶外管理網(wǎng)中管理口（Meth口）綁定管理VPN帶外組網(wǎng)ZTP開通順序ZTP帶外管理網(wǎng)開通順序如圖所示。手工部署開通：手工部署控制器/DHCP/SFTP服務(wù)器（可選），詳見“手工部署DHCP/SFTP服務(wù)器款型說明”。手工部署開通：帶外管理交換機。ZTP自動開通：第1層Spine設(shè)備。ZTP自動開通：第2層Server Leaf設(shè)備。ZTP自動開通：Server Leaf接入側(cè)端口，通過服務(wù)器擴容的意圖網(wǎng)絡(luò)實現(xiàn)（非ZTP范圍，參見意圖網(wǎng)絡(luò)

11、設(shè)計指南）。手工部署DHCP/SFTP服務(wù)器款型說明：支持控制器內(nèi)置DHCP/SFTP服務(wù)器的設(shè)備款型目前包括：CE16800（V2/V3）、CE6881、CE6863、CE8851、CE6866、CE5881，其他CE款型需手工部署第三方DHCP/SFTP服務(wù)器。如果開局款型既有上述支持內(nèi)置DHCP/SFTP服務(wù)器的款型又有其他CE款型的混合場景，則需要部署第三方DHCP/SFTP服務(wù)器。CE16800（V2/V3）、CE6881、CE6863、CE8851、CE6866、CE5881款型除了支持控制器內(nèi)置DHCP/SFTP服務(wù)外，也支持第三方服務(wù)器。帶外組網(wǎng)ZTP開通順序示意圖帶內(nèi)組網(wǎng)ZT

12、P開通順序圖2為ZTP功能帶內(nèi)管理標準組網(wǎng)，iMaster NCE-Fabric對各開局設(shè)備的管理流量和后續(xù)的業(yè)務(wù)流量共用一張網(wǎng)絡(luò)，沒有單獨的管理網(wǎng)絡(luò)。ZTP帶內(nèi)管理網(wǎng)開通順序如圖所示。手工部署開通：手工部署控制器/DHCP/SFTP服務(wù)器（可選），詳見“手工部署DHCP/SFTP服務(wù)器款型說明”。手工部署開通：第1層設(shè)備通過手工部署上線，首層設(shè)備我們也稱為根設(shè)備。ZTP自動開通：第2層Spine設(shè)備。ZTP自動開通：第3層Server Leaf設(shè)備。ZTP自動開通：Server Leaf接入側(cè)端口，通過服務(wù)器擴容的意圖網(wǎng)絡(luò)實現(xiàn)（非ZTP范圍，參見意圖網(wǎng)絡(luò)設(shè)計指南）。帶內(nèi)組網(wǎng)ZTP開通順序示意

13、圖實現(xiàn)原理ZTP作為網(wǎng)絡(luò)自動化部署的一個服務(wù)組件，其總體目標為實現(xiàn)設(shè)備underlay配置自動化，設(shè)備通過ZTP上線后，可自動被控制器納管，自動加入到fabric，為overlay業(yè)務(wù)發(fā)放做好充分準備。設(shè)備通過ZTP上線的關(guān)鍵點在于，ZTP程序如何識別零配置上電的設(shè)備，將設(shè)備的配置文件或網(wǎng)絡(luò)規(guī)劃參數(shù)精準地推送給該設(shè)備。傳統(tǒng)ZTP的方案采用設(shè)備的ESN、MAC等唯一信息作為設(shè)備身份的唯一索引，雖然也能夠?qū)崿F(xiàn)精準的配置文件或網(wǎng)絡(luò)規(guī)劃參數(shù)推送，但由于獲取和收集設(shè)備ESN或MAC的人工操作相對繁瑣。iMaster NCE-Fabric ZTP采用人為規(guī)劃設(shè)備唯一索引的方式來開局，這種自定義索引方式作為

14、設(shè)備身份標識更符合用戶習(xí)慣，也消除對設(shè)備ESN號等依賴。在實際部署過程中，用戶可以使用便于規(guī)劃和管理的信息作為設(shè)備唯一索引，例如使用設(shè)備物理位置RoomNum-ShelfNum-FrameNum作為設(shè)備索引。該唯一索引隨拓撲模板導(dǎo)入控制器，由控制器將待開局設(shè)備的身份索引配置到已上線設(shè)備的互聯(lián)端口，再由已上線設(shè)備的互聯(lián)口通過LLDP TLV字段通知給對端設(shè)備（也就是待上線設(shè)備），待上線設(shè)備收到該TLV后，將該索引信息寫到設(shè)備Sysname中。同時，待上線設(shè)備從DHCP Server獲取臨時IP，向控制器發(fā)起建立連接請求，控制器接收到請求后，向設(shè)備獲取sysname即可識別該設(shè)備身份，進而實現(xiàn)精準

15、推送該設(shè)備的配置或規(guī)劃信息。通過自定義設(shè)備索引方式自動化上線原理下面結(jié)合上圖進行說明。首先手工開通第1層Server Leaf設(shè)備組，使之成為已上線設(shè)備。然后導(dǎo)入規(guī)劃拓撲文件，執(zhí)行ZTP開局，接下來已上線設(shè)備和待上線設(shè)備都會執(zhí)行ZTP腳本，已上線設(shè)備的Server Leaf設(shè)備從控制器獲取到與自身相關(guān)的拓撲規(guī)劃信息，獲取自己與第2層Spine設(shè)備的連接信息，例如：Server LeafA的port 1連接Spine A- Port 1，Server Leaf A的Port 2連接Spine B的Port1。然后Server LeafA的port 1發(fā)送LLDP報文攜帶TLV告知對端設(shè)備的索引為

16、Spine A的索引，同樣Server LeafA的port 2發(fā)送LLDP TLV告知對端設(shè)備的索引為Spine B的索引。Spine A和Spine B設(shè)備將LLDP收到的索引信息作為Sysname。如前所述，ZTP組網(wǎng)大多為Spine-Leaf三層或二層的多層架構(gòu)，而LLDP一個只能在直聯(lián)的相鄰節(jié)點間通信的協(xié)議，下一層Server Leaf設(shè)備需要依賴上層已上線的Spine設(shè)備獲取自身索引，身份索引是一個逐級擴散上線過程。因此，ZTP過程設(shè)備需要分層/逐層上線，即Spine層設(shè)備先上線，待Spine上線完成后再進行Server Leaf層上線。另一種場景，如下圖所示的帶外組網(wǎng)，其中的帶外

17、管理交換機不支持運行ZTP腳本無法通過LLDP攜帶下一層設(shè)備身份索引屬性，此時我們通過將第1層待上線的Spine設(shè)備通過ESN號身份識別，根據(jù)ESN號獲取配置或規(guī)劃信息ZTP上線，使第1層設(shè)備成為已上線設(shè)備，然后第2層Server Leaf設(shè)備再通過用戶自定義的身份索引自動化上線。整個過程只有Spine需要輸入ESN號，其他設(shè)備仍然使用自定義的身份索引。帶外組網(wǎng)情況下Spine-Leaf身份識別原理接下來，我們以Server Leaf設(shè)備上線為例，進一步說明ZTP上線原理。預(yù)置條件：管理員按照拓撲規(guī)劃完成對設(shè)備進行上架等物理安裝和連線。管理員導(dǎo)入規(guī)劃拓撲等開局文件，在控制器上執(zhí)行ZTP開局，S

18、pine設(shè)備（第1層）ZTP上線成功，成為已上線設(shè)備。ZTP上線過程ZTP STEP 1：發(fā)現(xiàn)階段：待上線設(shè)備上電后，作為DHCP客服端自動發(fā)起DHCP DISCOVER廣播請求報文尋找DHCP Server服務(wù)器；提供階段：DHCP服務(wù)器從地址池選擇一個IP地址，通過DHCP OFFER報文發(fā)送給DHCP用戶端；選擇階段：如果有多臺DHCP服務(wù)器向DHCP用戶端回應(yīng)DHCP OFFER報文，則DHCP用戶端只接收第一個收到的DHCP OFFER報文。然后以廣播方式發(fā)送DHCP REQUEST請求報文，該報文中包含服務(wù)器標識選項（Option54），即它選擇的DHCP服務(wù)器的IP地址信息確認階

19、段：當(dāng)DHCP服務(wù)器收到DHCP用戶端回答的DHCP REQUEST報文后，DHCP服務(wù)器會根據(jù)DHCP REQUEST報文中攜帶的MAC地址來查找有沒有相應(yīng)的租約記錄。如果有，則向用戶端發(fā)送包含它所提供的IP地址和其它設(shè)置的DHCP ACK確認報文。待上線設(shè)備通過上述DHCP過程獲取到臨時管理IP地址，并且DHCP服務(wù)器還會通過OPTION148告知用戶端控制器地址和Port，以便設(shè)備后續(xù)發(fā)起認證和建鏈。帶內(nèi)組網(wǎng)時，為了能讓DHCP報文穿過Spine和根設(shè)備到達DHCP Server，ZTP還需要自動在Spine下行接口關(guān)聯(lián)的VLANIf上起DHCP Relay，作為待上線設(shè)備的DHCP網(wǎng)關(guān)

20、。等到所有的Server Leaf全都上線完成后，再自動刪除DHCP Relay的相關(guān)配置，將Spine下行接口恢復(fù)為實際業(yè)務(wù)組網(wǎng)要求的三層互聯(lián)口配置。ZTP STEP 2：如前面所述，Spine設(shè)備作為已上線設(shè)備，通過LLDP報文攜帶對端待上線設(shè)備身份索引，待上線的Server Leaf接收該報文后，將身份索引設(shè)置為系統(tǒng)Sysname。待上線設(shè)備向目標控制器發(fā)起callhome建連請求，通過證書方式認證，建立Netconf安全通道。華為ZTP支持設(shè)備證書認證，提供設(shè)備高安全接入能力。ZTP STEP 3：待上線設(shè)備通過認證后，控制器向設(shè)備發(fā)起身份識別請求，獲取設(shè)備Sysname或ESN號，并

21、根據(jù)該身份信息生成待上線設(shè)備相關(guān)的拓撲規(guī)劃文件（CSV格式）。待上線設(shè)備通過SFTP協(xié)議從控制器獲取拓撲規(guī)劃文件，并從SFTP服務(wù)器獲取其他開局文件，包括配置模板、版本大包、Python腳本、License文件。其中配置模板是一個包含參數(shù)的設(shè)備配置文件，參數(shù)實例化以后就可以生成設(shè)備可加載的配置文件。待上線設(shè)備從拓撲規(guī)劃文件中獲取設(shè)備規(guī)劃參數(shù)，對配置模板的參數(shù)進行實例化替換。例如配置模板中LoopBack1接口下配置ip address ，規(guī)劃文件中LoopBack1對應(yīng)的參數(shù)為/32，那么最終生成的配置為ip address 32。待配置文件生成后，將其作為設(shè)備下次重啟要加載的配置文件。同樣，

22、將版本大包作為下次重啟要加載的軟件程序。接下來，執(zhí)行設(shè)備重啟操作。ZTP STEP 4：設(shè)備重啟后，待上線設(shè)備向控制器發(fā)起callhome注冊請求建立連接，控制器對設(shè)備進行身份驗證，網(wǎng)絡(luò)互聯(lián)校驗，校驗成功后納管設(shè)備，此時設(shè)備的管理IP為正式地址，由控制器從管理地址池分配或由用戶自定義規(guī)劃地址。同時，ZTP還支持鏈路校驗，系統(tǒng)會自動根據(jù)LLDP拓撲信息與拓撲規(guī)劃文件中的鏈路信息進行比較，給出校驗結(jié)果。幫助網(wǎng)絡(luò)管理員及時發(fā)現(xiàn)鏈路連接問題。 DOCPROPERTY Product&Project NameCloudFabric云數(shù)據(jù)中心網(wǎng)解決方案 DOCPROPERTY DocumentName 設(shè)

23、計指南（ZTP） STYLEREF Appendix heading 1 n * MERGEFORMAT Error! No text of specified style in document. STYLEREF Appendix heading 1 Error! No text of specified style in document.ZTP介紹 HYPERLINK l _ZH-CN_TOPIC_0206592529 o 3.1 開局文件 HYPERLINK l _ZH-CN_TOPIC_0206592730 o 3.2 開局準備 HYPERLINK l _ZH-CN_TOPIC_0

24、206605329 o 3.3 ZTP開局 HYPERLINK l _ZH-CN_TOPIC_0214613856 o 3.4 ZTP擴容&設(shè)備替換 HYPERLINK l _ZH-CN_TOPIC_0270841838 o 3.5 Overlay組網(wǎng)開局文件固定類文件：此類文件內(nèi)容固定，無需管理員修改，包括：*.cc：設(shè)備軟件版本文件*.dat：設(shè)備License文件（Index.xml為設(shè)備ESN和License對應(yīng)關(guān)系，需手工制作）局點定制類文件：此類文件的部分內(nèi)容在局點間有差異，因此需在模板基礎(chǔ)上定制。包括：.xlsx：網(wǎng)絡(luò)規(guī)劃文件，導(dǎo)入到控制器的拓撲信息選擇性定制類文件，若局點配置與

25、基線配置有差異，需要服務(wù)自定義文件內(nèi)容，包括：basic_.cfg：配置模板xxx.xxx.xxx.xxx.cfg：配置文件，以管理IP地址命名*.py：設(shè)備運行的ZTP腳本ZTP文件示意圖ZTP開局文件一覽參見下表。開局文件說明類型文件名稱文件用途可選來源規(guī)劃文件*.xlsx網(wǎng)絡(luò)拓撲規(guī)劃文件，用于將設(shè)備互聯(lián)關(guān)系傳遞給控制器。用戶可從控制器界面下載該文件的模板必選支持控制器自動生成（經(jīng)典規(guī)劃）自定義規(guī)劃文件導(dǎo)入(現(xiàn)網(wǎng)規(guī)劃)，包括從iDesigner、CloudFabric設(shè)計工具導(dǎo)出的規(guī)劃文件配置模板basic_leaf_single_mlag.cfg標準配置模板，供Server Leaf設(shè)備

26、（單機和M-Lag模式通用）使用配置模板和配置文件兩種類型：二選一支持控制器內(nèi)置（標準模板）解決方案資料提供基礎(chǔ)模板，服務(wù)可自定義（自定義模板）basic_spine.cfg標準配置模板，供Spine設(shè)備使用（單機）basic_spine_border_mlag.cfg標準配置模板，供Spine和Border Leaf/Service Leaf合設(shè)時使用配置文件xxx.xxx.xxx.xxx.cfg設(shè)備配置文件，文件名為設(shè)備管理IP工具生成或服務(wù)手工制作腳本文件（R19C00版本及以前版本）boot.py設(shè)備啟動腳本文件，用于待上線/待替換設(shè)備的初始化啟動可選僅在使用第三方服務(wù)器時導(dǎo)入init

27、ial.py初始配置腳本文件，用于待上線/待替換設(shè)備側(cè)配置的生成或下載必選支持控制器內(nèi)置（標準腳本）解決方案資料提供基礎(chǔ)腳本，服務(wù)可自定義（自定義腳本）ztp_add_on.py用于已上線設(shè)備側(cè)配置的生成ztp_delete.py配置清除腳本文件，用于已上線設(shè)備側(cè)臨時文件和臨時配置的清除腳本文件（R19C10版本及以后版本）boot_v3.py設(shè)備啟動腳本文件，用于待上線/待替換設(shè)備的初始化啟動可選僅在使用第三方服務(wù)器時導(dǎo)入initial_v3.py初始配置腳本文件，用于待上線/待替換設(shè)備側(cè)配置的生成或下載必選支持控制器內(nèi)置（標準腳本）解決方案資料提供基礎(chǔ)腳本，服務(wù)可自定義（自定義腳本）ztp

28、_add_on_v3.py用于已上線設(shè)備側(cè)配置的生成ztp_delete_v3.py配置清除腳本文件，用于已上線設(shè)備側(cè)臨時文件和臨時配置的清除版本大包*.ccCE設(shè)備的版本文件可選華為技術(shù)支持support網(wǎng)站發(fā)布其他文件*.datCE設(shè)備的License文件，要求已授權(quán)VXLAN等特性可選1、License文件到華為ESDP系統(tǒng)申請Index.xmlCE設(shè)備的License列表文件，用于實現(xiàn)設(shè)備自動加載License。各臺設(shè)備需加載的License信息預(yù)先保存在該文件中，當(dāng)設(shè)備下載了License列表文件后，會根據(jù)自己的ESN號下載對應(yīng)的License文件并加載開局準備管理員安裝部署控制器服

29、務(wù)器，控制器支持內(nèi)置DHCP服務(wù)和SFTP服務(wù)。如果無法使用控制器內(nèi)置DHCP和SFTP服務(wù)器，則還需手工安裝DHCP服務(wù)器、中間文件服務(wù)器、版本文件服務(wù)器。帶內(nèi)管理時需手工開通根節(jié)點交換機，帶外管理時需手工配置開通管理交換機。將所有待開局設(shè)備進行上架和連線，帶外管理時還需將待開局設(shè)備與管理交換機之間的連線連好。如果使用控制器內(nèi)置的SFTP，管理員在控制器界面上傳license文件，如果需要更換*.cc大包，上傳至控制器 SFTP規(guī)劃的目錄；如果使用第三方SFTP，請將lincense和*.cc大包上傳到第三方SFTP服務(wù)器。ZTP開局iMaster NCE-Fabric ZTP解決方案，通過

30、很少的部署操作完成標準組網(wǎng)場景下的設(shè)備Underlay網(wǎng)絡(luò)的自動化配置。其ZTP支持以下特性：支持集成內(nèi)置DHCP/SFTP服務(wù)器提供向?qū)降妮斎?，支持自動化生成?guī)劃文件支持集成內(nèi)置配置模板和腳本支持實際鏈路與規(guī)劃拓撲自動校驗同時，為了兼顧局點的差異化配置以及適配更多的設(shè)備款型，ZTP提供了更多的部署選擇：支持控制器內(nèi)置DHCP/SFTP服務(wù)器，也支持第三方DHCP/SFTP服務(wù)器支持自動化生成規(guī)劃文件，也支持自定義規(guī)劃導(dǎo)入支持配置模板方式，也支持導(dǎo)入配置方式。其中，配置模板方式支持控制器內(nèi)置模板無需導(dǎo)入，也支持用戶修改定制模板從外部導(dǎo)入對上述部署選擇，下面我們分章節(jié)逐一介紹。DHCP/SFT

31、P服務(wù)器部署ZTP支持控制器內(nèi)置DHCP/SFTP服務(wù)器，不需要單獨的DHCP服務(wù)器和SFTP服務(wù)器，為用戶降低部署成本，減少開局時間，降低部署復(fù)雜度。使用控制器內(nèi)置DHCP/SFTP服務(wù)器時，要求對接的設(shè)備款型必須支持證書認證。目前支持控制器內(nèi)置DHCP/SFTP服務(wù)器的設(shè)備款型包括：CE16800（V2/V3）、CE6881、CE6863、CE8851、CE6866、CE5881，其他CE款型需要手工部署第三方DHCP/SFTP服務(wù)器。DHCP Server/SFTP服務(wù)器，需要用戶自備，建議使用第三方開源軟件。SFTP服務(wù)器包括中間文件服務(wù)器、版本文件服務(wù)器，其中，中間文件服務(wù)器用于保存

32、boot.py腳本，版本文件服務(wù)器用于保存其他開局文件，包括版本大包、配置模板或配置文件、其他Python腳本、License文件。為了減少物理服務(wù)器的數(shù)量，在實際部署時可將DHCP服務(wù)器、中間文件服務(wù)器、版本文件服務(wù)器合設(shè)部署在一臺物理服務(wù)器或虛擬服務(wù)器中，中間文件服務(wù)器和版本文件服務(wù)器采用不同的SFTP賬號進行安全隔離。手工部署DHCP/SFTP服務(wù)器款型說明：支持控制器內(nèi)置DHCP/SFTP服務(wù)器的設(shè)備款型目前包括：CE16800（V2/V3）、CE6881、CE6863、CE8851、CE6866、CE5881，其他CE款型需手工部署第三方DHCP/SFTP服務(wù)器。如果開局款型既有上述

33、支持內(nèi)置DHCP/SFTP服務(wù)器的款型又有其他CE款型的混合場景，則需要部署第三方DHCP/SFTP服務(wù)器。CE16800（V2/V3）、CE6881、CE6863、CE8851、CE6866、CE5881款型除了支持控制器內(nèi)置DHCP/SFTP服務(wù)外，也支持第三方服務(wù)器。CE16800、CE6881、CE6863款型除了支持控制器內(nèi)置DHCP/SFTP服務(wù)外，也支持第三方服務(wù)器。經(jīng)典配置規(guī)劃&自定義規(guī)劃導(dǎo)入模式根據(jù)規(guī)劃文件生成方式的不同，ZTP分為經(jīng)典配置規(guī)劃和用戶自定義規(guī)劃兩種模式，下面分別予以介紹。經(jīng)典配置規(guī)劃模式經(jīng)典配置規(guī)劃模式是一種自動化生成規(guī)劃文件的方式，用戶在控制器界面上輸入幾個

34、必要的設(shè)備參數(shù)和鏈路參數(shù)就可以自動生成拓撲規(guī)劃表。該模式解決了手工制作網(wǎng)絡(luò)拓撲規(guī)劃文件的繁瑣過程，極大程度地提高了開局效率。經(jīng)典配置規(guī)劃模式需要填寫下列參數(shù)生成拓撲規(guī)劃文件：設(shè)備信息：如REF _fig10321154313598 r h圖3-2所示，包括Spine和Leaf數(shù)量及Spine設(shè)備ESN號。Spine數(shù)量不超過4，通常為2或4。ESN號帶外管理網(wǎng)必填，用于首層設(shè)備Spine的身份識別；帶內(nèi)組網(wǎng)可不填，使用根設(shè)備Sysname作為身份識別。組網(wǎng)信息：如REF _fig10321154313598 r h圖3-2所示，組網(wǎng)管理方式分為帶內(nèi)管理網(wǎng)、帶外管理網(wǎng)、VPN隔離的帶外管理網(wǎng)，選

35、擇“VPN隔離的帶外管理網(wǎng)”時，須填寫管理VPN的名稱。帶內(nèi)管理網(wǎng)時需要輸入根設(shè)備信息，包括Sysname、管理IP和VTEP IP，用于生成根設(shè)備自身的規(guī)劃信息。鏈路信息：如REF _fig117901211504 r h圖3-3所示，設(shè)備間的互聯(lián)鏈路，包括Spine和Leaf互聯(lián)鏈路（Spine下行口范圍、Leaf上行口范圍）以及M-LAG組網(wǎng)需填寫Leaf間的Peer-link鏈路；帶內(nèi)組網(wǎng)時，還需輸入根設(shè)備下行口范圍和Spine設(shè)備上行鏈路。經(jīng)典配置規(guī)劃模式-設(shè)備信息&組網(wǎng)信息組網(wǎng)鏈路信息然后結(jié)合網(wǎng)絡(luò)地址規(guī)劃情況，配置以下地址資源池：管理地址池：為待部署設(shè)備分配管理IP地址互聯(lián)地址池：

36、為待部署設(shè)備分配互聯(lián)IP地址VTEP IP地址池：為待部署的VXLAN NVE節(jié)點分配VTEP IP地址BGP PEER IP地址池：為待部署設(shè)備分配BGP PEER IP地址，用于和其他節(jié)點建立BGP PEER。帶外組網(wǎng)時該選項為必填。帶內(nèi)組網(wǎng)由于BGP PEER IP和管理地址均使用loopback 1地址，所以只需填入管理地址池，無需填寫該選項。配置完上述地址資源池，控制器將為每個設(shè)備從資源池中分配一個IP地址，結(jié)合用戶輸出的上述拓撲參數(shù)，系統(tǒng)自動生成每臺設(shè)備的詳細規(guī)劃數(shù)據(jù)，該規(guī)劃數(shù)據(jù)支持以拓撲圖及列表方式呈現(xiàn)預(yù)覽，同時也支持數(shù)據(jù)導(dǎo)出，如REF _fig1658113464019 r h

37、圖3-4所示。自動生成的組網(wǎng)拓撲用戶自定義規(guī)劃導(dǎo)入模式ZTP支持用戶自定義規(guī)劃導(dǎo)入，該模式用于局點有特定的地址規(guī)劃或拓撲連接，使用經(jīng)典配置規(guī)劃模式無法滿足要求的場景，例如局點對每臺設(shè)備Sysname都有明確要求，或?qū)γ颗_設(shè)備使用的管理IP/VTEP IP/互聯(lián)IP/BGP Peer IP都有明確的規(guī)劃，或設(shè)備間的物理連接不統(tǒng)一（例如Leaf1使用40GE1/0/140GE1/0/2連接Spine1和Spine2，而Leaf2使用其他端口連接Spine，各個Leaf用于連接Spine的物理接口不統(tǒng)一）等場景。自定義規(guī)劃導(dǎo)入的數(shù)據(jù)可來源于：支持根據(jù)局點LLD規(guī)劃按照“拓撲導(dǎo)入模板”手工制作規(guī)劃文件

38、并導(dǎo)入。網(wǎng)絡(luò)設(shè)計工具，包括華為企業(yè)網(wǎng)絡(luò)規(guī)劃設(shè)計工具iDesigner，或運營商網(wǎng)絡(luò)CloudFabric設(shè)計工具，通過iDesigner工具或CloudFabric工具生成ZTP規(guī)劃文件，并作為ZTP的開局文件導(dǎo)入。ZTP的模式選擇自定義規(guī)劃導(dǎo)入模式要求用戶提前準備好規(guī)劃數(shù)據(jù)，填寫下圖所示的“拓撲導(dǎo)入模板”，包括設(shè)備信息（Excel頁簽名為“設(shè)備”）、二層鏈路信息（Excel頁簽名為“鏈路”）和三層鏈路信息（Excel頁簽名為“互聯(lián)”），填寫已上線設(shè)備和待部署設(shè)備的相關(guān)信息?！霸O(shè)備”信息如下圖所示，其中關(guān)鍵信息如下。設(shè)備索引號：必填選項，設(shè)備唯一的身份索引，取值必須和設(shè)備名稱Sysname字段

39、保持一致。設(shè)備角色：必填選項，設(shè)備角色，包括SpineRR、SpineBorder、Spine和Leaf等角色，對于Spine和Border Leaf、Service Leaf合設(shè)且設(shè)備形態(tài)為M-LAG的場景，必須指定Spine的角色為SpineBorder。設(shè)備名稱：必填選項，自定義設(shè)備名稱，與設(shè)備索引號字段也保持一致。ZTP層級：必填選項，表示設(shè)備層級。層級劃分規(guī)則如下：帶外管理網(wǎng)中Spine為1，Leaf為2，Leaf下掛的Leaf為3，以此類推。帶內(nèi)管理標準組網(wǎng)中已上線Leaf為1，Spine為2，待部署Leaf為3，待部署Leaf下掛的Leaf為4，以此類推。管理IPv4地址：可選選

40、項，IPv4類型的管理IP及掩碼，帶內(nèi)組網(wǎng)已上線設(shè)備需填寫，或者用戶自定義設(shè)備地址的精細化場景需填寫。VTEP IPv4地址：可選選項，IPv4類型的VXLAN VTEP IP及掩碼，帶內(nèi)組網(wǎng)已已上線設(shè)備需填寫，或者用戶自定義設(shè)備地址的精細化場景需填寫。設(shè)備序列號：可選選項，設(shè)備ESN號，帶外組網(wǎng)如果設(shè)備為待部署設(shè)備且設(shè)備角色為Spine時必填，ESN號用于首層設(shè)備身份標識?！版溌贰毙畔⒓丛O(shè)備之間的物理鏈路（經(jīng)典配置規(guī)劃輸入鏈路參數(shù)會自動生成該信息），其中鏈路關(guān)鍵信息如下。A設(shè)備索引號：必填選項，A設(shè)備編號，也就是互聯(lián)設(shè)備其中一端的設(shè)備索引號。A設(shè)備物理端口號：必填選項，A設(shè)備的互聯(lián)端口，用于

41、連接B設(shè)備的端口。A設(shè)備端Eth-Trunk名稱：可選選項，A設(shè)備物理口所屬Eth-Trunk口。B設(shè)備索引號：必填選項，B設(shè)備編號，也就是互聯(lián)設(shè)備其中一端的設(shè)備索引號。B設(shè)備物理端口號：必填選項，B設(shè)備的互聯(lián)端口，用于連接A設(shè)備的端口。B設(shè)備端Eth-Trunk名稱：可選選項，B設(shè)備物理口所屬Eth-Trunk口?！盎ヂ?lián)”信息自定義規(guī)劃導(dǎo)入模式又分為自定義地址規(guī)劃模式和自動分配地址模式，如果用戶明確指定每臺設(shè)備所使用的IP地址，包括設(shè)備的管理IP、三層互聯(lián)IP、VTEP IP地址、BGP Peer IP，則為自定義地址規(guī)劃模式，該模式需要填寫“互聯(lián)”信息（三層鏈路信息）。否則，不需要填寫三層

42、鏈路信息。如果局點使用自動分配地址模式，則根據(jù)局點網(wǎng)絡(luò)規(guī)劃情況，配置以下地址資源池，ZTP會自動為每臺設(shè)備分配地址：管理地址池：為待部署設(shè)備分配管理IP地址。互聯(lián)地址池：為待部署設(shè)備分配互聯(lián)IP地址。VTEP IP地址池：為待部署的VXLAN NVE節(jié)點分配VTEP IP地址。BGP PEER IP地址池：為待部署設(shè)備分配BGP PEER IP地址，用于和其他節(jié)點建立BGP PEER。帶外組網(wǎng)時該選項為必填。帶內(nèi)組網(wǎng)由于BGP PEER IP和管理地址均使用loopback 1地址，所以只需填入管理地址池，無需填寫該選項。綜上所述，導(dǎo)入用戶自定義規(guī)劃模板、輸入地址資源池，系統(tǒng)為設(shè)備生成相關(guān)的配

43、置規(guī)劃信息，若下圖所示，該信息支持以拓撲圖方式呈現(xiàn)，也支持規(guī)劃數(shù)據(jù)導(dǎo)出。拓撲導(dǎo)入&規(guī)劃數(shù)據(jù)預(yù)覽規(guī)劃文件生成模式選擇經(jīng)典配置規(guī)劃部署模式、自定義規(guī)劃導(dǎo)入模式的對比參見下表。經(jīng)典配置規(guī)劃&自定義規(guī)劃導(dǎo)入模式對比分析拓撲生成模式特點精細化程度適合場景經(jīng)典配置規(guī)劃部署模式輸入拓撲參數(shù)，自定義生成規(guī)劃文件，極大程度減輕了填寫拓撲模板的繁瑣工作中局點組網(wǎng)為Spine-Leaf三層組網(wǎng)架構(gòu)，即Spine獨立部署、和Border Leaf、Service Leaf分設(shè)的場景局點對設(shè)備的管理IP/VTEP IP/互聯(lián)IP/BGP Peer IP地址池有地址段規(guī)劃，但對每臺設(shè)備的地址無特殊要求自定義規(guī)劃導(dǎo)入模式通

44、過手工制作或由網(wǎng)絡(luò)設(shè)計工具生成規(guī)劃文件，并導(dǎo)入給ZTP模塊，其中網(wǎng)絡(luò)設(shè)計工具包括：華為企業(yè)網(wǎng)絡(luò)設(shè)計工具iDesigner工具華為運營商的CloudFabric網(wǎng)絡(luò)設(shè)計工具高局點組網(wǎng)為Spine-Leaf二層組網(wǎng)架構(gòu)，即Spine和Border Leaf、Service Leaf合一部署的場景；或者三層組網(wǎng)架構(gòu)均支持；用戶對設(shè)備或拓撲組網(wǎng)有明確的規(guī)劃：對設(shè)備Sysname有明確要求、設(shè)備間的物理連接不統(tǒng)一，或?qū)γ颗_設(shè)備使用的管理IP/VTEP IP/互聯(lián)IP/BGP Peer IP都有明確的規(guī)劃配置模板&配置文件ZTP支持配置模板、配置文件兩種方式開局。配置模板是一個包含設(shè)備規(guī)劃參數(shù)的統(tǒng)一模板，

45、可用于一組設(shè)備的自動化上線，下圖為Server Leaf配置模板中的一段，綠色字體表示配置參數(shù)，參數(shù)通過規(guī)劃數(shù)據(jù)或ZTP自動分配的數(shù)據(jù)實例化之后，生成每臺設(shè)備所需的配置文件，供設(shè)備加載使用。配置模板中的配置示例配置模板方式支持控制器內(nèi)置模板，也支持自定義配置模板導(dǎo)入。下面分別進行介紹。ZTP配置模板ZTP的核心業(yè)務(wù)目標是實現(xiàn)設(shè)備underlay配置自動化，打通CloudFabric網(wǎng)絡(luò)的Underlay路由，可自動被控制器納管，為Overlay業(yè)務(wù)發(fā)放做好充分準備。如前文所述，ZTP提供了三個配置模板：basic_leaf_single_mlag.cfg：Server Leaf標準配置模板，單

46、機和M-Lag模式通用basic_spine.cfg：供Spine設(shè)備使用（單機）的標準配置模板，Spine和Border Leaf、Service Leaf分離部署的Spine-Leaf三層組網(wǎng)場景使用basic_spine_border_mlag.cfg：供Spine設(shè)備使用的標準配置模板，在Spine、Border Leaf、Service Leaf合一部署的Spine-Leaf二層組網(wǎng)場景使用后兩個模板根據(jù)局點組網(wǎng)場景二選一。我們以Server Leaf模板為例，說明控制器內(nèi)置的配置模板所包含的內(nèi)容，參見下表?？刂破鲀?nèi)置的Server Leaf配置模板說明：配置分類關(guān)鍵配置備注Unde

47、rlay配置系統(tǒng)名稱Sysname的配置-業(yè)務(wù)疊加資源配置模式，默認為IPv4:IPv6=1:1-MEth管理口、互聯(lián)口、Loopback 1接口、NVE（Loopback0）等接口的配置-SNMP、Netconf、SSH等協(xié)議連接參數(shù)的配置SNMP、Netconf、SSH、Console用戶參數(shù)和AAA認證的配置-LLDP、STP等二層協(xié)議使能的配置-Underlay路由協(xié)議（OSPF）的配置僅支持OSPF，不支持eBGPM-LAG組網(wǎng)方式的相關(guān)配置（DFS組和Peer-link）DFS組使用Loopback1地址向控制器進行callhome注冊的配置-Overlay控制面基礎(chǔ)配置路由協(xié)議（

48、iBGP EVPN）的配置-控制器支持內(nèi)置的配置模板，當(dāng)局點的配置和ZTP標準配置模板相同時，用戶無需導(dǎo)入即可使用。倘若局點存在一些差異化配置，通過控制器內(nèi)置模板無法滿足局點要求，則此時可以考慮使用自定義配置模板和腳本方式，ZTP提供配置模板和腳本開放可定制能力。例如：場景1：在配置模板中增加或修改配置，變更的配置不包含參數(shù)的場景，則通過修改配置模板可實現(xiàn)。場景2：在配置模板中增加或修改配置，新增設(shè)備級的配置并且參數(shù)固化，例如基于設(shè)備ipv6 enable，則通過修改規(guī)劃拓撲模板中的擴展字段和Python腳本可實現(xiàn)。ZTP配置文件配置文件是命令行的集合。用戶將當(dāng)前配置保存到配置文件中，以便設(shè)備

49、重啟后，這些配置能夠繼續(xù)生效。由于設(shè)備在上線過程中，每臺設(shè)備都要有明確的、唯一的配置文件，因此，ZTP配置文件以設(shè)備的管理IP命名，以實現(xiàn)設(shè)備配置文件的精準推送。當(dāng)局點存在差異化配置，存在設(shè)備級的配置參數(shù)且為變參，例如下圖所示的局點配置藍色為參數(shù)，參數(shù)本身需要獨立的分配或管理機制，用配置模板方式無法滿足，則此時需要考慮使用配置文件方式開局。配置模板&配置文件部署方式配置模板&配置文件部署方式的對比參見下表。配置模板&配置文件部署方式對比設(shè)備配置來源特點適合場景配置模板ZTP配置模板中包含設(shè)備參數(shù)信息，一個配置模板可用于一組設(shè)備自動化上線控制器內(nèi)置配置模板&腳本，無需從外部導(dǎo)入：局點使用ZTP推

50、薦組網(wǎng)配置，控制器內(nèi)置的配置模板可滿足局點要求局點存在定制配置，在配置模板中增加或修改配置，控制器內(nèi)置配置模板不滿足局點配置規(guī)劃要求，可考慮使用自定義配置模板&腳本場景，場景舉例：變更的配置不包含參數(shù)的場景，則通過修改配置模板可實現(xiàn)。在配置模板中增加CLI配置，包含設(shè)備級的配置參數(shù)并且參數(shù)值固化，例如基于設(shè)備ipv6 enable，則通過修改規(guī)劃拓撲模板中的擴展字段和Python腳本可實現(xiàn)。配置文件每臺設(shè)備都使用明確的、唯一的配置文件，配置文件以設(shè)備的管理IP命名；配置文件可通過手工制作，或者通過iDesigner設(shè)計工具或CloudFabric網(wǎng)絡(luò)設(shè)計工具生成當(dāng)局點存在差異化配置，存在設(shè)備級

51、的配置參數(shù)且為變參，用配置模板方式無法滿足，則此時需要考慮使用配置文件方式開局。對Hybrid Overlay場景，僅支持導(dǎo)入配置文件方式ZTP，不支持配置模板方式ZTP。ZTP擴容&設(shè)備替換ZTP擴容iMaster NCE-Fabric支持對通過ZTP上線的Spine設(shè)備或Leaf設(shè)備進行擴容。用戶可根據(jù)實際需求導(dǎo)入新設(shè)備的拓撲信息，iMaster NCE-Fabric自動執(zhí)行ZTP任務(wù)流程完成新設(shè)備的上線。擴容過程，ZTP不僅要完成新設(shè)備的自動化上線，還要完成上一層已上線設(shè)備的配置補齊，實現(xiàn)老設(shè)備與新設(shè)備的Underlay對接和路由可達。我們先以擴容M-LAG Server Leaf為例，

52、概述ZTP擴容原理：待擴容的Server Leaf新設(shè)備：通過ZTP擴容，完成配置文件和版本大包（可選）加載，實現(xiàn)自動化上線；上一層已上線的Spine設(shè)備：物理上每臺Spine新增互聯(lián)鏈路用于連接待擴容的新設(shè)備，ZTP為新增互聯(lián)接口分配互聯(lián)IP，并將互聯(lián)口地址發(fā)布到OSPF中；另外，若上一層Spine為路由發(fā)射器角色(RR)時，還要建立與新Leaf之間的BGP Peer，實現(xiàn)新設(shè)備與Spine RR之間建立BGP Peer。Server Leaf擴容對于Spine擴容的場景，與Server Leaf擴容類似，不僅要做新設(shè)備的自動化上線，還要自動補齊存量設(shè)備對接新設(shè)備所需的配置，帶外場景擴容原理：1、待擴容的Spine新設(shè)備：通過ZTP Spine擴容，完成配置文件和版本大包（可選）加載，實現(xiàn)自動化上線；2、下一層存量Server Leaf設(shè)備：物理上每臺Server Leaf新增互聯(lián)鏈路用于連接待擴容的新設(shè)備，ZTP為新增互聯(lián)接口分配互聯(lián)IP，并將互聯(lián)口地址發(fā)布到OSPF中；另外，若上一層新擴容Spine為路由發(fā)射器角色(RR)時，還要為各存量設(shè)備建立與新擴容Spine之間的BGP Peer。帶外組網(wǎng)Spine擴容另外，如果局點為帶內(nèi)組網(wǎng)，由于根設(shè)備也是VXLAN業(yè)務(wù)網(wǎng)絡(luò)的一部分，所以還要考慮根設(shè)備與新擴容Spine的對接，即對于根設(shè)備：處理上與存