一種基于Quattor的差異化機群自動部署方法

一種基于Quattor的差異化機群自動部署方法第十六屆全國科學計算與信息化會議暨科研大數據論壇提綱機群自動部署工具Quattor的介紹Quattor的改進——差異化的自動部署方法Quattor在高能物理研究所的應用2023/2/52Quattor的介紹Quattor是一套集群系統(tǒng)自動化安裝和配置工具集通過自動控制PXE+Kickstart+DHCP實現操作系統(tǒng)的自動安裝通過編譯模版來生成節(jié)點所有信息的描述文件（xmlorjson）所有的模版都是是由pan語言來編寫模版文件保存在SCDB的版本控制服務器中節(jié)點安裝quattor的客戶端讀取xmlorjson文件對本機進行配置2023/2/53Quattor的特性所有節(jié)點的配置文件保存在有版本控制的數據庫（SCDB）可重新安裝：重新安裝的系統(tǒng)與原系統(tǒng)保持一致。改變節(jié)點的配置只需要更改配置數據庫即可（SCDB）可以控制節(jié)點從安裝到退役的整個過程。初始化安裝使用PXE+KickstartSCDB可以方便的版本回退。服務配置可以重復利用不同的節(jié)點可以共享一個服務的配置。便捷的維護。只需要修改一個配置文件就可以在所有節(jié)點上起做用。在部署應用前對配置文件進行一致性和語法的檢查，降低錯誤的配置對系統(tǒng)造成的危害。2023/2/54Quattor的主要組件Panc編譯器SCDBSvnbasedconfigurationdatabaseAII（AutoInstallationInfrastructure）ccmandncm-componentsSoftwarerepositorys2023/2/55Quattor的主要組件–Panc編譯器Panc編譯器把用pan語言編寫的模版最終生成xml或者json文件Pan是一種高層次的描述性語言支持function定義支持變量的定義變量種類很多，類似structure/class的定義支持變量類型的轉換Hierarchicalorganizationofinformation例子：

‘/hardware/network/interfaces/eth0/ip’=‘’2023/2/56Quattor主要組件-SCDBSVN版本控制的Pantemplates節(jié)點profiles不在svn下面，但是可以重新編譯。SCDB使用”ant”來操作純Java編寫，可以在所有平臺使用3各主要的操作Compile:本地編譯Deploy:配置的部署

在server端生成節(jié)點的profile文件僅在成功編譯并且localworkingdir和SVN服務器同步的情況下才能成功執(zhí)行。update.rep.templates刷新軟件包列表的模板2023/2/57Quattor主要組件-AIIAII:AutomatedInstallationInfrastructurePXE(DHCP+TFTP)+Kickstart使用aii的命令‘aii-shellfe’來控制DHCP

:自動從節(jié)點profile文件獲取信息寫入dhcp配置文件TFTP:Kickstart:通過aii命令自動生成kiskstart文件Re-installation節(jié)點始終設置PXE啟動通過aii命令修改節(jié)點的狀態(tài)installorboot2023/2/58Quattor主要組件ccmandncm客戶端:ConfigurationCacheManager(CCM)進程：cdp-listend當服務器端有配置改動時，接收服務器端的notification然后下載新的配置文件(command‘ccm-fetch’)也可以手動執(zhí)行這個命令’ccm-fetch’客戶端:NodeConfigurationManager(NCM)進程ncm-cdispdImplementsconfigurationchangesBasedon“components”(plug-ins)1componentmanages1“service”(NIS,accounts,Globus…)AcomponentisaPerlscriptwithaparticularAPI‘ncm-query’可以查詢顯示配置數據。2023/2/59Quattor主要組件componentsPackagedeployment:SPMANCM的組件對系統(tǒng)的安裝包進行安裝卸載管理基于”軟件包名-版本-arch”允許升級和降級檢查軟件包的依賴關系其它components每一個component可以實現對一類或者多累系統(tǒng)和軟件環(huán)境的配置已有的ssh,account,network,chkconfig,afsclt,pbs,…2023/2/510Quattor工作流——節(jié)點xml編譯過程2023/2/511檢查模版語法調用PANC編譯器節(jié)點profile模版確定節(jié)點類型配置類型Cluster配置模版確定操作系統(tǒng)版本Site

配置模版確定統(tǒng)一配置參數dns,ntp,repository,dhcp,Gridsiteinfo,…操作系統(tǒng)模版RPMsselect,versioncontrol,Kernelversion,Driversconfig,Systemtoolsselect.軟件定義模版配置根據節(jié)點類型配置硬件配置模版硬盤，網卡，cpu，…生成節(jié)點profile.xml文件Quattor工作流——節(jié)點自動安裝配置過程節(jié)點加電啟動通過pxe+DHCP獲取IP地址和啟動鏡像通過mac地址識別節(jié)點名稱獲取節(jié)點kickstart文件開始系統(tǒng)安裝安裝minimal系統(tǒng)安裝結束寫入ks-post-boot腳本調用aii命令改變安裝狀態(tài)重啟系統(tǒng)執(zhí)行ks-post-boot腳本安裝quattor客戶端獲取節(jié)點xml文件安裝軟件包設定kernelversion配置系統(tǒng)環(huán)境配置軟件參數配置用戶和組信息完成系統(tǒng)配置重啟系統(tǒng)2023/2/512Quattor改進——原因支持的應用在不斷增多不同應用對軟件環(huán)境的不同需求傳統(tǒng)的實現方式維護模版數量多，模版不能重復使用2023/2/513Quattor改進——原先的模型2023/2/514

安裝服務器配置信息軟件安裝與配置管理,系統(tǒng)服務,網格服務

安裝包軟件包節(jié)點配置管理軟件包RPM包服務器軟件包組系統(tǒng)安裝與配置管理軟件緩存RPM包管理配置信息管理器機群4配置信息管理器機群3配置信息管理器機群2配置信息管理器機群1配置緩存節(jié)點1機群3機群2機群1Quattor改進——實現方法模塊化的設計方法。擴展配置信息管理器的功能并添加調用接口和模塊選擇器。開發(fā)出統(tǒng)一接口并且可以實現對各個模塊進行調用取舍。按照統(tǒng)一的接口標準對功能模塊進行改進。每一個模塊實現一個功能，模塊可以復用。所有開發(fā)使用Pan語言完成2023/2/515Quattor改進——實現方法2023/2/516功能模塊1功能模塊2功能模塊3功能模塊4模塊選擇器配置信息管理器調用接口機群1機群2機群3節(jié)點1Quattor改進——實現后的模型2023/2/517

安裝服務器配置信息軟件安裝與配置管理,系統(tǒng)服務,網格服務

安裝包軟件包節(jié)點配置管理軟件包RPM包服務器軟件包組系統(tǒng)安裝與配置管理軟件緩存RPM包管理配置信息管理器配置緩存節(jié)點1機群3機群2機群1Quattor在高能所的應用——網格系統(tǒng)網格系統(tǒng)的自動安裝和部署網格系統(tǒng)的升級網格CVMFS的自動部署dCache存儲系統(tǒng)的自動部署DPM存儲系統(tǒng)的自動部署2023/2/518Quattor在高能所的應用——集群系統(tǒng)計算節(jié)點的自動配置節(jié)點pbs-client的自動配置集群環(huán)境的自動配置autofs,symlinks,lustre,panfs,用戶和組的自動配置并行計算MPI集群的自動部署并行文件系統(tǒng)Lustre的自動部署并行文件系統(tǒng)gLuster的自動部署2023/2/519Quattor在高能所的應用——GPU節(jié)點的自動安裝和部署GPUopencl驅動的自動安裝GPU監(jiān)控系統(tǒng)的自動安裝2023/2/520Quattor在高能所的應用—Quattor輔助工具批量添加節(jié)點模版工具。并行ssh的工具。2023/2/521Quattor在高能所的應用——正在研究云計算的自動部署。物