Platform GPFS 技術(shù)指標

1、精選文檔1. 項目工作內(nèi)容2.1 Platform技術(shù)指標高性能計算中心高性能計算平臺運行管理系統(tǒng)包含作業(yè)管理、數(shù)據(jù)管理、運行狀態(tài)分析、圖形顯示及系統(tǒng)管理等功能，需要全面支持高性能計算平臺管理中的各個方面，包括針對一般用戶的作業(yè)提交、作業(yè)調(diào)度、數(shù)據(jù)管理、圖形顯示，以及針對管理員用戶的集群運行狀態(tài)分析、系統(tǒng)管理、報表生成等功能，全部功能需要能夠通過網(wǎng)頁掃瞄器訪問方式實現(xiàn)。高性能計算云平臺運行的常用計算軟件，包括Fluent、dyna、fastran、nastran、Feko、CST、Matlab等以及基于MPI的自研軟件等。滿足不少400個CUP務(wù)器、2個IO節(jié)點，* 加速工作站的集群資源調(diào)度安

2、排，能夠滿足10時使用該平臺。高性能計算中心高性能計算平臺運行管理系統(tǒng)及并行文件系統(tǒng)為成熟商業(yè)(非OEM)版軟件，產(chǎn)品具有獨立學問產(chǎn)權(quán)。廠家應(yīng)具備多年以上行業(yè)閱歷，能夠供應(yīng)持續(xù)的產(chǎn)品開發(fā)和技術(shù)支持服務(wù)；在多行業(yè)擁有成功應(yīng)用案例,至少兩個一百萬億次計算力量高算項目閱歷，并提交實際應(yīng)用案例及證明材料。要求廠商具有優(yōu)秀的本地解決方案團隊，包括軟件架構(gòu)師、軟件開發(fā)人員和軟件測試人員等，并可以依據(jù)用戶的需要供應(yīng)整體解決方案以及相應(yīng)的用戶化開發(fā)。要求廠商具有強大的本地技術(shù)支持團隊，包括一線技術(shù)支持、二線技術(shù)支持（源程序級問題調(diào)查）和軟件維護團隊（供應(yīng)源程序級的問題解決方案）。2.2 技術(shù)指標1）資源調(diào)度與

3、作業(yè)管理系統(tǒng)a）支持將全部的高性能計算平臺硬件和軟件資源組成一個統(tǒng)一的集群，實現(xiàn)使用、管理和維護的一體化；b）支持對集群進行擴展，包括硬件資源的擴充與軟件資源的擴展；c）可以管理用戶自定制的靜態(tài)和動態(tài)資源，可以用于調(diào)度系統(tǒng)的資源匹配，比如磁盤空間，操作系統(tǒng)類型，應(yīng)用程序許可證等；d） 支持多種調(diào)度算法，供應(yīng)先來先服務(wù)、優(yōu)先級搶占、公正共享、節(jié)點資源獨占等多種調(diào)度策略，要求供應(yīng)具體的調(diào)度策略配置說明文檔。e）供應(yīng)節(jié)點和隊列的管理功能，供應(yīng)開啟和關(guān)閉功能。供應(yīng)作業(yè)的把握，殺死，刮起，停止，連續(xù)，轉(zhuǎn)變作業(yè)排隊挨次等。并供應(yīng)郵件通知機制，向用戶和管理員供應(yīng)作業(yè)狀態(tài)報告。f）供應(yīng)多級管理授權(quán)：能夠供應(yīng)不

4、同級別的管理員機制，集群管理員，隊列管理員，用戶組管理員；隊列管理員可以修改隊列的調(diào)度策略配置，并可以把握所管理隊列中的作業(yè)狀態(tài)；用戶組管理員可以管理用戶組內(nèi)全部成員的作業(yè)；g）容錯性：主節(jié)點發(fā)生錯誤時，候選節(jié)點可以快速自動切換為主節(jié)點連續(xù)供應(yīng)服務(wù)；在網(wǎng)絡(luò)或節(jié)點故障時，調(diào)度系統(tǒng)不能檢測到運行在該節(jié)點上作業(yè)的狀態(tài)時，系統(tǒng)可以在其他節(jié)點上自動重新運行作業(yè)；調(diào)度系統(tǒng)可以捕獲作業(yè)的退出碼，并可以依據(jù)作業(yè)的退出碼觸發(fā)不同的錯誤恢復(fù)機制；h）支持在線命令行修改系統(tǒng)配置，無需重新提交作業(yè)。2）WEB門戶a）支持中英文界面自適應(yīng)切換；b）供應(yīng)如下功能：用戶授權(quán)管理；集群監(jiān)控（監(jiān)控集群負載、可用資源、機器狀態(tài)、

5、作業(yè)分布等）；集群可視化儀表盤；報表統(tǒng)計功能，能查看許可證的歷史使用效率分析報告和實時使用信息；作業(yè)監(jiān)控（全部運行作業(yè)的監(jiān)控和管理）；基于Web的遠程系統(tǒng)管理（如登陸系統(tǒng)運行系統(tǒng)管理命令等）；c）基于Web的作業(yè)管理：基于應(yīng)用程序的作業(yè)提交頁面，每種應(yīng)用程序應(yīng)供應(yīng)有針對性的選項、參數(shù)和掛念頁面，便利用戶使用；可以持續(xù)追蹤作業(yè)狀態(tài)并對自己的作業(yè)進行各種操作；作業(yè)數(shù)據(jù)管理，提交作業(yè)時可指定輸入數(shù)據(jù)，數(shù)據(jù)可以放在服務(wù)器上，也可以放在掃瞄器端。用戶可以通過Web查詢和管理作業(yè)相關(guān)的數(shù)據(jù)，如輸入數(shù)據(jù)、中間結(jié)果和最終結(jié)果；上傳本地數(shù)據(jù)窗口支持多個文件批量選擇并上傳；d）Web上支持X Window圖形交互

6、：在掃瞄器上實現(xiàn)基于X Window的應(yīng)用程序圖形交互，如：Fluent、Fastran等程序作業(yè)啟動后其相關(guān)的圖形用戶界面可以通過Web顯示，供用戶查看計算曲線，或交互把握等，禁止用戶進行非工程軟件的操作；e）Web上應(yīng)用集成：支持在Web上與各種應(yīng)用便利地集成，為用戶供應(yīng)便利的接口；管理員可以通過WEB界面進行應(yīng)用程序的集成；支持所見即所得的應(yīng)用模板定制方式；可以直接在在WEB編輯后臺的批處理腳本文件，并保存，文本顯示支持多顏色富文本方式；f）WEB可定制：允許用戶設(shè)置多種角色，把握WEB頁面可見性和可操作性；允許用戶基于WEB供應(yīng)接口和腳本進行定制開發(fā)和應(yīng)用集成；允許用戶定制開發(fā)在線生效

7、，無需中斷用戶訪問；g）可按需求集成遠程三維或者二維可視化工具HP RGS, NICE DCV，EOD，VNC等集成，進行遠程圖形工作站的多用戶共享；h）供應(yīng)基本的資源使用報表，在線作業(yè)狀態(tài)報表，節(jié)點狀態(tài)報表，吞吐量統(tǒng)計，多集群作業(yè)轉(zhuǎn)發(fā)統(tǒng)計，性能分析數(shù)據(jù)等；i）用戶角色把握：管理員可以通過角色定義來管理用戶對應(yīng)用程序和資源的訪問；j）數(shù)據(jù)管理：支持同時選擇多個（非壓縮方式）數(shù)據(jù)文件上傳到集群，便利用戶進行作業(yè)數(shù)據(jù)的使用和管理。3）檢測與報表a）資源監(jiān)測，支持細粒度的呈現(xiàn)資源使用狀況和效率，支持分項目組、分許可證組、分應(yīng)用程序組合作業(yè)組各個級別來統(tǒng)計資源的使用率和作業(yè)資源占用狀況、作業(yè)吞吐率、等

8、待作業(yè)、CPU等資源利用率，用戶能拖拽式的顯示某一細小時間段的實時狀態(tài)；b）作業(yè)監(jiān)測，支持以節(jié)點、節(jié)點組、項目組、作業(yè)組等等方式查看作業(yè)的執(zhí)行狀態(tài)和資源使用統(tǒng)計信息；c）用戶監(jiān)測，能監(jiān)測用戶在集群中的各種使用資源的行為；d）報表信息，能按時段的生成所需統(tǒng)計報表，統(tǒng)計用戶、節(jié)點、作業(yè)組的某時間段內(nèi)的在集群內(nèi)的狀況；e）供應(yīng)許可證資源實時監(jiān)測，查看許可證服務(wù)器狀態(tài)，許可證明時占用狀況和許可證使用效率，生成許可證使用報表；f）供應(yīng)系統(tǒng)日志跟蹤，報警功能，能使管理員準時發(fā)覺系統(tǒng)問題；g）供應(yīng)應(yīng)管理員遠程ssh接口，管理員可以通過監(jiān)控界面直接登錄遠程機器的ssh界面進行節(jié)點的維護和管理。4）許可證調(diào)度管

9、理a）許可證可預(yù)約：應(yīng)用程序啟動前，可預(yù)約程序所需的許可證，避開相互沖突；許可證搶占式調(diào)度：高優(yōu)先級的作業(yè)可搶占低優(yōu)先級作業(yè)正在使用的許可證，而低優(yōu)先級作業(yè)將被掛起直到有許可證可用為止；b）許可證全部權(quán)把握：用戶可保留自己的許可證，確保需要時能馬上獲得所需要的許可證；c）使用份額把握：每個用戶可使用所安排的許可證份額。使得許可證在不同項目組之間進行按份額的共享或公正競爭；d）支持智能識別集群應(yīng)用程序許可證調(diào)度內(nèi)外的資源使用量識別和把握。5）應(yīng)用程序支持a）支持對Fluent、dyna、fastran、nastran、Feko、CST、Matlab等常用軟件的集成；b）支持大型的OpenGL的3

10、D應(yīng)用，支持一般圖形的2D應(yīng)用；c）后續(xù)新增的商用軟件集成，廠商應(yīng)賜予準時的響應(yīng)（24小時以內(nèi)）；d）支持對自研軟件的集成；e）接口開放，便利用戶自定義軟件集成。6）其他a）管理系統(tǒng)構(gòu)架獨立，支持多個廠商的硬件，擴展性好；b）支持用戶、部門、項目使用指定的資源，支持應(yīng)用程序使用指定的資源；c）并行作業(yè)任何一個節(jié)點失效，不能導致整體作業(yè)紊亂；d）系統(tǒng)具有斷點續(xù)算功能；e） 能跟蹤每一個作業(yè)的運行及其狀態(tài)變化，保證作業(yè)永不丟失，在系統(tǒng)出錯狀況下，能重新恢復(fù)作業(yè)狀態(tài)；f）支持作業(yè)計算過程中的圖形界面交互操作，禁止用戶在交互式窗口進行非工程應(yīng)用軟件的系統(tǒng)操作；g）保證在用戶按指定的份額使用公正合理地使

11、用計算機資源；h）非交互式作業(yè)中用戶可以通過web門戶了解計算過程信息、報錯信息；i）實現(xiàn)門戶與用戶現(xiàn)有的身份認證系統(tǒng)集成，實現(xiàn)統(tǒng)一身份認證和單點登錄；j）依據(jù)用戶的要求進行門戶主界面風格的定制；k）支持系統(tǒng)狀態(tài)監(jiān)控，能夠提示如文件系統(tǒng)故障、操作系統(tǒng)空間滿、設(shè)備掛載問題等，全面監(jiān)控系統(tǒng)軟硬件運行狀態(tài)，自動記錄故障；l）僅向系統(tǒng)管理員開放SSH連接端口；m）對于一般用戶進行有針對性操作培訓；n）對于管理員進行針對性系統(tǒng)維護和故障排查培訓。5）并行文件系統(tǒng)序號技術(shù)指標要求1. 品牌接受商用軟件產(chǎn)品，非開源軟件，并可供應(yīng)原廠技術(shù)支持服務(wù)。2. 總體要求1) 支持多級存儲設(shè)計：第一級為高速存儲；其次級

12、為大容量硬盤存儲；一級存儲和二級存儲被單一文件系統(tǒng)管理，統(tǒng)一命名空間。2) 支持Linux、Windows和AIX操作系統(tǒng)。3) 每個存儲節(jié)點可同時供應(yīng)一、二級存儲；支持多通道，并實現(xiàn)負載平衡和容錯功能；具有在線擴展力量。4) 保證用戶的數(shù)據(jù)和應(yīng)用軟件不用修改就可以運行在分布式文件系統(tǒng)上，分布式文件系統(tǒng)必需支持原生的鎖機制并接受POSIX 鎖；供應(yīng)統(tǒng)一的命名空間，滿足POSIX規(guī)范。6) 支持在線擴展，可擴展存儲節(jié)點或者存儲設(shè)備，對應(yīng)用透亮。3. 可用性、平安冗余要求1) 可用性要求：系統(tǒng)整體可用性99.99%。2) 冗余性要求：全套系統(tǒng)關(guān)鍵部件接受全冗余設(shè)計，系統(tǒng)各部安排置均不存在任何單一故

13、障失效點。單個存儲節(jié)點失效不會導致數(shù)據(jù)丟失；單節(jié)點故障對應(yīng)用透亮，不影響應(yīng)用的正常數(shù)據(jù)讀取；全部節(jié)點之間，中斷任意一個鏈路都不影響系統(tǒng)運行。 3) 支持文件系統(tǒng)在線升級。4. 性能要求存儲性能要求：供應(yīng)持續(xù)讀寫性能1GB/s；單節(jié)點最大吞吐量500MB/s（非cache），系統(tǒng)各部安排置均衡合理，沒有性能瓶頸。5.功能要求1) 本文件存儲系統(tǒng)中的元數(shù)據(jù)分布式存放，防止消滅元數(shù)據(jù)訪問瓶頸。假如本文件系統(tǒng)需要獨立的元數(shù)據(jù)服務(wù)器，需另配，其性能不能成為瓶頸，并且不行存在單點故障。2) 本文件系統(tǒng)同時支持多種鏈路協(xié)議，如Infiniband，10Gb以太網(wǎng)，40Gb以太網(wǎng)等。3) 若接受Infinib

14、an或者Converged Ethernet設(shè)備，則數(shù)據(jù)傳輸支持RDMA協(xié)議。3) 本文件存儲系統(tǒng)能做到故障恢復(fù)時間小于10分鐘/T Byte。故障恢復(fù)要對應(yīng)用透亮，不影響應(yīng)用正常運行。4) 本文件系統(tǒng)必需供應(yīng)快照功能，支持對整個文件系統(tǒng)或單個名目設(shè)置快照。5) 本文件系統(tǒng)必需供應(yīng)用戶權(quán)限管理、配額管理功能；并支持在線對協(xié)作進行設(shè)置。6) 文件系統(tǒng)供應(yīng)集群NFS或者SAMBA協(xié)議導出。3 .設(shè)備配置清單設(shè)備配置如表1所示。表1 設(shè)備配置清單序號名稱數(shù)量單位備注1高性能計算作業(yè)調(diào)度,管理軟件平臺1套4. 系統(tǒng)安裝與調(diào)試要求乙方供應(yīng)設(shè)備清單所列的產(chǎn)品及其相關(guān)的技術(shù)手冊、產(chǎn)品合格證和產(chǎn)品說明書，并向

15、甲方確認保修條款。甲方將依據(jù)清單所列明細項目，對乙方供應(yīng)的產(chǎn)品進行驗收，并簽署驗收報告。貨物的安裝，調(diào)試由乙方負責。在接到甲方通知后，乙方將派專業(yè)人員在三個工作日之內(nèi)，到達用戶現(xiàn)場進行安裝、調(diào)試?，F(xiàn)場安裝時，乙方特地講授系統(tǒng)的安裝和維護，并在兩周內(nèi)安裝調(diào)試完成。5. 驗收當乙方負責的設(shè)備安裝工作結(jié)束后，甲方依據(jù)有關(guān)規(guī)定簽署安裝調(diào)試報告，確認系統(tǒng)安裝工作的完成。乙方須向甲方供應(yīng)（或者會簽）下列文件：1）使用說明書、圖樣、圖冊、軟盤等隨機文件（乙方供應(yīng)）；2）安裝調(diào)試記錄（乙方供應(yīng)）。6. 技術(shù)支持與服務(wù)6.1 技術(shù)支持乙方為本次項目供應(yīng)技術(shù)支持服務(wù)方式滿足用戶需求，服務(wù)的范圍及內(nèi)容包括：表2 技

16、術(shù)服務(wù)清單項目服務(wù)具體說明指派專人負責的客戶代表工程師乙方指派專人作為客戶代表工程師負則系統(tǒng)運作與技術(shù)服務(wù)，協(xié)調(diào)軟件所需資源，支配走訪工作、保證本系統(tǒng)能夠在規(guī)定的服務(wù)及響應(yīng)時間內(nèi)得到相應(yīng)的技術(shù)支持服務(wù)。系統(tǒng)集成及保修服務(wù)對于本項目的軟件，乙方將供應(yīng)三年集成及保修服務(wù)。在保修期期間，當系統(tǒng)需要集成新軟件或消滅故障時，乙方將供應(yīng)7×24小時內(nèi)快速的響應(yīng)。熱線電話支持服務(wù)經(jīng)乙方授權(quán)的用戶技術(shù)人員可將軟件故障或技術(shù)詢問服務(wù)懇求通過乙方的技術(shù)支持響應(yīng)熱線電話，或以傳真和電子郵件的形式報告給支持工程師，并可要求在2小時內(nèi)打回電話（假如是在工作日內(nèi)）或于下個工作日內(nèi)以電子郵件文字方式回復(fù)。非工作時間內(nèi)，用戶技術(shù)人員可電話聯(lián)系到指定的客戶代表工程師回復(fù)服務(wù)懇求。支配系統(tǒng)運行及服務(wù)狀況回顧與訪問指派的客戶代表工程師負責了解用戶系統(tǒng)及環(huán)境配置，并可供應(yīng)遠程支持，確保本系統(tǒng)支持服務(wù)的滿足度。乙方委派特地技術(shù)工程師對本系統(tǒng)供應(yīng)以下服務(wù)：對指定的軟件系統(tǒng)做定期的維護，包括系統(tǒng)診斷、檢測系統(tǒng)軟件的性能，對有潛在問題的分析，提出系統(tǒng)優(yōu)化解決方案，并進行具體的工作記錄，以做到系統(tǒng)信息文件化。每年進行一次本系統(tǒng)運行狀況的總結(jié)與回顧，內(nèi)容可依據(jù)雙方的協(xié)商而打算，主要是為掛念本系統(tǒng)解決在使用過程中遇到的軟件故障及性能