南京大學(xué)計(jì)算機(jī)學(xué)科HPCC平臺(tái)的構(gòu)建思路

精品文檔（可編輸） 值得下載精品文檔（可編輸） 值得下載精品文檔（可編輯） 值得下戦精品文檔（可編輯） 值得下戦南京大學(xué)計(jì)算機(jī)學(xué)科HPCC平臺(tái)的構(gòu)建思路一、為何選擇HPCC模式選擇HPCC模式主要基于以下原因：（1） 我校公共計(jì)算平臺(tái)與髙性能計(jì)算中心的服務(wù)對(duì)象不同，無(wú)法實(shí)現(xiàn)統(tǒng)一管理。（2） 有利于集中資金整合資源打造提供計(jì)算服務(wù)的公共大平臺(tái)，消除計(jì)算資源分散帶來(lái)的諸多問題。（3） 利用云計(jì)算的的特點(diǎn)，通過部署云計(jì)算管理平臺(tái)，將數(shù)據(jù)中心的硬件資源、軟件資源、數(shù)據(jù)資源整合。二、構(gòu)建思路HPCC平臺(tái)建設(shè)目標(biāo)（1）充分發(fā)揮投資效益，盡量提高設(shè)備使用效率1） 計(jì)算效率不只是高性能設(shè)備的堆砌，而是讓設(shè)備發(fā)揮出髙性能，讓應(yīng)用享用到髙性能，讓用戶體驗(yàn)到髙性能；優(yōu)化進(jìn)程/線程并行度獲得最優(yōu)加速比和處理器（核）載荷，優(yōu)化內(nèi)存利用率獲得最大內(nèi)存帶寬，優(yōu)化指令利用率獲得指令最大吞吐量。2） 管理效率最大化資源共享，減少設(shè)備獨(dú)占性；減緩資源忙閑不勻，提高設(shè)備利用率，減少設(shè)備空載，節(jié)約能耗；對(duì)資源的占用按需動(dòng)態(tài)調(diào)節(jié)，不同用戶在同一組設(shè)備上靈活切換，并能合理重配資源，當(dāng)資源所剩無(wú)幾時(shí)，即使設(shè)備未增加，新用戶仍能提交作業(yè)；資源重復(fù)利用，新用戶可以分享老用戶釋放的資源，并保證老用戶能方便再度獲得資源且恢復(fù)到先前的運(yùn)行環(huán)境。HPCC平臺(tái)建設(shè)原則（1） 應(yīng)用為先（適用）綜合各研究方向需求，兼顧共性并盡可能考慮到個(gè)性化，選擇最適宜的軟硬件平臺(tái)，由應(yīng)用決定平臺(tái)，而不是由平臺(tái)限制應(yīng)用。選擇的方案需確保其跨越硬件架構(gòu)與操作系統(tǒng)平臺(tái)，兼顧虛擬資源分配與物理設(shè)備切換，支持多種編程模式，滿足各種應(yīng)用的不同需求。（2） 創(chuàng)新為體（夠用）在架構(gòu)設(shè)計(jì)時(shí)充分考慮高性能計(jì)算技術(shù)發(fā)展趨勢(shì)，采用先進(jìn)的產(chǎn)品和創(chuàng)新的思路，最大化利用現(xiàn)有投入，并考慮到今后擴(kuò)展的需求。絕不僅僅是一組高性能設(shè)備的建設(shè)，而是一個(gè)多功能、多應(yīng)用、多客戶的服務(wù)平臺(tái)，引入當(dāng)今先進(jìn)的云計(jì)算技術(shù)是適宜的（3） 效率為要（好用）堅(jiān)持夠用原則，不追求超越實(shí)際需求的規(guī)模，不去比較沒有實(shí)質(zhì)意義的峰值運(yùn)算能力，即使Linpack測(cè)試指標(biāo)也精品文檔(可編輸) 值得下載精品文檔(可編輸) 值得下載不應(yīng)作為設(shè)備選型的單一依據(jù)，而是充分考慮總體架構(gòu)的合理性和資源管理調(diào)度等要素，實(shí)現(xiàn)一個(gè)高效率計(jì)算(HighProductivityComputing)的平臺(tái)。在多用戶、多應(yīng)用的使用場(chǎng)景下，我們不單單要考慮到整體設(shè)備的高性能，還需要考慮到系統(tǒng)在使用過程中，如何通過虛擬化、資源共享，自動(dòng)化等手段來(lái)協(xié)調(diào)整個(gè)計(jì)算平臺(tái)的計(jì)算資源利用，即使物理分配也允許系統(tǒng)管理員切換用戶，提高整體利用率，實(shí)現(xiàn)一個(gè)綠色高效的計(jì)算環(huán)境計(jì)算基礎(chǔ)設(shè)施選擇策略注重計(jì)算節(jié)點(diǎn)性能配備高主頻處理器大內(nèi)存提髙計(jì)算處理能力。對(duì)于用戶提交只含有一個(gè)或少量幾個(gè)任務(wù)且耗時(shí)較多的作業(yè)，購(gòu)置處理器主頻盡可能高的機(jī)架式服務(wù)器加速處理能力，且配置較大的內(nèi)存盡可能將進(jìn)程全部常駐內(nèi)存以消除Paging及Swapping節(jié)省時(shí)間開銷，且便于用戶動(dòng)態(tài)切換。減輕I/O“瓶頸”現(xiàn)象，提升計(jì)算節(jié)點(diǎn)整機(jī)性能。對(duì)于頻繁訪問大批數(shù)據(jù)的計(jì)算任務(wù)而言，磁盤存取速度的提升跟不上處理器速度因工藝及多核技術(shù)而性能大幅度提升的步伐，是制約處理性能的關(guān)鍵因素，提升數(shù)據(jù)存儲(chǔ)設(shè)備的I0PS是其出路，比如選用光纖固態(tài)盤。選擇與計(jì)算任務(wù)相適應(yīng)的服務(wù)器體系結(jié)構(gòu)對(duì)于支持OpenMP自動(dòng)編譯的并行計(jì)算作業(yè)，或者含有很多個(gè)任務(wù)的批作業(yè)或者同時(shí)提交一大批作業(yè)的場(chǎng)合，選用由眾多(8顆及以上)多核處理器構(gòu)成共享內(nèi)存的胖節(jié)點(diǎn)SMP架構(gòu)服務(wù)器。利用操作系統(tǒng)的可以將一個(gè)批作業(yè)或者多道作業(yè)中各個(gè)計(jì)算任務(wù)自動(dòng)分配到各核創(chuàng)建進(jìn)程執(zhí)行的能力，實(shí)現(xiàn)作業(yè)級(jí)的同時(shí)處理或者批作業(yè)中不需要進(jìn)程間通信和同步的獨(dú)立任務(wù)平行計(jì)算。對(duì)于調(diào)用已內(nèi)嵌支持MPI并行機(jī)制的一些軟件包，實(shí)現(xiàn)并行計(jì)算且進(jìn)程間通信開銷不太大的作業(yè)，以及利用MapReduce并行機(jī)制搜索引擎、數(shù)字媒體服務(wù)等互聯(lián)網(wǎng)應(yīng)用，購(gòu)置采用分布式內(nèi)存并行架構(gòu)的刀片式集群或者選擇專門面向高密集計(jì)算的融入了刀片技術(shù)的新型機(jī)架式服務(wù)器。經(jīng)過實(shí)際運(yùn)行對(duì)比，其計(jì)算效率比胖節(jié)點(diǎn)SMP架構(gòu)服務(wù)器要高。合理配備存儲(chǔ)資源對(duì)于物理分配的計(jì)算節(jié)點(diǎn)，選用大容量的髙吞吐率硬盤。因?yàn)樽非笃鋯螜C(jī)處理性能，用戶數(shù)據(jù)可直接本機(jī)存儲(chǔ)。對(duì)于虛擬化的計(jì)算節(jié)點(diǎn)，可選容量較小的髙吞吐率硬盤。為增強(qiáng)系統(tǒng)可靠性，對(duì)云存儲(chǔ)實(shí)時(shí)備份。節(jié)點(diǎn)互連鏈路的高速化與靈活性計(jì)算專用互連鏈路與互聯(lián)網(wǎng)信息通道共存。計(jì)算節(jié)點(diǎn)間及計(jì)算節(jié)點(diǎn)與存儲(chǔ)間配備專用互連鏈路，與互聯(lián)網(wǎng)隔離；多網(wǎng)卡技術(shù)，冗余鏈路增加吞吐率以及某些應(yīng)用的互聯(lián)網(wǎng)信精品文檔（可編輸） 值得下載精品文檔（可編輸） 值得下載道。性價(jià)比權(quán)衡，不同高速網(wǎng)絡(luò)鏈路協(xié)議共存。以千兆以太鏈路為主，個(gè)別特殊需求考慮更髙速技術(shù)。資源管理策略（1） 對(duì)大部分計(jì)算資源和存儲(chǔ)資源進(jìn)行虛擬化，分配給用戶的資源不再是物理服務(wù)器和物理存儲(chǔ)，而是經(jīng)過虛擬化的一組資源，具體使用那一臺(tái)物理設(shè)備則通常是用戶不必知曉的。（2） 用戶可以透明地使用計(jì)算資源和存儲(chǔ)資源，仍可像以前一樣自主構(gòu)建自己的運(yùn)行環(huán)境，該環(huán)境是可以被卸載到后臺(tái)或者需要時(shí)重新恢復(fù)。（3） 當(dāng)用戶暫時(shí)不再使用資源時(shí)，將其運(yùn)行環(huán)境保存到后臺(tái)，釋放虛擬計(jì)算資源再行調(diào)度和分配，當(dāng)用戶再次打算使用時(shí)，重新還原先前一樣的環(huán)境繼續(xù)使用，但可能物理的設(shè)備已與原來(lái)不一致了，也就比方是，同樣的節(jié)目可以在不同的舞臺(tái)上演。（4） 根據(jù)用戶對(duì)資源需求的變化，動(dòng)態(tài)調(diào)正所需的處理器核數(shù)和存儲(chǔ)空間大小，資源可以動(dòng)態(tài)在不同用戶之間調(diào)劑。（5） 根據(jù)特殊用戶的個(gè)性化需求，分配的虛擬化資源可以相對(duì)長(zhǎng)期穩(wěn)定，以利于對(duì)比測(cè)試等科學(xué)實(shí)驗(yàn)需要。（6） 鑒于虛擬化帶來(lái)的性能開銷不可忽略，針對(duì)一些對(duì)性能要求很高的計(jì)算任務(wù)，可以考慮在不虛擬化的情況下進(jìn)行物理設(shè)備的分配和管理，而且可在不卸載本地硬盤上原用戶環(huán)境的前提下，通過遠(yuǎn)程引導(dǎo)的方式讓其他用戶使用高設(shè)備的處理器及內(nèi)存完成計(jì)算任務(wù)。參考架構(gòu)及解讀（1） 整合計(jì)算資源在圖1所示架構(gòu)中，底層的硬件資源釆用標(biāo)準(zhǔn)化、高性能、易擴(kuò)展的設(shè)計(jì)思路，根據(jù)應(yīng)用對(duì)硬件設(shè)備的不同需求,建立完善的服務(wù)器資源池、存儲(chǔ)資源池，由云計(jì)算管理平臺(tái)統(tǒng)一進(jìn)行管理。（2） 虛擬化技術(shù)在整體方案中，可以劃分一部分資源進(jìn)行虛擬化，從而提供一個(gè)共享的開發(fā)測(cè)試環(huán)境給用戶，便于用戶在正式提交作業(yè)之前進(jìn)行程序的調(diào)試和試運(yùn)行。在一些具體的應(yīng)用場(chǎng)景上，針對(duì)一些對(duì)性能要求很高的計(jì)算任務(wù)，虛擬化帶來(lái)的性能開銷不可忽略，因此可以考慮在不虛擬化的情況下進(jìn)行資源的分配和管理。（3） 統(tǒng)一管理平臺(tái)采用統(tǒng)一的云計(jì)算管理平臺(tái)來(lái)進(jìn)行整體資源管理和服務(wù)流程管理。通過管理平臺(tái)，可以提供硬件資源、軟件資源和操作系統(tǒng)等的按需調(diào)配。最終用戶或者管理員可以通過該系統(tǒng)對(duì)中心內(nèi)的計(jì)算資源進(jìn)行申請(qǐng)、批準(zhǔn)、調(diào)整和回收等等自動(dòng)化操作。（4）服務(wù)接口最終用戶可以采用兩種服