分布并行計(jì)算機(jī)技術(shù)課程論文

1、分布并行計(jì)算機(jī)技術(shù)課程論文1. 針對(duì)網(wǎng)站的特點(diǎn)，給出滿(mǎn)足該應(yīng)用需求的設(shè)計(jì)方案。要求至少包括：體系結(jié)構(gòu)、核心硬件及數(shù)量、互聯(lián)網(wǎng)絡(luò)、作業(yè)調(diào)度方法、系統(tǒng)管理方法等設(shè)計(jì)方案及其分析，說(shuō)明你的方案能否滿(mǎn)足應(yīng)用需求。答：訂票網(wǎng)站具有分時(shí)段、分區(qū)域、高并發(fā)等特點(diǎn)，官方公布日均PV達(dá)10億，在高峰時(shí)段有千萬(wàn)PV的訪(fǎng)問(wèn)量.如何確保在高峰時(shí)段正常提供服務(wù)是一個(gè)非常大的挑戰(zhàn)，放眼春運(yùn)期間網(wǎng)上訂票系統(tǒng)，表現(xiàn)為頁(yè)面訪(fǎng)問(wèn)延時(shí)大、登錄異常、支付失敗等問(wèn)題。根據(jù)以上特點(diǎn)提出如下設(shè)計(jì)方案：(1) 體系結(jié)構(gòu)采用大規(guī)模并行處理系統(tǒng)，由成百上千計(jì)算節(jié)點(diǎn)組成并行處理計(jì)算機(jī)系統(tǒng)，每個(gè)計(jì)算節(jié)點(diǎn)配置一個(gè)或多個(gè)處理器，各個(gè)節(jié)點(diǎn)相對(duì)獨(dú)立，有各自

2、獨(dú)立的內(nèi)存模塊和操作系統(tǒng)。用交換機(jī)組成一個(gè)三維雙向環(huán)網(wǎng)互聯(lián)，每個(gè)三維網(wǎng)絡(luò)連接多個(gè)節(jié)點(diǎn)，三維網(wǎng)絡(luò)之間用以千兆還通道構(gòu)建的核心網(wǎng)絡(luò)連接，核心網(wǎng)絡(luò)同時(shí)連接外設(shè)及互聯(lián)網(wǎng)。圖1 體系結(jié)構(gòu)如上圖1通過(guò)云計(jì)算平臺(tái)虛擬化技術(shù)，將若干X86服務(wù)器的內(nèi)存集中起來(lái)，組成最高可達(dá)數(shù)十TB的內(nèi)存資源池，將全部數(shù)據(jù)加載到內(nèi)存中，進(jìn)行內(nèi)存計(jì)算。計(jì)算過(guò)程本身不需要讀寫(xiě)磁盤(pán)，只是定期將數(shù)據(jù)同步或異步方式寫(xiě)到磁盤(pán)。在分布式集群中保存了多份數(shù)據(jù)，任何一臺(tái)機(jī)器故障，其它機(jī)器上還有備份數(shù)據(jù)，因此通常不用擔(dān)心數(shù)據(jù)丟失，而且有磁盤(pán)數(shù)據(jù)作為備份。同時(shí)把內(nèi)存數(shù)據(jù)持久化到各種傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)、Hadoop庫(kù)和其它文件系統(tǒng)中。(2)核心硬件及數(shù)量

3、按照計(jì)算需求采用共計(jì)15個(gè)計(jì)算節(jié)點(diǎn)，每節(jié)點(diǎn)配備一顆Xeon E5 12核心的中央處理器，總共180個(gè)核心。中央處理器為英特爾提供的，運(yùn)作時(shí)鐘頻率為2.2GHz的Xeon E5-2692v2 12核心處理器，基于英特爾Ivy Bridge微架構(gòu)（Ivy Bridge-EX核心），采用22納米制程，峰值性能0.2112TFLOPS。每個(gè)節(jié)點(diǎn)擁有1TB內(nèi)存，總內(nèi)存為10TB。(2) 互聯(lián)網(wǎng)絡(luò)互聯(lián)網(wǎng)絡(luò)分節(jié)點(diǎn)內(nèi)部的通信和節(jié)點(diǎn)之間的互聯(lián)兩部分。1） 節(jié)點(diǎn)內(nèi)部的通信在節(jié)點(diǎn)內(nèi)部使用總線(xiàn)和共享存儲(chǔ)器進(jìn)行信息的交換。在64G的公共內(nèi)存中劃出一塊公共的通信緩沖區(qū)，在這個(gè)緩沖區(qū)內(nèi)維持1個(gè)消息隊(duì)列，分別對(duì)應(yīng)于每個(gè)CPU

4、。每個(gè)原件以固定的周期查詢(xún)自己的消息隊(duì)列，來(lái)檢查是否有傳遞給自己的消息；每個(gè)器件于其他器件通信時(shí)將消息放入相應(yīng)的消息隊(duì)列即可。2）節(jié)點(diǎn)之間的互聯(lián)節(jié)點(diǎn)之間的互聯(lián)網(wǎng)絡(luò)采用千兆以太網(wǎng)相互連通，每個(gè)節(jié)點(diǎn)上安置一個(gè)網(wǎng)卡。核心網(wǎng)絡(luò)使用以太網(wǎng)交換機(jī)連成多個(gè)三維立方結(jié)構(gòu)（圖2所示），但不僅局限于8個(gè)節(jié)點(diǎn)。交換機(jī) 、 圖2 交換機(jī)之間的立方體結(jié)構(gòu)每臺(tái)交換機(jī)和若干個(gè)節(jié)點(diǎn)相連（圖3所示），若干立方體之間使用路由器連接，路由器之間形成最核心的網(wǎng)絡(luò)（圖4所示）。即每個(gè)交換機(jī)組成的立方體相當(dāng)于一個(gè)局域網(wǎng)，路由器負(fù)責(zé)連接不同的局域網(wǎng)。節(jié)點(diǎn)的地址使用網(wǎng)卡的硬件地址。路由器中的路由表采用完全自適應(yīng)算法，動(dòng)態(tài)的添加和修改路由表。

5、圖3 交換機(jī)與節(jié)點(diǎn)之間的鏈接 圖5 路由器之間的核心網(wǎng)絡(luò)(3) 作業(yè)調(diào)度作業(yè)調(diào)度按照先來(lái)先服務(wù)的原則，在節(jié)點(diǎn)中選取滿(mǎn)足作業(yè)所需資源的節(jié)點(diǎn)分配給作業(yè)，如果該節(jié)點(diǎn)的負(fù)載大于最大負(fù)載，則此節(jié)點(diǎn)此時(shí)不再分配作業(yè)，如果該節(jié)點(diǎn)的負(fù)載小于最小負(fù)載，則將作業(yè)分配給此節(jié)點(diǎn)，最大負(fù)載與最小負(fù)載閾值設(shè)定可以根據(jù)系統(tǒng)管理員經(jīng)驗(yàn)值所得，節(jié)點(diǎn)的最小負(fù)載保證隊(duì)列中所有作業(yè)在此負(fù)載的節(jié)點(diǎn)上可以執(zhí)行。如果此節(jié)點(diǎn)的負(fù)載在最大負(fù)載與最小負(fù)載之間，則根據(jù)節(jié)點(diǎn)上最長(zhǎng)作業(yè)的結(jié)束時(shí)間為依據(jù)，找出作業(yè)結(jié)束時(shí)間最早的節(jié)點(diǎn)，將作業(yè)派發(fā)到該節(jié)點(diǎn)。該調(diào)度算法可以有效地避免系統(tǒng)中出現(xiàn)節(jié)點(diǎn)負(fù)載過(guò)重或過(guò)輕的情況，提高系統(tǒng)負(fù)載均衡效率。(4) 系統(tǒng)管理方法

6、1. 崗位管理(1) 高性能與網(wǎng)格計(jì)算平臺(tái)現(xiàn)場(chǎng)維護(hù)工作包括系統(tǒng)平臺(tái)維護(hù)、應(yīng)用維護(hù)、網(wǎng)絡(luò)設(shè)備維護(hù)、平臺(tái)監(jiān)控、安全管理、客戶(hù)綜合服務(wù)等方面。維護(hù)人員應(yīng)具備服務(wù)器、網(wǎng)絡(luò)設(shè)備、數(shù)據(jù)庫(kù)、操作系統(tǒng)、應(yīng)用軟件、計(jì)算機(jī)安全等維護(hù)技能，具備較強(qiáng)的故障及應(yīng)急處理能力。(2) 高性能與網(wǎng)格計(jì)算平臺(tái)崗位采用崗位人員后備制度：一個(gè)崗位配備兩名以上系統(tǒng)管理員，一個(gè)管理員主要負(fù)責(zé)平臺(tái)日常的管理工作，其他管理員（助理管理員）應(yīng)掌握平臺(tái)情況和管理知識(shí)，并在主要管理員外出的時(shí)候擔(dān)負(fù)管理平臺(tái)的職責(zé)。高性能與網(wǎng)格計(jì)算平臺(tái)重大故障恢復(fù)或配置變更操作必須在兩名以上管理員在場(chǎng)的情況下才能進(jìn)行。(3) 平臺(tái)環(huán)境的運(yùn)行維護(hù)，必須保證節(jié)點(diǎn)7&#

7、215;24小時(shí)在線(xiàn)，保證應(yīng)用系統(tǒng)資源的正常運(yùn)行。維護(hù)人員應(yīng)該確保在5x8或7x24個(gè)人通信的暢通以及2小時(shí)到達(dá)現(xiàn)場(chǎng)的能力。2. 作業(yè)管理管理員根據(jù)用戶(hù)及其作業(yè)內(nèi)容設(shè)定用戶(hù)作業(yè)及其使用計(jì)算資源的優(yōu)先級(jí)。短作業(yè)適當(dāng)提高優(yōu)先等級(jí)，以便減少系統(tǒng)平均周轉(zhuǎn)時(shí)間。3.配置變更和故障管理1)變更是指網(wǎng)絡(luò)設(shè)備、服務(wù)器設(shè)備、應(yīng)用系統(tǒng)等軟硬件的版本、程序、配置等的改變。變更分為一般變更、重大變更和緊急變更。 2)管理員進(jìn)行生產(chǎn)服務(wù)器的配置變更操作，必須執(zhí)行服務(wù)器配置變更管理，事前必須經(jīng)過(guò)詳盡的測(cè)試和計(jì)劃。3)變更需要對(duì)節(jié)點(diǎn)計(jì)算資源設(shè)備臨時(shí)關(guān)機(jī)或暫停計(jì)算服務(wù),需至少提前1天發(fā)通知，通知的內(nèi)容包括：停止服務(wù)

8、的原因與時(shí)間，預(yù)計(jì)恢復(fù)正常服務(wù)的時(shí)間。4)故障分為用戶(hù)故障和系統(tǒng)故障兩類(lèi)。用戶(hù)故障是指由于用戶(hù)終端方面原因引起的使用上的故障。系統(tǒng)故障是指由于系統(tǒng)軟、硬件原因而引起的使用上的故障。此處特指系統(tǒng)故障。5)發(fā)生故障，應(yīng)及時(shí)通知用戶(hù)，并通過(guò)互聯(lián)網(wǎng)絡(luò)發(fā)布通告。6)系統(tǒng)管理員應(yīng)該對(duì)系統(tǒng)運(yùn)行進(jìn)行定期檢查。4.安全管理1)服務(wù)器超級(jí)用戶(hù)的密碼要定期更換，密碼設(shè)定要有一定的規(guī)定，不能少于八位。超級(jí)用戶(hù)密碼必須登記在冊(cè)并按有關(guān)規(guī)定妥善保管，系統(tǒng)管理員不得對(duì)任何無(wú)關(guān)人員泄露。用戶(hù)密碼由相關(guān)用戶(hù)自行設(shè)定，系統(tǒng)管理員要嚴(yán)守保密制度，不得泄漏用戶(hù)密碼。2)系統(tǒng)管理員必須定期安裝操作系統(tǒng)、應(yīng)用程序的補(bǔ)丁包，對(duì)于高危高風(fēng)險(xiǎn)

9、的補(bǔ)丁包應(yīng)該按照要求及時(shí)安裝。3)所有服務(wù)器必須安裝防病毒軟件，并及時(shí)升級(jí)病毒定義文件。管理員應(yīng)該定期對(duì)服務(wù)器進(jìn)行全面的病毒檢測(cè)，發(fā)現(xiàn)問(wèn)題應(yīng)及時(shí)向中心安全管理員匯報(bào)并協(xié)同解決。4)所有服務(wù)器必須實(shí)施日志管理制度，按照有關(guān)規(guī)定保存系統(tǒng)和應(yīng)用程序日志。5)管理員必須定期對(duì)服務(wù)器進(jìn)行操作系統(tǒng)、應(yīng)用程序和數(shù)據(jù)的備份。按照不同的服務(wù)等級(jí)，對(duì)不同的服務(wù)器實(shí)施離線(xiàn)備份、在線(xiàn)備份、熱備份和雙機(jī)熱備等不同的備份策略。6)管理員應(yīng)對(duì)服務(wù)器進(jìn)行資源監(jiān)控，包括硬件、系統(tǒng)資源和應(yīng)用資源的監(jiān)控。硬件監(jiān)控，應(yīng)該利用硬件廠(chǎng)商提供的監(jiān)控軟件；系統(tǒng)資源監(jiān)控，主要針對(duì)CPU、內(nèi)存、I/O活動(dòng)情況的監(jiān)控；針對(duì)應(yīng)用資源，主要利用應(yīng)用程

10、序的監(jiān)控功能。管理員應(yīng)該利用各種資源監(jiān)控手段確保服務(wù)器能力，保障服務(wù)等級(jí)。2.利用自己實(shí)驗(yàn)室通過(guò)以太網(wǎng)互聯(lián)的計(jì)算機(jī)組成一個(gè)集群，對(duì)Linpack解線(xiàn)性方程組的程序（基于MPI）進(jìn)行適應(yīng)性修改使其在該集群上運(yùn)行。給出具體的測(cè)試方案、源程序程序及測(cè)試結(jié)果（C/C+、Fortran均可）。答：Linpack測(cè)試包括三類(lèi)，Linpack100、Linpack1000和HPL。Linpack100求解規(guī)模為100階的稠密線(xiàn)性代數(shù)方程組，它只允許采用編譯優(yōu)化選項(xiàng)進(jìn)行優(yōu)化，不得更改代碼，甚至代碼中的注釋也不得修改。Linpack1000要求求解規(guī)模為1000階的線(xiàn)性代數(shù)方程組，達(dá)到指定的精度要求，可以在不改

11、變計(jì)算量的前提下做算法和代碼上做優(yōu)化。HPL即High Performance Linpack，也叫高度并行計(jì)算基準(zhǔn)測(cè)試，它對(duì)數(shù)組大小N沒(méi)有限制，求解問(wèn)題的規(guī)?？梢愿淖儯舅惴ǎㄓ?jì)算量）不可改變外，可以采用其它任何優(yōu)化方法。前兩種測(cè)試運(yùn)行規(guī)模較小，已不是很適合現(xiàn)代計(jì)算機(jī)的發(fā)展，因此現(xiàn)在使用較多的測(cè)試標(biāo)準(zhǔn)為HPL，而且階次N也是linpack測(cè)試必須指明的參數(shù)。 HPL是針對(duì)現(xiàn)代并行計(jì)算機(jī)提出的測(cè)試方式。用戶(hù)在不修改任意測(cè)試程序的基礎(chǔ)上，可以調(diào)節(jié)問(wèn)題規(guī)模大小N(矩陣大小)、使用到的CPU數(shù)目、使用各種優(yōu)化方法等來(lái)執(zhí)行該測(cè)試程序，以獲取最佳的性能。HPL采用高斯消元法求解線(xiàn)性方程組。當(dāng)求解問(wèn)題

12、規(guī)模為N時(shí)，浮點(diǎn)運(yùn)算次數(shù)為(2/3 * N32*N2)。因此，只要給出問(wèn)題規(guī)模N，測(cè)得系統(tǒng)計(jì)算時(shí)間T，峰值=計(jì)算量(2/3 * N32*N2)/計(jì)算時(shí)間T，測(cè)試結(jié)果以浮點(diǎn)運(yùn)算每秒（Flops）給出。本次測(cè)試將在linux系統(tǒng)下基于MPICH2搭建采用HPL來(lái)測(cè)試集群的計(jì)算性能，具體步驟如下：一 并行環(huán)境MPI的建立1. 創(chuàng)建SSH信任連接（1） 更改/etc.hosts文件#vi /etc/hosts 打開(kāi)hosts文件，更改如下：127.0.0.1 localhost.localdomain localhost192.168.1.100 scc-m192.168.1.100 note1192

13、.168.1.102 note2192.168.1.106 note3192.168.1.112 note4192.168.1.113 note5（2） 在node1下生成SSH秘鑰對(duì)#ssh-keygen -t rsa /連續(xù)回車(chē)即可產(chǎn)生.ssh文件#ls -a 查看是否有.ssh文件夾（3） 進(jìn)入.ssh目錄#cd .ssh（4） 生成authorizen_keys文件#cp id_rsa.pub authorized_keys（5） 退出到root目錄#cd（6） 建立本身信任連接#ssh node1 按提示輸入yes（7） 設(shè)置node2#ssh-keygen -t rsa 生成.ss

14、h文件夾#scp 192.168.1.100:/root/.ssh/ /root/.ssh 拷貝node1上的.ssh文件夾覆蓋本地的#scp 192.168.1.100:/etc/hosts /etc/hosts 拷貝node1上的hosts文件覆蓋本地的#ssh node1提示處輸入yes回車(chē)設(shè)置剩下的node方法與node2相同（8） 確認(rèn)五臺(tái)機(jī)器的信任連接已建立對(duì)每個(gè)節(jié)點(diǎn)執(zhí)行：#ssh node1#ssh node2#ssh node3#ssh node4#ssh node5在提示處輸入yes回車(chē)，最后確定無(wú)需輸入密碼并且沒(méi)有任何提示信息即可登陸。2. 安裝MPICH2(在每個(gè)節(jié)點(diǎn)ro

15、ot目錄下，而且所有節(jié)點(diǎn)上的目錄一樣)(1) 解壓縮#tar -zxvf mpich2-1.0.7.tar.gz或者 #gunzip -c mpich2-1.0.7.tar.gz|tar xf mpich2-1.0.7.tar(2) 創(chuàng)建安裝目錄#mkdir /usr/MPICH-instsll(3) 進(jìn)入mpich2解壓目錄#cd mpich2-1.0.7(4) 設(shè)置安裝目錄#./configure -prefix=/usr/MPICH-install(5) 編譯#make(6) 安裝#make install(7) 退出到root目錄#cd .(8) 通過(guò)編輯.bashrc文件修改環(huán)境變量

16、#vi .bashrc修改后的.bashrc文件如下：# .bashrc# User specific aliases and functionsalias rm='rm -i'alias cp='cp -i'alias mv='mv -i'PATH="$PATH:/usr/MPICH-install/bin" 新增加的#Source global definitionsif -f /etc/bashrc ; then./etc/bashrcfi(9) 測(cè)試環(huán)境變量設(shè)置#which mpd#which mpicc#which

17、mpiexec#which mpirun修改/etc/mpd.conf文件，內(nèi)容為secretword=myword#vi /etc/mpd.conf設(shè)置文件讀取權(quán)限和修改時(shí)間#touch /etc/mpd.conf#chmod 600 /etc/mpd.conf（11）創(chuàng)建主機(jī)名稱(chēng)集合文件/root/mpd.hosts#vi mpd.hosts文件內(nèi)容如下：node1node2node3node4node53. 測(cè)試(1) 本地測(cè)試#mpd & 啟動(dòng)#mpdtrace 觀(guān)看啟動(dòng)機(jī)器#mpdallexit 退出(2) 通過(guò)mpd.hosts運(yùn)行集群系統(tǒng)#mpdboot -n numbe

18、r -f mpd.hosts number為要起動(dòng)的機(jī)器個(gè)數(shù)#mpdtrace#mpdallexit(3) 測(cè)試運(yùn)行MPICH的例子程序#mpdboot -n 5 -f mpd.hosts 啟動(dòng)5臺(tái)機(jī)器#mpiexec -n number /usr/MPICH-install/examples/cpi number為使用的進(jìn)程數(shù)#mpdallexit二 BLAS的安裝1. 下載blas.tar和cblas.tar 。需要先安裝blas，后安裝cblas。2. blas.tar解壓縮后直接make，生成blas_LINUX.a靜態(tài)庫(kù)。3. cblas.tar解壓縮后，選擇MakeFile.LIN

19、UX作為配置文件，另存為或者鏈接為MakeFile.inc。修改MakeFile.inc中的配置：BLLIB 和 CBDIR 的路徑。第一個(gè)是 blas_LINUX.a 所在的路徑。BLLIB = /*/blas_LINUX.a第二個(gè)是 CBLAS 解壓的存放路徑。CBDIR = /*/CBLAS最后執(zhí)行make all，在/*/CBLAS/lib/LINUX里面生成cblas_LINUX.a4. 我們所關(guān)注的就是這兩個(gè).a庫(kù)文件的鏈接路徑。三 HPL的安裝，編譯與運(yùn)行1. 從HPL官網(wǎng)下載hpl.tgz2. tar -xzvf hpl.tar /創(chuàng)建一個(gè)"hpl"目錄3. 進(jìn)入/hpl/se