并行計(jì)算概述課件

1、平行計(jì)算，結(jié)構(gòu)算法編程，1，學(xué)習(xí)AC PPT，平行計(jì)算結(jié)構(gòu)算法編程，第一并行計(jì)算的基礎(chǔ)第一章并行電腦系統(tǒng)及其結(jié)構(gòu)模型第二章現(xiàn)代并行系統(tǒng)：SMP，MPP和集群第三章平行計(jì)算性能評(píng)估第二并行算法的設(shè)計(jì)基礎(chǔ)第五章并行算法的一般設(shè)計(jì)方法第六章并行算法的基本設(shè)計(jì)技術(shù)第七章并行算法的一般設(shè)計(jì)過(guò)程，2，AC 平行計(jì)算結(jié)構(gòu)算法編程，第三章并行數(shù)值算法8章基本通信任務(wù)第9章密集矩陣運(yùn)算10章線性方程解決第11章快速傅里葉變換4篇并行節(jié)目設(shè)計(jì)第12章并行節(jié)目設(shè)計(jì)基礎(chǔ)第13章并行節(jié)目設(shè)計(jì)模型和孔劉存儲(chǔ)系統(tǒng)編程第14章分布式存儲(chǔ)系統(tǒng)并行編程第15章并行編程環(huán)境和工具，第3章，學(xué)習(xí)AC PPT，第一章并行計(jì)算機(jī)系統(tǒng)和結(jié)

2、構(gòu)模型， 1.1平行計(jì)算1.1.1平行計(jì)算和計(jì)算科學(xué)1.1.2現(xiàn)代科學(xué)和工程問(wèn)題的計(jì)算要求1.2并行電腦系統(tǒng)互連1.2.1系統(tǒng)互連1.2.2靜態(tài)互連網(wǎng)絡(luò)1.2.3動(dòng)態(tài)互連網(wǎng)絡(luò)1.2 計(jì)算科學(xué)是利用計(jì)算方法解決應(yīng)用問(wèn)題的交叉學(xué)科。理論模型復(fù)雜，或者尚未建立，實(shí)驗(yàn)成本高，或者不能進(jìn)行計(jì)算科學(xué)：計(jì)算物理、計(jì)算化學(xué)、計(jì)算生物學(xué)等科學(xué)和工程問(wèn)題：氣象預(yù)報(bào)、水池模擬、核武器數(shù)值模擬、太空船設(shè)計(jì)、基因測(cè)序等。需求類(lèi)型：計(jì)算密集型、數(shù)據(jù)密集、網(wǎng)絡(luò)密集。5，學(xué)習(xí)交流PPT，6，學(xué)習(xí)交流PPT，7，學(xué)習(xí)交流PPT，平行計(jì)算，美國(guó)HPCC節(jié)目：高性能計(jì)算和通信，主要挑戰(zhàn)，3T性能美國(guó)Petaflops研究項(xiàng)目：Pf

3、lop/s .美國(guó)ASCI節(jié)目高性能，8，學(xué)習(xí)交流PPT，9，學(xué)習(xí)交流PPT，10，學(xué)習(xí)交流PPT，11，學(xué)習(xí)交流PPT，12，學(xué)習(xí)交流PPT，13，學(xué)習(xí)交流PPT，高性能電腦，英特爾奔騰pro SGITop1、2002、vphewlett-packard asci q: 7 tflops、top2、3、2002、alpha server中國(guó)聯(lián)想：1 tflops、top43單向網(wǎng)絡(luò)中入射邊和射出邊的總和稱為節(jié)點(diǎn)圖。網(wǎng)絡(luò)直徑：網(wǎng)絡(luò)中兩個(gè)節(jié)點(diǎn)之間的最大距離，即最大路徑數(shù)。剖面寬度與剖面寬度：必須從分割網(wǎng)路的一半移除的最小側(cè)面數(shù)與剖面頻寬(Bisection Width) :秒內(nèi)，在最小剖面平面中

4、通過(guò)所有連接的最大資訊位元(或位元組)數(shù)在任何節(jié)點(diǎn)上檢視網(wǎng)路時(shí)相同靜態(tài)互連網(wǎng)絡(luò)與動(dòng)態(tài)互連網(wǎng)絡(luò)；靜態(tài)互連網(wǎng)絡(luò)：在程序單元之間具有固定連接的網(wǎng)絡(luò)類(lèi)型，在節(jié)目執(zhí)行期間，點(diǎn)對(duì)點(diǎn)連結(jié)會(huì)變更典型的靜態(tài)網(wǎng)絡(luò)包括一維線性陣列、二維網(wǎng)格、樹(shù)連接、超立方體網(wǎng)絡(luò)、立方體環(huán)、褶邊交換網(wǎng)、蝴蝶網(wǎng)絡(luò)等動(dòng)態(tài)網(wǎng)絡(luò)。由交換機(jī)交換機(jī)組成，可以根據(jù)應(yīng)用節(jié)目要求動(dòng)態(tài)更改連接配置。典型的動(dòng)態(tài)網(wǎng)絡(luò)包括巴士、交叉交換機(jī)、多級(jí)互連網(wǎng)絡(luò)等。，18，學(xué)習(xí)交流PPT，靜態(tài)互連網(wǎng)絡(luò)(1)，一維線性陣列(1-D線性陣列):在并行系統(tǒng)中，最簡(jiǎn)單、最基本的互連方法是每個(gè)節(jié)點(diǎn)僅與左右鄰居連接，也稱為兩個(gè)鄰居連接，N個(gè)節(jié)點(diǎn)是N個(gè)節(jié)點(diǎn)。與拓?fù)渲械沫h(huán)相同，環(huán)可以

5、是單向的，也可以是雙向的，節(jié)點(diǎn)角度為常數(shù)2、直徑或(雙向環(huán))或N-1(單向環(huán))，截面寬度為2、19，學(xué)習(xí)AC PPT，靜態(tài)互連網(wǎng)絡(luò)(2)，2D網(wǎng)格截面寬度為垂直環(huán)節(jié)點(diǎn)角度始終為4，網(wǎng)絡(luò)直徑為4，截面寬度在垂直和水平方向上都環(huán)繞。二維動(dòng)態(tài)觀察(2-D Torus)，節(jié)點(diǎn)角度始終為4，網(wǎng)絡(luò)直徑始終為3，截面寬度為1，樹(shù)直徑盡可能增加節(jié)點(diǎn)角度將直徑減小為2，從而成為星形網(wǎng)絡(luò)。如果截面寬度是傳統(tǒng)的二叉樹(shù)，最大的問(wèn)題是根很容易成為通信瓶頸。(約翰f肯尼迪，美國(guó)電視電視劇，剖面圖)胖樹(shù)節(jié)點(diǎn)之間的通道從葉到根逐漸變寬。21，學(xué)習(xí)交流PPT，靜態(tài)互連網(wǎng)絡(luò)(4)，超立方體：n-立方體由頂點(diǎn)組成，3-立方體如圖(

6、A)所示。4-立方體由兩個(gè)3-立方體的相應(yīng)頂點(diǎn)連接，如圖(b)所示。N-立方體的節(jié)點(diǎn)度為n，網(wǎng)絡(luò)直徑為n，截面寬度為。如圖(D)所示，如果用一個(gè)環(huán)替換3-立方體的每個(gè)頂點(diǎn)以構(gòu)成3-立方體環(huán)，則每個(gè)頂點(diǎn)的角度為3，而不是n牙齒。22、學(xué)習(xí)AC PPT、嵌入、將網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)映射到不同的網(wǎng)絡(luò)，以使用“擴(kuò)展”(Dilation)系數(shù)說(shuō)明嵌入質(zhì)量。這是嵌入網(wǎng)絡(luò)中的一個(gè)鏈路響應(yīng)將嵌入的網(wǎng)絡(luò)所需的最大鏈路數(shù)。如果牙齒系數(shù)為1，則稱為完美嵌入。環(huán)形網(wǎng)絡(luò)可以完全嵌入到2D環(huán)繞網(wǎng)絡(luò)中。23，學(xué)習(xí)交流PPT，內(nèi)置，24，學(xué)習(xí)交流PPT，交叉開(kāi)關(guān)通常用作兩種茄子方法。一種是對(duì)稱的多處理器或多電腦群集的處理器之間的

7、通信。另一種用于在SMP服務(wù)器或矢量超級(jí)計(jì)算機(jī)的處理器和存儲(chǔ)之間進(jìn)行訪問(wèn)。27、學(xué)習(xí)型交流PPT、動(dòng)態(tài)互連網(wǎng)絡(luò)(3)、單層交叉交換機(jī)多級(jí)互連網(wǎng)絡(luò)多級(jí)互連網(wǎng)絡(luò)(MIN)、28、學(xué)習(xí)型交流PPT、動(dòng)態(tài)互連網(wǎng)絡(luò)(但是是一對(duì)一或這是輸出沖突級(jí)別之間的互連：統(tǒng)一洗牌、蝴蝶、多通道統(tǒng)一洗牌、交叉開(kāi)關(guān)、多維數(shù)據(jù)集連接N輸入網(wǎng)絡(luò)要求級(jí)別開(kāi)關(guān)、Ilinois University中的C網(wǎng)絡(luò)可以防止8個(gè)處理器同時(shí)訪問(wèn)存儲(chǔ)時(shí)發(fā)生沖突。29，學(xué)習(xí)交流PPT，動(dòng)態(tài)互連網(wǎng)絡(luò)比較，N，節(jié)點(diǎn)大小W，數(shù)據(jù)寬度，30，學(xué)習(xí)交流PPTMyrinet可以假定任何拓?fù)?，而不限于交換機(jī)網(wǎng)格或規(guī)則結(jié)構(gòu)。Myrinet在數(shù)據(jù)鏈路層具有可變長(zhǎng)

8、度數(shù)據(jù)包格式，對(duì)每個(gè)鏈路執(zhí)行流控制和錯(cuò)誤控制，使用切線選擇方法和可自定義的可編程主機(jī)接口。在物理層，Myrinet網(wǎng)絡(luò)使用最多3米的全雙工SAN鏈路，最大速度為(1.281.28)Gbps(當(dāng)前為2.56 2.56) Myrinet交換交換機(jī)33608，12，16通信端口my riis 140 of the November 2002 top 500 use me在大型計(jì)算機(jī)和超級(jí)計(jì)算機(jī)行業(yè)，HiPPI用作短距離系統(tǒng)到系統(tǒng)和系統(tǒng)到外圍設(shè)備連接的高速I(mǎi)/O通道。1993年，ANSI X3T9.3委員會(huì)批準(zhǔn)了涵蓋物理層和數(shù)據(jù)鏈路層的HiPPI標(biāo)準(zhǔn)，但牙齒兩層以上的所有法規(guī)均因用戶而異。HiPPI是

9、單工作點(diǎn)到工作點(diǎn)的資料傳輸接口，運(yùn)行速度為800Mbps到1.6Gbps。SGI和Los Alamos National Laboratory成功開(kāi)發(fā)了HiPPI技術(shù)，該技術(shù)提供的潛在6.4Gbps速度比HiPPI快8倍，延遲更低。SGI和LOS Alamos National Laboratory都開(kāi)發(fā)了HiPPI技術(shù)，用于部署高達(dá)25.6Gbps的HiPPI交換交換機(jī)。HiPPI通道和HiPPI交換交換機(jī)用于SGI電源挑戰(zhàn)服務(wù)器、IBM 390主機(jī)、Cray Y/MP、C90、T3D/T3E等系統(tǒng)、33、AC PPT學(xué)習(xí)、HiPPI通道和交換機(jī)中的LAN主干光纖通道光纖通道(FC):通道和

10、網(wǎng)路標(biāo)準(zhǔn)集成光纖通道可以是孔劉介質(zhì)或交換技術(shù)。光纖通道操作速度范圍為100-133、200、400和800Mbps。FCSI供應(yīng)商也在未來(lái)推出速度更快(1、2或4Gbps)的光纖通道光纖通道的價(jià)值。這些LAN是基于光纖通道技術(shù)的網(wǎng)絡(luò)拓?fù)涞撵`活性，是光纖通道的主要資產(chǎn)。支持點(diǎn)對(duì)點(diǎn)、仲裁環(huán)和交換機(jī)結(jié)構(gòu)連接FDDI :光纖分布式數(shù)據(jù)介面光纖分布式數(shù)據(jù)接口(FDDI)FDDI。FDDI使用雙向光纖令牌環(huán)提供100-200Mbps的資料傳輸速度。FDDI具有互連大量設(shè)備的功能?，F(xiàn)有FDDI只能異步工作。學(xué)習(xí)型AC PPT、雙向FDDI環(huán)由主干、36、學(xué)習(xí)型AC PPT、標(biāo)準(zhǔn)網(wǎng)絡(luò)(4)和異步傳輸模式(AT

11、M):由ATM論壇和ITU標(biāo)準(zhǔn)定義，該論壇成立于1991年。ATM是獨(dú)立于媒體的消息傳輸協(xié)議，通過(guò)將消息段更改為較短的固定長(zhǎng)度53字節(jié)來(lái)發(fā)送消息。牙齒技術(shù)基于收購(gòu)更換機(jī)制。ATM的目的是將實(shí)時(shí)和拆分?jǐn)?shù)據(jù)傳輸合并到單個(gè)網(wǎng)絡(luò)技術(shù)中。ATM網(wǎng)絡(luò)支持25到51、155和622Mbps的不同速度，速度越低，ATM交換機(jī)和使用的鏈路價(jià)格就越低。37，學(xué)習(xí)交流PPT，香港大學(xué)開(kāi)發(fā)的Pearl集群，38，學(xué)習(xí)交流PPT，標(biāo)準(zhǔn)互連網(wǎng)絡(luò)(5)，39，學(xué)習(xí)交流PPT，并行電腦架構(gòu)模型，40，學(xué)習(xí)交流PPT，并行電腦體系結(jié)構(gòu)集成大量節(jié)點(diǎn)通過(guò)高速網(wǎng)絡(luò)相互連接，節(jié)點(diǎn)遵循外殼結(jié)構(gòu)。這意味著將商用微處理器和節(jié)點(diǎn)的其他部分(包

12、括主板級(jí)緩存、內(nèi)存、NIC和DISK)連接到自定義外殼電路。升級(jí)CPU的優(yōu)點(diǎn)是只需更換shell。41，學(xué)習(xí)交流PPT，5茄子結(jié)構(gòu)特性列表，42，學(xué)習(xí)交流PPT，并行電腦訪問(wèn)模型(1)，統(tǒng)一內(nèi)存訪問(wèn)(UMA)模型是統(tǒng)一存儲(chǔ)訪問(wèn)模型的縮寫(xiě)。其特點(diǎn)是物理內(nèi)存由所有處理器統(tǒng)一共享。所有處理器都使用相同的時(shí)間訪問(wèn)存儲(chǔ)單詞。每個(gè)處理器均可配備專用高速緩存：外圍設(shè)備也可以采用一定的格式共享。43，AC PPT，并行電腦訪問(wèn)模型(2)，非統(tǒng)一內(nèi)存訪問(wèn)(NUMA)模型學(xué)習(xí)非統(tǒng)一存儲(chǔ)訪問(wèn)模型的縮寫(xiě)?？讋⒋鎯?chǔ)實(shí)際上分布在所有處理器上，其特征是所有本地存儲(chǔ)集合構(gòu)成了全局地址空間。處理器存取記憶體的時(shí)間不同。訪問(wèn)本地內(nèi)存LM或組中的共享內(nèi)存CSM速度更快，訪問(wèn)非現(xiàn)場(chǎng)存儲(chǔ)或全局共享內(nèi)存GSM速度更慢(源自非統(tǒng)一存儲(chǔ)訪問(wèn)名稱)。每個(gè)處理器都可以擁有前所未有的專用高速緩存，外圍設(shè)備可以以任何形式共享。44，學(xué)習(xí)交流PPT，并行電腦訪問(wèn)模型(3)，CACHE-Only Memory Access模型是完整緩存存儲(chǔ)訪問(wèn)的縮寫(xiě)。每個(gè)處理器節(jié)點(diǎn)都沒(méi)有存儲(chǔ)層，并且所有緩存都構(gòu)成了全局地址空間。使用分布式高速緩存目