并行計(jì)算基礎(chǔ)知識(shí)講座1.ppt

1、并行修正計(jì)算的基礎(chǔ)知識(shí)、主要內(nèi)容、并行修正計(jì)算環(huán)境并行算法的基礎(chǔ)哪些問題可以使并行化串行計(jì)程儀報(bào)變成并行計(jì)程儀報(bào)， 為什么需要并行訂正機(jī)問題3360科學(xué)和工程問題的數(shù)值模擬和仿真訂正密集數(shù)據(jù)密集網(wǎng)絡(luò)密集三種混合要求：在合理的時(shí)限內(nèi)完成訂正任務(wù)的秒級(jí)制造業(yè)分級(jí)短時(shí)間天氣預(yù)報(bào)(當(dāng)天)時(shí)間級(jí)中期天氣預(yù)報(bào)(310天)盡快進(jìn)行長(zhǎng)期天氣預(yù)報(bào)(氣候) 可以修正湍流模擬的塔斯克，通常修正量非常多，PC無(wú)法滿足要求或完全無(wú)法修正，非常適合在超級(jí)計(jì)算環(huán)境中執(zhí)行。 例如，(1)需要分布式并行處理的科學(xué)校準(zhǔn)塔斯克包括(2)對(duì)校準(zhǔn)資源的需求過(guò)大而不滿足當(dāng)前硬件條件的校準(zhǔn)塔斯克，通過(guò)將串行原代碼改編為并行原代碼的校準(zhǔn)，或

2、者通過(guò)的并行校準(zhǔn)計(jì)程儀程序(商業(yè)或者非商業(yè))，但是花費(fèi)過(guò)多時(shí)間并行校準(zhǔn)功能的分類、并行運(yùn)載體機(jī)器(PVP )對(duì)稱多處理共享存儲(chǔ)器多處理機(jī)(SMP )大規(guī)模并行處理器(MPP )工作站(微機(jī))機(jī)器群(COW )分散式共享記憶體多處理機(jī)(DSM )、cow(clusteer )各節(jié)點(diǎn)通?；ヂ?lián)互通在商品化網(wǎng)絡(luò)上的機(jī)器群使用著千兆二進(jìn)制位網(wǎng)。 每個(gè)節(jié)點(diǎn)通常都有本地磁盤。節(jié)點(diǎn)上的網(wǎng)絡(luò)接口松散耦合到I/O男低音。每個(gè)節(jié)點(diǎn)都有完整的執(zhí)行操作系統(tǒng)，但通過(guò)中間階層實(shí)現(xiàn)了單個(gè)系統(tǒng)映像(服務(wù)器端包含)。單系統(tǒng)圖像、單系統(tǒng)圖像(Single System Image，服務(wù)器端包含)并不意味著內(nèi)存中只有系統(tǒng)中的唯一執(zhí)行

3、操作系統(tǒng)圖像，而是感覺像單個(gè)系統(tǒng)。 其基本特征是單系統(tǒng)、單一制控制、對(duì)稱性、位置透明。 采用服務(wù)器端包含的主要目的是使機(jī)器群的使用、控制和維護(hù)與一臺(tái)工作站相同。 單個(gè)系統(tǒng)映像包括單個(gè)入口點(diǎn)、單個(gè)文件層、單個(gè)I/O空間、單個(gè)網(wǎng)絡(luò)、單個(gè)作業(yè)管理系統(tǒng)、單個(gè)存儲(chǔ)空間和單個(gè)進(jìn)程空間。 并聯(lián)機(jī)軟件環(huán)境、執(zhí)行操作系統(tǒng)端： RatHat9.0軟件編程語(yǔ)言： Fortran 77、Fortran 90、C/C等，什么是并行算法，算法是解題的精確描述， 在規(guī)定解決某些規(guī)則的并行修正運(yùn)算時(shí)，云同步可解的各過(guò)程集合、這些個(gè)的過(guò)程相互作用和協(xié)調(diào)動(dòng)作，以及最終得到問題的求解并行算法是并行修正運(yùn)算過(guò)程的精確描述、并行算法分

4、類、非數(shù)值修正運(yùn)算并行算法數(shù)值修正并行算法、矩陣運(yùn)算、多項(xiàng)式求解、線性方程求解等代數(shù)關(guān)系運(yùn)算的修正運(yùn)算問題。 傳統(tǒng)的串行校正算法分為“指令”和“數(shù)據(jù)”兩部分，在執(zhí)行普通堆計(jì)程儀時(shí)，“獨(dú)立申請(qǐng)和占用”有空間，所有校正算法都有限，并行校正算法將進(jìn)程分配給相對(duì)獨(dú)立的不同節(jié)點(diǎn)，并且各自獨(dú)立進(jìn)程間的互相信息交換通過(guò)消息來(lái)進(jìn)行，過(guò)程1、過(guò)程2、過(guò)程間通訊、現(xiàn)代執(zhí)行操作系統(tǒng)提供基本的系統(tǒng)呼叫函數(shù)，行政許可在同一處理器或不同處理器內(nèi)的多個(gè)進(jìn)程之間交換信息，具體地講是以通訊、同步、聚合三種形式以上三種形式統(tǒng)稱為進(jìn)程間通訊，操作的具體數(shù)據(jù)對(duì)象稱為消息，具體操作稱為消息傳遞。通訊、進(jìn)程間的數(shù)據(jù)傳輸稱為進(jìn)程間通訊。

5、在同一處理器中，通訊可以讀寫執(zhí)行操作系統(tǒng)提供的共享數(shù)據(jù)緩沖區(qū)。 在不同的處理器中，通訊可以通過(guò)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。 同步、同步是在同一處理器或不同處理器中的多個(gè)進(jìn)程之間相互等待的操作，要求進(jìn)程的所有操作都必須等待到某個(gè)控制狀態(tài)。、集合、集合可以聚集在相同數(shù)目的后續(xù)、不同的處理器上的多個(gè)過(guò)程的本地結(jié)果以產(chǎn)生具有特定操作(例如，最大、最小值、累積和等)的新的結(jié)果，并且在指定過(guò)程變量或所有過(guò)程變量中存儲(chǔ)該新的結(jié)果。 共享存儲(chǔ)機(jī)型和語(yǔ)言(PVP、SMP、DSM) X3H5、主題開放式消息傳遞機(jī)型和語(yǔ)言(MPP、群集、COW) MPI (Fortran、c、) c )數(shù)據(jù)并行機(jī)型和語(yǔ)言(MPP群集上Fortra

6、n 90hpf (高性能)、并行編程環(huán)境和MPI (消息傳遞互聯(lián)網(wǎng)軟件編程語(yǔ)言)支持c、fortran等。 MPI已成為定義接口庫(kù)的標(biāo)準(zhǔn)，該接口庫(kù)的格式與不包含特定制造商、執(zhí)行操作系統(tǒng)和硬件特性的語(yǔ)言無(wú)關(guān)。 因此，MPI被并行校正行業(yè)廣泛接受.MPI標(biāo)準(zhǔn)的實(shí)現(xiàn)包括MPICH、LAM、IBM MPL等，提供與c、Fortran語(yǔ)言的綁定。 可以將MPI視為“庫(kù)”。 現(xiàn)在使用的消息庫(kù)是MPICH 1.2，有數(shù)百個(gè)接口，可以通過(guò)FORTRAN 77和習(xí)語(yǔ)言直接調(diào)用這些個(gè)的函數(shù)。 多個(gè)處理通過(guò)調(diào)用這些個(gè)的函數(shù)(像調(diào)用子例程)進(jìn)行通訊。Include文件是習(xí)語(yǔ)言應(yīng)用程序，則為#include “mpi.

7、h” Fortran語(yǔ)言應(yīng)用程序，則為#include mpif.h、MPI并行預(yù)計(jì)程儀單計(jì)程儀多數(shù)據(jù)流模式(SPMD )需要多計(jì)程儀多數(shù)據(jù)流模式的MPI計(jì)程儀柱的SPMD執(zhí)行模式是指，一個(gè)柱計(jì)程儀柱將多個(gè)部分激活到云同步以形成多個(gè)獨(dú)立的過(guò)程，并由不同的處理器執(zhí)行以實(shí)現(xiàn)獨(dú)立的處理SPMD模式：?jiǎn)斡?jì)程儀多數(shù)據(jù)流，例如1，過(guò)程0向過(guò)程1發(fā)送整數(shù)過(guò)程1將1加到該數(shù)上，過(guò)程2傳遞到過(guò)程2再將1加到該數(shù)上，依次類推到過(guò)程3，最后，過(guò)程N(yùn)-1將其編譯執(zhí)行指令，mpif77 o exam exam.f mpirun np 4 exam其中，exam.f表示需要編譯的源文件，o表示生成的輸出文件，exam表示

8、輸出文件名，np表示進(jìn)程數(shù)。 使用mpicc和mpif77省略與MPI相關(guān)的路徑設(shè)定，能夠并行執(zhí)行什么、能夠?qū)错樞驁?zhí)行的程序轉(zhuǎn)換為在意義上等效且并行執(zhí)行的計(jì)程儀程序，主要依賴于程序計(jì)程儀程序的結(jié)構(gòu)形式、特別是其中的數(shù)據(jù)相關(guān)性。 其中，變量a是與P1和P2的發(fā)生數(shù)據(jù)關(guān)聯(lián)的原因。 為了保證計(jì)程儀執(zhí)行的語(yǔ)義精準(zhǔn)性，變量a必須在被寫入到P1后從P2讀出，即，在被寫入后被讀出。 顯然，P1和P2不能并行執(zhí)行。 數(shù)據(jù)相關(guān)、數(shù)據(jù)逆相關(guān)定、P1: ABC P2: CE D P1通過(guò)變量c數(shù)據(jù)相關(guān)P2。 為了確保意義的正確性，P1讀出變量c之后，P2必須能夠?qū)ψ兞縞進(jìn)行寫入操作，即，需要先進(jìn)行讀出之后寫入。

9、也無(wú)法并行化并且與數(shù)據(jù)輸出相關(guān)聯(lián)，P1: AB C P2: ADE必須行政許可P1首先寫入a，然后P2寫入a，以保證意義的正確性。 除了上述三個(gè)相關(guān)性之外，還有一種特殊情況，即兩個(gè)段的輸入變量互為輸出變量。 在這種情況下，兩者必須并行執(zhí)行才能保不定意義的精準(zhǔn)性。 這就要求硬件機(jī)構(gòu)能夠保證兩者的同步讀寫。 然而，若兩個(gè)處理器分別具有本地存儲(chǔ)器則能夠降低同步請(qǐng)求。相關(guān)性和并行化，伯恩斯坦基準(zhǔn)I1O2，即P1的輸入變量定徑套和P2的輸出變量定徑套不交叉的I2O1，即P2的輸入變量定徑套不與P1的輸出變量定徑套交叉，O1O2，即P1和P2的輸出變量定徑套不交叉，可以進(jìn)行并行處理， 首先定義三個(gè)重要概念

10、：塔斯克、進(jìn)程和處理器，以了解串行計(jì)程儀報(bào)如何變?yōu)椴⑿校约皠?chuàng)建并行計(jì)程儀報(bào)的步驟。、塔斯克、塔斯克是一項(xiàng)計(jì)程儀方案完成的工作，其內(nèi)容和大小是任意的，它是并行計(jì)程儀方案可以處理的并發(fā)性最小的用戶針織面料，也就是說(shuō)，一個(gè)塔斯克只能由一個(gè)處理器執(zhí)行，處理器間的并發(fā)性只能在任務(wù)間開發(fā)。 進(jìn)程和進(jìn)程(也稱為線程)是完成塔斯克的實(shí)體。 一個(gè)并發(fā)計(jì)程儀程序由多個(gè)團(tuán)隊(duì)精神進(jìn)程組成，是每個(gè)完成計(jì)程儀程序中塔斯克的子定徑套。 一個(gè)分配反應(yīng)歷程將塔斯克分配給進(jìn)程。 通過(guò)在機(jī)器的物理處理器上執(zhí)行，從進(jìn)程和處理器的區(qū)別、并行化的觀點(diǎn)來(lái)看，處理器是物理資源、進(jìn)程是抽象的，或者是虛擬化多處理機(jī)的方便方法：我們將在處理器中寫入并行計(jì)程儀程序的過(guò)程映射到處理器在一次計(jì)程儀程序的執(zhí)行中，過(guò)程的數(shù)目不必須等于處理器的數(shù)目。 進(jìn)程越多，一個(gè)處理器可能執(zhí)行多個(gè)進(jìn)程；進(jìn)程越少，一些處理器空閑，串行計(jì)程儀程序并行化的幾個(gè)步驟， 從一個(gè)串行計(jì)程儀程序獲得一個(gè)并行程序計(jì)程儀程序的工作由四個(gè)步驟組成：1.將修正計(jì)算問題分解為塔斯克2 .將塔斯克分配給進(jìn)程3 .在進(jìn)程之間需要的數(shù)據(jù)網(wǎng)站數(shù)據(jù)庫(kù)、通訊、同步4 .將進(jìn)程映射或綁定到處理器，但上述的幾個(gè)方面考慮到消息傳送的開銷等于或大于校正開銷