并行計算基礎(chǔ)知識講座1.ppt

1、并行修正計算的基礎(chǔ)知識、主要內(nèi)容、并行修正計算環(huán)境并行算法的基礎(chǔ)哪些問題可以使并行化串行計程儀報變成并行計程儀報， 為什么需要并行訂正機問題3360科學(xué)和工程問題的數(shù)值模擬和仿真訂正密集數(shù)據(jù)密集網(wǎng)絡(luò)密集三種混合要求：在合理的時限內(nèi)完成訂正任務(wù)的秒級制造業(yè)分級短時間天氣預(yù)報(當(dāng)天)時間級中期天氣預(yù)報(310天)盡快進行長期天氣預(yù)報(氣候) 可以修正湍流模擬的塔斯克，通常修正量非常多，PC無法滿足要求或完全無法修正，非常適合在超級計算環(huán)境中執(zhí)行。 例如，(1)需要分布式并行處理的科學(xué)校準塔斯克包括(2)對校準資源的需求過大而不滿足當(dāng)前硬件條件的校準塔斯克，通過將串行原代碼改編為并行原代碼的校準，或

2、者通過的并行校準計程儀程序(商業(yè)或者非商業(yè))，但是花費過多時間并行校準功能的分類、并行運載體機器(PVP )對稱多處理共享存儲器多處理機(SMP )大規(guī)模并行處理器(MPP )工作站(微機)機器群(COW )分散式共享記憶體多處理機(DSM )、cow(clusteer )各節(jié)點通?；ヂ?lián)互通在商品化網(wǎng)絡(luò)上的機器群使用著千兆二進制位網(wǎng)。 每個節(jié)點通常都有本地磁盤。節(jié)點上的網(wǎng)絡(luò)接口松散耦合到I/O男低音。每個節(jié)點都有完整的執(zhí)行操作系統(tǒng)，但通過中間階層實現(xiàn)了單個系統(tǒng)映像(服務(wù)器端包含)。單系統(tǒng)圖像、單系統(tǒng)圖像(Single System Image，服務(wù)器端包含)并不意味著內(nèi)存中只有系統(tǒng)中的唯一執(zhí)行

3、操作系統(tǒng)圖像，而是感覺像單個系統(tǒng)。 其基本特征是單系統(tǒng)、單一制控制、對稱性、位置透明。 采用服務(wù)器端包含的主要目的是使機器群的使用、控制和維護與一臺工作站相同。 單個系統(tǒng)映像包括單個入口點、單個文件層、單個I/O空間、單個網(wǎng)絡(luò)、單個作業(yè)管理系統(tǒng)、單個存儲空間和單個進程空間。 并聯(lián)機軟件環(huán)境、執(zhí)行操作系統(tǒng)端： RatHat9.0軟件編程語言： Fortran 77、Fortran 90、C/C等，什么是并行算法，算法是解題的精確描述， 在規(guī)定解決某些規(guī)則的并行修正運算時，云同步可解的各過程集合、這些個的過程相互作用和協(xié)調(diào)動作，以及最終得到問題的求解并行算法是并行修正運算過程的精確描述、并行算法分

4、類、非數(shù)值修正運算并行算法數(shù)值修正并行算法、矩陣運算、多項式求解、線性方程求解等代數(shù)關(guān)系運算的修正運算問題。 傳統(tǒng)的串行校正算法分為“指令”和“數(shù)據(jù)”兩部分，在執(zhí)行普通堆計程儀時，“獨立申請和占用”有空間，所有校正算法都有限，并行校正算法將進程分配給相對獨立的不同節(jié)點，并且各自獨立進程間的互相信息交換通過消息來進行，過程1、過程2、過程間通訊、現(xiàn)代執(zhí)行操作系統(tǒng)提供基本的系統(tǒng)呼叫函數(shù)，行政許可在同一處理器或不同處理器內(nèi)的多個進程之間交換信息，具體地講是以通訊、同步、聚合三種形式以上三種形式統(tǒng)稱為進程間通訊，操作的具體數(shù)據(jù)對象稱為消息，具體操作稱為消息傳遞。通訊、進程間的數(shù)據(jù)傳輸稱為進程間通訊。

5、在同一處理器中，通訊可以讀寫執(zhí)行操作系統(tǒng)提供的共享數(shù)據(jù)緩沖區(qū)。 在不同的處理器中，通訊可以通過網(wǎng)絡(luò)來實現(xiàn)。 同步、同步是在同一處理器或不同處理器中的多個進程之間相互等待的操作，要求進程的所有操作都必須等待到某個控制狀態(tài)。、集合、集合可以聚集在相同數(shù)目的后續(xù)、不同的處理器上的多個過程的本地結(jié)果以產(chǎn)生具有特定操作(例如，最大、最小值、累積和等)的新的結(jié)果，并且在指定過程變量或所有過程變量中存儲該新的結(jié)果。 共享存儲機型和語言(PVP、SMP、DSM) X3H5、主題開放式消息傳遞機型和語言(MPP、群集、COW) MPI (Fortran、c、) c )數(shù)據(jù)并行機型和語言(MPP群集上Fortra

6、n 90hpf (高性能)、并行編程環(huán)境和MPI (消息傳遞互聯(lián)網(wǎng)軟件編程語言)支持c、fortran等。 MPI已成為定義接口庫的標準，該接口庫的格式與不包含特定制造商、執(zhí)行操作系統(tǒng)和硬件特性的語言無關(guān)。 因此，MPI被并行校正行業(yè)廣泛接受.MPI標準的實現(xiàn)包括MPICH、LAM、IBM MPL等，提供與c、Fortran語言的綁定。 可以將MPI視為“庫”。 現(xiàn)在使用的消息庫是MPICH 1.2，有數(shù)百個接口，可以通過FORTRAN 77和習(xí)語言直接調(diào)用這些個的函數(shù)。 多個處理通過調(diào)用這些個的函數(shù)(像調(diào)用子例程)進行通訊。Include文件是習(xí)語言應(yīng)用程序，則為#include “mpi.

7、h” Fortran語言應(yīng)用程序，則為#include mpif.h、MPI并行預(yù)計程儀單計程儀多數(shù)據(jù)流模式(SPMD )需要多計程儀多數(shù)據(jù)流模式的MPI計程儀柱的SPMD執(zhí)行模式是指，一個柱計程儀柱將多個部分激活到云同步以形成多個獨立的過程，并由不同的處理器執(zhí)行以實現(xiàn)獨立的處理SPMD模式：單計程儀多數(shù)據(jù)流，例如1，過程0向過程1發(fā)送整數(shù)過程1將1加到該數(shù)上，過程2傳遞到過程2再將1加到該數(shù)上，依次類推到過程3，最后，過程N-1將其編譯執(zhí)行指令，mpif77 o exam exam.f mpirun np 4 exam其中，exam.f表示需要編譯的源文件，o表示生成的輸出文件，exam表示

8、輸出文件名，np表示進程數(shù)。 使用mpicc和mpif77省略與MPI相關(guān)的路徑設(shè)定，能夠并行執(zhí)行什么、能夠?qū)错樞驁?zhí)行的程序轉(zhuǎn)換為在意義上等效且并行執(zhí)行的計程儀程序，主要依賴于程序計程儀程序的結(jié)構(gòu)形式、特別是其中的數(shù)據(jù)相關(guān)性。 其中，變量a是與P1和P2的發(fā)生數(shù)據(jù)關(guān)聯(lián)的原因。 為了保證計程儀執(zhí)行的語義精準性，變量a必須在被寫入到P1后從P2讀出，即，在被寫入后被讀出。 顯然，P1和P2不能并行執(zhí)行。 數(shù)據(jù)相關(guān)、數(shù)據(jù)逆相關(guān)定、P1: ABC P2: CE D P1通過變量c數(shù)據(jù)相關(guān)P2。 為了確保意義的正確性，P1讀出變量c之后，P2必須能夠?qū)ψ兞縞進行寫入操作，即，需要先進行讀出之后寫入。

9、也無法并行化并且與數(shù)據(jù)輸出相關(guān)聯(lián)，P1: AB C P2: ADE必須行政許可P1首先寫入a，然后P2寫入a，以保證意義的正確性。 除了上述三個相關(guān)性之外，還有一種特殊情況，即兩個段的輸入變量互為輸出變量。 在這種情況下，兩者必須并行執(zhí)行才能保不定意義的精準性。 這就要求硬件機構(gòu)能夠保證兩者的同步讀寫。 然而，若兩個處理器分別具有本地存儲器則能夠降低同步請求。相關(guān)性和并行化，伯恩斯坦基準I1O2，即P1的輸入變量定徑套和P2的輸出變量定徑套不交叉的I2O1，即P2的輸入變量定徑套不與P1的輸出變量定徑套交叉，O1O2，即P1和P2的輸出變量定徑套不交叉，可以進行并行處理， 首先定義三個重要概念

10、：塔斯克、進程和處理器，以了解串行計程儀報如何變?yōu)椴⑿?，以及?chuàng)建并行計程儀報的步驟。、塔斯克、塔斯克是一項計程儀方案完成的工作，其內(nèi)容和大小是任意的，它是并行計程儀方案可以處理的并發(fā)性最小的用戶針織面料，也就是說，一個塔斯克只能由一個處理器執(zhí)行，處理器間的并發(fā)性只能在任務(wù)間開發(fā)。 進程和進程(也稱為線程)是完成塔斯克的實體。 一個并發(fā)計程儀程序由多個團隊精神進程組成，是每個完成計程儀程序中塔斯克的子定徑套。 一個分配反應(yīng)歷程將塔斯克分配給進程。 通過在機器的物理處理器上執(zhí)行，從進程和處理器的區(qū)別、并行化的觀點來看，處理器是物理資源、進程是抽象的，或者是虛擬化多處理機的方便方法：我們將在處理器中寫入并行計程儀程序的過程映射到處理器在一次計程儀程序的執(zhí)行中，過程的數(shù)目不必須等于處理器的數(shù)目。 進程越多，一個處理器可能執(zhí)行多個進程；進程越少，一些處理器空閑，串行計程儀程序并行化的幾個步驟， 從一個串行計程儀程序獲得一個并行程序計程儀程序的工作由四個步驟組成：1.將修正計算問題分解為塔斯克2 .將塔斯克分配給進程3 .在進程之間需要的數(shù)據(jù)網(wǎng)站數(shù)據(jù)庫、通訊、同步4 .將進程映射或綁定到處理器，但上述的幾個方面考慮到消息傳送的開銷等于或大于校正開銷