并行算法講稿

并行算法講稿第一頁，共五十三頁，2022年，8月28日把有唯一輸入向量和唯一輸出向量的一個程序段在某一環(huán)境下的一次執(zhí)行稱為一個進程。設有一組程序段A1…An，若{Ai}在n個處理機上同時執(zhí)行的結果等同于{Ai}以任意順序執(zhí)行的結果，則稱{Ai}為可并行執(zhí)行的。設兩個程序段A、B，且A先于B，若A與B數(shù)據(jù)相關或控制相關，則稱A是B的父進程。第二頁，共五十三頁，2022年，8月28日A1：x=1A2：y=2A3：s=2*x+yA4：t=x*x*yA5：u=3*s-tA6：v=cos(t)A7：z=u*v+1如下例所示：u,vzA7tvA6s,tuA5x,ytA4x,ysA3yA2xA1輸入輸出進程輸入輸出表如下：BeginA1A2A3A4A5A6A7End進程流程圖如下：第三頁，共五十三頁，2022年，8月28日下面簡單例子讓我們能更深刻理解并行算法：倍增法求和倍增法是并行分治的一種簡化形式。其基本思想是將原問題反復分解為等規(guī)模的兩個子問題，在逐步分解的過程中，子問題個數(shù)成倍增加。將各個子問題恰當?shù)赜成涞礁髋_處理機上，即可實現(xiàn)計算過程的并行化。例如:倍增法求和計算序列L[0..n-1]的和，記為S(0,n-1)。intBSum(intL,ints,intt){if(s==t)returnL[s];intk=(s+t)/2;returnBSum(L,s,k)+BSum(L,k+1,t);}并行求和第四頁，共五十三頁，2022年，8月28日從以上一個簡單的例子我們可以看到并行算法的真諦！所以這么說基于普通的算法大家開始加，串行從1到100加很累，而這個高斯思想的并行處理結果又快又準確！體現(xiàn)出了這個思想，由此引申到計算機并行處理可以看出它潛力巨大，對解決現(xiàn)實問題有很大的指導作用，希望大家認真聽講。那么什么叫并行算法？

科學家已經定義為：利用并行計算機系統(tǒng)進行數(shù)據(jù)與信息的并行處理稱為并行計算。第五頁，共五十三頁，2022年，8月28日并行計算研究的內容包括并行計算方法、并行計算模型、并行算法、并行程序設計、并行測試程序設計、測試結果分析等。由于各種并行計算機的系統(tǒng)結構不同，系統(tǒng)內各處理器和各功能部件之間在體現(xiàn)算法時的相互作用不同，使得并行算法不能通用。因此，當前并行處理的研究重點，除了并行計算機體系結構之外，就是研究基于各種并行與分布式計算機系統(tǒng)上的并行算法或分布式算法。

第六頁，共五十三頁，2022年，8月28日并行計算方法的研究，不僅對提高并行計算機的使用效率是必需的，而且往往能找到改進現(xiàn)有串行算法的新途徑。并行計算方法的研究是研制高效并行數(shù)值計算軟件的基礎。并行計算中可供選擇的技術路線有兩條：一條是在現(xiàn)有的串行算法基礎上作并行化；另一條是直接從數(shù)學物理問題出發(fā)，面向并行系統(tǒng)研制高效率的計算方法和設計算法。在并行算法設計中廣泛采用的是“DivideandConquer”（分而治之）和重新排序兩種基本方法。從以上基本方法引申具體以下幾種算法：

第七頁，共五十三頁，2022年，8月28日三、并行編程的基本方法這里主要介紹網(wǎng)絡并行編程的基本模式和負載平衡的基本方法。(1)網(wǎng)絡并行編程的基本模式

應用標準化環(huán)境進行網(wǎng)絡并行編程與MPP并行機（如IBMSPZ，IntelParagon等）在算法設計和編程邏輯的基本方法上是相同的，它們存在的不同點是：

★任務管理方式不同，網(wǎng)絡并行標準化環(huán)境編程要涉及到進程的動態(tài)創(chuàng)建與命名。

★標準環(huán)境不同，網(wǎng)絡并行編程要求在正式計算前完成語句的初始化。

★粒度選取不同，分布式網(wǎng)絡并行計算的并行粒度較大。

★計算環(huán)境不同，分布式網(wǎng)絡并行計算要考慮到異構環(huán)境。

從不同計算任務組織的角度看，分布式編程主要有星形計算模式和樹形計算模式兩種：

第八頁，共五十三頁，2022年，8月28日三、并行編程的基本方法

▲星形計算模式。由一組相互緊密關聯(lián)的進程組成，它們可以是執(zhí)行相同的程序，只是數(shù)據(jù)不同，共同執(zhí)行同一計算問題的不同部位。這種計算模式又可以分為兩類：一種是主從式（masterslave），這種計算模式有一個控制程序作為主進程，負責進程的生成、初始化、收集并顯示結果，其余的進程（slave）執(zhí)行實際計算，從進程的負載或由主進程分配，或由自身分配；另外一種是純結點模式，這時所有進程都在執(zhí)行單個程序，只是少數(shù)進程（初始時由人工指定）同時負責非計算的功能（如I/O等）。

第九頁，共五十三頁，2022年，8月28日三、并行編程的基本方法

▲樹形（tree）計算模式。在這種計算模式中，進程通常是在計算過程中以樹形方式動態(tài)生成。在求解組合優(yōu)化問題時常用的一種算法是構造性的探索算法，主要思想是對解集合反復進行分支，對每個分支計算最優(yōu)解的界。如果該解符合要求，則繼續(xù)分支以探索更好的解，直到所有的子集合中僅有一個最優(yōu)的解為止。這種方法在人工智能的搜索策略中以及遞歸的“分而治之”算法中也常使用。第十頁，共五十三頁，2022年，8月28日三、并行編程的基本方法(2)負載平衡的基本方法

各處理器之間的負載是否能做到基本平衡，是并行計算效率能否提高的一個關鍵。對于網(wǎng)絡分布式并行計算而言，負載平衡的基本方法有兩個：數(shù)據(jù)分解與功能分解。

數(shù)據(jù)分解方法，有時也稱數(shù)據(jù)分割法，這種方法適應于各處理器執(zhí)行相同的任務、只是數(shù)據(jù)不同的情況。數(shù)據(jù)的分解有靜態(tài)方式和動態(tài)方式的區(qū)別。靜態(tài)方式中每個進程的負載是固定的，而在動態(tài)方式中各進程的負載分配是隨計算過程而改變的。第十一頁，共五十三頁，2022年，8月28日三、并行編程的基本方法功能分解方法。網(wǎng)絡計算的并行化也可通過把總負載按功能進行分解，分配給各個處理器承擔。最簡單的是把整個計算過程分為輸入數(shù)據(jù)、計算進程和輸出結果三個部分。當然根據(jù)實際情況這三個部分又可以再進行細分。第十二頁，共五十三頁，2022年，8月28日三.并行計算基本概念

(1)并行算法的目標

并行算法的目標就是以增加空間的復雜性來減少時間的復雜性，即增加空間的維數(shù)，增加處理器的臺數(shù)，來減少算法實現(xiàn)所需的時間。從算法的結構觀察，通常的串行算法樹“深而窄”，而并行算法樹結構截然不同。為達到把時間的復雜性轉化為空間復雜性的目的，并行算法樹采用了“淺而寬”的結構。(2)并行加速比

并行加速比表示采用多個處理器計算速度所能達到的加速的倍數(shù)。(3)粒度（granularity）

第十三頁，共五十三頁，2022年，8月28日三.并行計算基本概念粒度是各個多處理機可獨立并行執(zhí)行的任務大小的度量。大粒度反映可并行執(zhí)行的運算量與程序量大，有時稱粗粒度。任務級并行的粒度大于語句級的并行。向量機主要是對內層Do循環(huán)語句作向量化，所以向量化是一種小粒度（細粒度）并行；在網(wǎng)絡并行計算中，由于通信開銷比較大，應盡量采用粗粒度方式。(4)可擴展性（Scalability）可擴展性是指并行機和并行算法有效利用多處理機臺數(shù)增加的能力的一個度量。隨著處理機的增加，如果效率曲線基本保持不變，或略有下降，則認為該算法在所用的并行機上擴展性好；否則，其可擴展性差。影響一個并行算法的擴展性因素較多，評判的準則也不盡相同。第十四頁，共五十三頁，2022年，8月28日四.并行算法分類依據(jù)處理對象劃分，并行算法可分為兩類：

●數(shù)值并行算法主要為數(shù)值計算而設計的并行算法；●非數(shù)值并行算法如神經網(wǎng)絡算法、演化算法、遺傳算法、格子氣算法、格子依據(jù)算法中進程的控制方式劃分，可分為以下兩種：ltzmann算法以及為符號計算而設計的并行算法。

●同步并行算法（synchronizedalgorithm）。是指某些進程必須等待其他進程的一種并行算法，要求所有進程必須在一個給定時刻同步。SIMD以及共享存儲型MIMD并行機上通常運行同步并行算法。

第十五頁，共五十三頁，2022年，8月28日四.并行算法分類異步并行算法（asynchronizedalgorithm），是指諸進程執(zhí)行相對獨立、不要互相等待的一類算法。其主要特征是在計算的整個過程中都不需要等待，而是根據(jù)當前的最新信息決定進程的繼續(xù)或終止。這種算法通常是針對分布式存儲的MIMD并行機設計的。另外，還有分布式算法（distributedalgorithm），是指由包括網(wǎng)絡在內的通信鏈路連接的多結點機或計算機群協(xié)同完成某個計算任務的算法。第十六頁，共五十三頁，2022年，8月28日五.并行計算模型所謂計算模型，是算法設計者進行理論分析時所依據(jù)的計算機模型。馮·諾依曼機是理想的串行計算模型。由于并行機在飛速發(fā)展之中，尚未定型，故目前尚沒有所謂的通用并行計算模型。當前，人們將并行計算機的某一些特征抽象出來，形成了各種特定的并行計算理論模型，以便于并行算法的設計與理論分析。并行機的特征有：消息包的長度或延遲時間、消息包傳遞的開銷、處理器連續(xù)傳遞消息的最小間隔（或通信的帶寬）、處理器個數(shù)等。由諸如此類的參數(shù)構成各種特定的并行計算模型。常用的并行計算模型有PRAM、VLSI、BSP、LogP和C3模型。下面我講述幾點經典算法。第十七頁，共五十三頁，2022年，8月28日5.1平衡樹法

平衡樹法的評估：以平衡樹法求解最大值是一個EREW算法，計算時間tp(n)=O(logn)，運用處理器最多為p(n)=n/2，工作量為O(nlogn)，不是工作量有效的算法。平衡樹方法的優(yōu)點是在樹中能快速存取信息，對數(shù)據(jù)的傳遞、壓縮、抽取和前綴計算均十分有用。第十八頁，共五十三頁，2022年，8月28日5.2向量法向量法的基本思想★以向量方式描述計算過程；★以并行方式執(zhí)行向量計算。以矩陣計算為例

對n階矩陣，串行加法的計算量為n2，若動用n個（或n2個）處理器，分別處理每行（或列）的相加運算，則可以得到計算量亦為n2，工作量有效。第十九頁，共五十三頁，2022年，8月28日5.2

向量法以矩陣計算為例矩陣相乘：C=A*B第二十頁，共五十三頁，2022年，8月28日5.2向量法串行算法：{fori=1tondo forj=1tondo ci,j=0 fork=1tondo ci,j+=ai,k*bj,k

}并行算法：fori=1tondo forallPjj=1tondo ci,j=0 //Ci.=0 fork=1tond //Ci.=∑ai,k*Bk. forallPjj=1tondo ci,j+=ai,k*bk,j第二十一頁，共五十三頁，2022年，8月28日5.3線性代數(shù)方程組法高斯消去法

第二十二頁，共五十三頁，2022年，8月28日串行求解算法：for(k=1;i<N;i++){forallPjj=k…NdoA[k][j+1]=A[k][k]; for(i=1;i<=N;i++) if(i!=k) forallPjj=k…Ndo A[i][j+1]=A[i][k]*A[k][j+1];}第二十三頁，共五十三頁，2022年，8月28日并行求解算法：for(k=1;i<N;i++){ forallPjj=k…NdoA[k][j+1]=A[k][k]; for(i=1;i<=N;i++) if(i!=k) forallPjj=k…Ndo A[i][j+1]=A[i][k]*A[k][j+1];}第二十四頁，共五十三頁，2022年，8月28日5.4

MIMD算法算術表達式的同步MIMD算法例：(A+B(C+D*E*F))+G變形為：A+G+B*C+B*D*E*F第二十五頁，共五十三頁，2022年，8月28日P1P2P3P4a1=A+GP(r1)a1+=a2P(v3)a1+=a3a2=B*CV(r1)a3=B*DP(r2)a3*=a4V(r3)a4=E*FV(r2)第二十六頁，共五十三頁，2022年，8月28日5.5

MIMD算法區(qū)間分割法解代數(shù)方程的根求單調連續(xù)函數(shù)f(x)=0的根。設已知兩端l~u，對區(qū)間進行n+1等分，令y[0]=f(l)，y[n+1]=f(u)。第二十七頁，共五十三頁，2022年，8月28日5.5

MIMD算法同步牛頓迭代法解代數(shù)方程的根迭代公式：第二十八頁，共五十三頁，2022年，8月28日P0P1while未達到精度{ y=f(x); wait(y’) x=x–y/y’;}while未達到精度{ wait(x) y’=f’(x);}并行進程如下：P0P1y0=f(x0)y0’=f’(x0)x1=x0–y0/y0’y1=f(x1)y1’=f’(x1)x2=x1-y1/y1’…………并行計算過程如下：第二十九頁，共五十三頁，2022年，8月28日5.5

MIMD算法異步牛頓迭代法解代數(shù)方程的根P1P2While未達到精度{ y=f(x); x=x–y/y’;}While未達到精度{ y’=f’(x);}第三十頁，共五十三頁，2022年，8月28日5.6

流水線技術

歸并排序：設輸入長度為n=2r，用p(n)=r+1個處理器并行完全合并排序的任務。設處理器編號從1到r+1，其中首處理器有一個輸入，尾處理器有一個輸出，其他處理器各有兩個輸入和兩個輸出。各處理器同步運行，在一個時間步內，P1從原始輸入序列中讀取一個數(shù)并將其作為結果輸出，Pi(i=2…r+1)接收從Pi-1輸出的兩個長度為2i-2的子序列，并將其合并為一個長度為2i-1的子序列。從P1到Pr，每一個處理器交替地在上面和下面兩條輸出線上產生合并子序列。除P1外，每個處理器Pi當其前一個處理器的一條輸出線上已經產生了長為2i-2的子序列，另一條輸出線上出現(xiàn)了第一個元素時，就可以開始歸并了。第三十一頁，共五十三頁，2022年，8月28日設Pi和Pi+1之間通過的隊列為q2i和q2i+1，即q2i和q2i+1是Pi的輸出序列，Pi+1的輸入序列。如下圖所示：第三十二頁，共五十三頁，2022年，8月28日設n=2r，p(n)=r+1，算法描述如下：P1:j2;fork=1tondo{ xkq1; qjxk; j=5-j;}Pi:i=2…rj0;k1;whilek<=ndo{ ifq2(i-1)+j已裝滿2i-2個元素and q2(i-1)+(1-j)已出現(xiàn)1個元素then { form=1to2i-1do q2i+jmin(q2(i-1)+j,q2(i-1)+(1-j)); j1-j; kk+2i-1; }}Pr+1:ifq2r已裝滿2r-1個元素，且q2r+1已出現(xiàn)1個元素then{ form=1to2rdo q2(r+1)min(q2r,q2r+1);}第三十三頁，共五十三頁，2022年，8月28日十五、接力技術基本思想F:讓兩種算法接力，產生一個求解該問題的新算法，使得既有耗時少的特性又有工作量有效性較高的特性。S:先用需要較少時間（速度較快）的算法求解給定的問題，直到問題的規(guī)模減到某一個閾值為止；L:再用工作量有效性較高的算法，繼續(xù)求解，直到獲得最終的解答。第三十四頁，共五十三頁，2022年，8月28日5.8接力技術求解最大值的常數(shù)時間算法對n個元素的數(shù)組，可以動用n2個處理器，在O(1)的時間內求解出最大值。A1A2A3mA1?F?FA2TTTTA3?F?FforallPii=1…ndo m[i]true;forallPi,ji=1…n,j=1…ndo if(A[i]<A[j])m[i]false;forallPii=1…ndo if(m[i]==true)maxA[i];第三十五頁，共五十三頁，2022年，8月28日216個葉子根28個結點，每個分28個葉結點28*24個結點，每個分24個葉結點28*24*22個結點，每個分22個葉結點28*24*22*2個結點，每個分2個葉結點第三十六頁，共五十三頁，2022年，8月28日十五、接力技術求解最大值的重對數(shù)時間算法設n個元素的序列，定義一棵以n個元素為葉結點的重對數(shù)深度平衡樹如下：

樹中每一個非葉子結點u的子結點的個數(shù)為以u為根的子樹上的葉結點的個數(shù)的平方根。則第0層為樹根，有一個結點，第1層為n1/2個結點，每個結點為根的子樹上有n/n1/2=n1/2個葉子，所以每個結點有n1/4個子結點，可以證明，以第i層上每一個結點為根的子樹上有個葉子結點，第i層上共有個結點，可知這樣一棵樹的高度為loglogn+1，因此稱為重對數(shù)深度平衡樹。在重對數(shù)深度平衡樹上，除第0層外，對每一層按父結點分組，對每一組用常數(shù)時間算法求解最大值，結果放在其父結點中?？勺C明，共須n個處理器，經過loglogn+1個并行步完成計算，時間復雜度為O(loglogn)。第三十七頁，共五十三頁，2022年，8月28日5.5、流水線技術排序問題每個進程一次從前一個進程接收待排序序列中的一個數(shù)，保存當前接受到的最大的數(shù)字，把比這個數(shù)小的其他數(shù)傳給下一個進程。第一個進程P0直接從待排序序列接收數(shù)據(jù)。P0P1P2P3P44|3|1|2|512345第三十八頁，共五十三頁，2022年，8月28日P0P1P2P3P4-----4|3|1|2|55----4|3|1|25----4|3|1252---4|3152---431531--42542--315431-254321第三十九頁，共五十三頁，2022年，8月28日十四、流水線技術質數(shù)生成問題順序解法for(i=2;i<=n;i++) prime[i]=1;for(i=0;i<=sqrt_n;i++) if(prime[i]==1) for(j=i*i;j<=n;j+=i) prime[j]=0;第四十頁，共五十三頁，2022年，8月28日質數(shù)生成問題流水線解法：第一個流水線級輸入一系列連續(xù)的數(shù)，然后剔出所有2的倍數(shù)，并把余下的數(shù)傳遞給第二級流水線；第二級剔出所有3的倍數(shù)并把余下的數(shù)傳遞給第三級流水線；以此類推；流水線的個數(shù)與質數(shù)的個數(shù)的方根相同；十四、流水線技術第四十一頁，共五十三頁，2022年，8月28日十五、接力技術對數(shù)深度樹和重對數(shù)深度樹算法接力第一步，利用對數(shù)深度平衡樹方法向上逐層進行計算，經過logloglogn層的選拔后停下來。第二步，以第一步選拔出的最大值候選結點為葉結點，按重對數(shù)時間算法進行繼續(xù)計算，直到所求的解。第一步所需時間為O(logloglogn)，工作量為O(nlogloglogn)，在第一步結束時，剩下的結點數(shù)為：n’=n/2logloglogn=n/loglogn。則第二步需要的時間為O(loglogn’)=O(loglogn)，工作量為O(n’loglogn)=O(n)。從而進一步提高了工作量的有效性。第四十二頁，共五十三頁，2022年，8月28日十二、并行分治分治通過將一個問題分解成若干個性質相同的子問題，并遞歸地對子問題進行求解，然后將各子問題的解加以合并構造出原問題的解。分治步驟將問題的輸入進行均勻劃分，構成規(guī)模大致相等的若干個同類的子問題；遞歸求解各子問題；將各子問題的解歸并成為原問題的解；第四十三頁，共五十三頁，2022年，8月28日十二、并行分治并行分治:F(I){ if輸入足夠小then OAnswer(I); else {

分解輸入：I1,…Ik；

forallPii=1…kdo Oi

F(Ii,Oi); OCombine(O1,…Ok); }}第四十四頁，共五十三頁，2022年，8月28日十二、并行分治最近點對問題d1d2d2d第四十五頁，共五十三頁，2022年，8月28日十三、劃分法劃分法與分治法相似，劃分原理也是將原問題進行分解，分別求解，再歸并子問題的解。所不同的是，分治法采用簡單的分解方法，因此設計的難點在于如何歸并子問題的解，而劃分方法則講究分解的方法，以獲得簡單的歸并策略。有序序列歸并:設A=(a1,a2,…,an)，

B=(b1,b2,…,bm)，

是U上的單調增序列，且A∩B=Ф。

將A和B歸并到：

C=(c1,c2,…,cm+n)。第四十六頁，共五十三頁，2022年，8月28日十三、劃分法有序序列歸并定義：對U上的有序序列列X=(x1,x2,…,xt)，x∈U，x在X上的位序rank(x:X)為X中小于等于x的元素個數(shù)。歸并問題即求rank(x:A∪B)，x∈A∪B。分別求出rank(ai:B)和rank(bj:A)，即可得到rank(x:A∪B)=rank(x:A)+rank(x:B)。這樣就可以在O(logn)時間內用O(nlogn)工作量完成合并的任務。但這樣的解法不是一個工作量有效的算法。通過進一步劃分，可以得到工作量有效的解法。第四十七頁，共五十三頁，2022年，8月28日十三、劃分法有序序列歸并定義：對U上的有序序列列X=(x1,x2,…,xt)，x∈U，x在X上的位序rank(x:X)為X中小于等于x的元素個數(shù)。歸并問題即求rank(x:A∪B)，x∈A∪B。分別求出rank(ai:B)和rank(bj:A)，即可得到rank(x:A∪B)=rank(x:A)+rank(