編譯原理簡(jiǎn)明教程（第3版）-課件 第12章 并行編譯技術(shù)

新工科建設(shè)·計(jì)算機(jī)類(lèi)系列教材

免費(fèi)提供編譯原理16目錄第一章概述第二章形式語(yǔ)言理論基礎(chǔ)第三章自動(dòng)機(jī)理論基礎(chǔ)第四章詞法分析第五章語(yǔ)法分析—自頂向下分析方法第六章語(yǔ)法分析—自底向上分析方法第七章語(yǔ)義分析及中間代碼的生成第八章代碼優(yōu)化第九章目標(biāo)代碼的生成第十章符號(hào)表和出錯(cuò)處理第十一章

面向?qū)ο笳Z(yǔ)言的編譯第十二章并行編譯技術(shù)第十三章

軟件構(gòu)造22024/11/63學(xué)習(xí)目標(biāo)學(xué)習(xí)編譯程序的概念工作過(guò)程、體系結(jié)構(gòu)語(yǔ)言與編譯程序的關(guān)系了解開(kāi)發(fā)技術(shù)12并行編譯技術(shù)Parallelcompilationtechnology重點(diǎn)：編譯程序的概念、編譯程序的結(jié)構(gòu)難點(diǎn)：編譯程序的開(kāi)發(fā)技術(shù)

目錄12.1并行計(jì)算機(jī)及其編譯系統(tǒng)簡(jiǎn)介12.2并行程序設(shè)計(jì)模型12.3并行編譯系統(tǒng)的構(gòu)造12.4自動(dòng)并行化技術(shù)研究現(xiàn)狀12.5本章小結(jié)412.1并行計(jì)算機(jī)及其

編譯系統(tǒng)簡(jiǎn)介5為實(shí)現(xiàn)高性能并行計(jì)算，并行系統(tǒng)通常采用兩種形式：

①程序設(shè)計(jì)人員編寫(xiě)常規(guī)的串行應(yīng)用程序，由編譯器將其轉(zhuǎn)換為并行目標(biāo)代碼執(zhí)行。

②按照某種并行語(yǔ)法規(guī)范編寫(xiě)相應(yīng)的并行程序，由并行語(yǔ)言編譯器將其編譯轉(zhuǎn)換為并行目標(biāo)代碼執(zhí)行。本章在介紹并行編譯系統(tǒng)之前，先給出并行計(jì)算相關(guān)技術(shù)的一些介紹，然后再針對(duì)不同體系結(jié)構(gòu)的目標(biāo)機(jī)器介紹并行編譯系統(tǒng)實(shí)現(xiàn)的分類(lèi)及結(jié)構(gòu)。12.1.1并行計(jì)算相關(guān)技術(shù)簡(jiǎn)介6并行性：在同一時(shí)刻或同一時(shí)間間隔內(nèi)完成兩種或兩種以上的任務(wù)。并行性有兩種含義：同時(shí)性和并發(fā)性。并行粒度：衡量軟件進(jìn)程所含計(jì)算量的尺度，一般用細(xì)、中、粗粒度來(lái)描述。時(shí)延：機(jī)器各子系統(tǒng)間通信開(kāi)銷(xiāo)的時(shí)間量度，如存儲(chǔ)時(shí)延和同步時(shí)延。

并行處理技術(shù)通過(guò)處理開(kāi)發(fā)過(guò)程中的并行事件，使并行性達(dá)到較高水平，涉及并行結(jié)構(gòu)、并行軟件和并行算法等多個(gè)方面，這些方面相互聯(lián)系，互為條件，互為保證。12.1.1并行計(jì)算相關(guān)技術(shù)簡(jiǎn)介7并行等級(jí)的分類(lèi)：?

從計(jì)算機(jī)信息加工的步驟和階段的角度看：

存儲(chǔ)器操作并行

處理器操作步驟并行

處理器操作并行

指令、任務(wù)、作業(yè)并行?從開(kāi)發(fā)程序的大小和并行粒度的角度看：

作業(yè)級(jí)

任務(wù)級(jí)

例行程序或子程序級(jí)

循環(huán)和迭代級(jí)

語(yǔ)句和指令級(jí)粗粒度中粒度細(xì)粒度通信需求與調(diào)度開(kāi)銷(xiāo)并行程度12.1.1并行計(jì)算相關(guān)技術(shù)簡(jiǎn)介8并行處理：并行處理指的是在并行計(jì)算機(jī)上實(shí)現(xiàn)并行計(jì)算。

并行體系結(jié)構(gòu)（基礎(chǔ)）并行軟件系統(tǒng)并行程序設(shè)計(jì)向量計(jì)算機(jī)共享存儲(chǔ)器并行計(jì)算機(jī)分布存儲(chǔ)器并行計(jì)算機(jī)并行系統(tǒng)軟件并行應(yīng)用軟件并行體系結(jié)構(gòu)并行系統(tǒng)軟件并行程序設(shè)計(jì)語(yǔ)言并行算法12.1.2并行編譯系統(tǒng)的分類(lèi)及結(jié)構(gòu)9并行編譯系統(tǒng)的分類(lèi)：

?不具有自動(dòng)并行化功能的系統(tǒng)

?具有自動(dòng)并行化功能的系統(tǒng)并行編譯系統(tǒng)的結(jié)構(gòu)向量編譯技術(shù)并行編譯技術(shù)

并行運(yùn)行庫(kù)技術(shù)并行編譯技術(shù)程序并行化技術(shù)依賴(lài)關(guān)系分析技術(shù)體系結(jié)構(gòu)內(nèi)在特性1012.1.2并行編譯系統(tǒng)的分類(lèi)及結(jié)構(gòu)并行編譯技術(shù)可按以下兩種方法來(lái)分類(lèi)：1112.2并行程序設(shè)計(jì)模型

如同匯編程序員必須熟悉機(jī)器指令集一樣，在了解并行體系結(jié)構(gòu)的基礎(chǔ)上才能更好地理解和掌握并行程序設(shè)計(jì)模型以及并行編譯系統(tǒng)。本節(jié)簡(jiǎn)要介紹并行計(jì)算機(jī)體系結(jié)構(gòu)的三種類(lèi)型以及相應(yīng)并行編譯系統(tǒng)需要解決的問(wèn)題。12.2.1并行體系結(jié)構(gòu)分類(lèi)及并行程序設(shè)計(jì)

并行計(jì)算機(jī)體系結(jié)構(gòu)大致可分為向量計(jì)算機(jī)、共享存儲(chǔ)器多處理機(jī)以及分布式存儲(chǔ)器并行計(jì)算機(jī)三類(lèi)。12不同體系結(jié)構(gòu)不同程序并行設(shè)計(jì)方法12.2.2并行程序設(shè)計(jì)模型

并行程序設(shè)計(jì)模型是指在特定計(jì)算機(jī)硬件體系結(jié)構(gòu)上實(shí)現(xiàn)并行算法的方式。131.數(shù)據(jù)并行模型?核心特征：以數(shù)據(jù)為中心，通過(guò)對(duì)數(shù)據(jù)的劃分和并行處理來(lái)解決問(wèn)題。?編程方式：提供全局地址空間，編程者只需指明并行操作和對(duì)象，無(wú)需關(guān)心并行執(zhí)行的具體方式。?適用場(chǎng)景：適用于數(shù)據(jù)并行問(wèn)題，如數(shù)組運(yùn)算。?實(shí)現(xiàn)方式：可以在SIMD(單指令流多數(shù)據(jù)流)計(jì)算模型和SPMD(單程序流多數(shù)據(jù)流)計(jì)算模型上實(shí)現(xiàn)。?優(yōu)勢(shì)：編程相對(duì)簡(jiǎn)單，表達(dá)簡(jiǎn)潔。?局限：僅適用于數(shù)據(jù)并行問(wèn)題12.2.2并行程序設(shè)計(jì)模型142.消息傳遞模型?核心特征：用戶(hù)必須通過(guò)顯式發(fā)送和接收消息來(lái)實(shí)現(xiàn)處理機(jī)間的數(shù)據(jù)交換。?編程方式：每個(gè)并行實(shí)體有獨(dú)立地址空間，遠(yuǎn)程訪(fǎng)問(wèn)必須通過(guò)顯式消息傳遞實(shí)現(xiàn)。?適用場(chǎng)景：適合開(kāi)發(fā)大粒度的并行性，如分布式內(nèi)存的并行機(jī)。?實(shí)現(xiàn)方式：以消息傳遞庫(kù)的形式實(shí)現(xiàn)，用戶(hù)使用現(xiàn)有編程語(yǔ)言調(diào)用庫(kù)函數(shù)進(jìn)行消息傳遞。?優(yōu)勢(shì)：靈活，可以解決廣泛的問(wèn)題。?局限：增加了編程者的負(fù)擔(dān)，編程級(jí)別較低。12.2.2并行程序設(shè)計(jì)模型153.共享存儲(chǔ)模型?核心特征：進(jìn)程通過(guò)讀/寫(xiě)共享存儲(chǔ)器中的公共變量相互通信。?編程方式：具有單一全局名字空間，數(shù)據(jù)為所有處理機(jī)所共享，進(jìn)程間通信通過(guò)對(duì)全局變量的存取實(shí)現(xiàn)。?適用場(chǎng)景：適合多線(xiàn)程和異步處理。?實(shí)現(xiàn)方式：常用的共享存儲(chǔ)器編程標(biāo)準(zhǔn)包括線(xiàn)程庫(kù)標(biāo)準(zhǔn)和OpenMP標(biāo)準(zhǔn)。?優(yōu)勢(shì)：提供了簡(jiǎn)單的編程模式。?局限：可擴(kuò)展性較差，存儲(chǔ)器帶寬可能成為瓶頸。12.2.2并行程序設(shè)計(jì)模型1612.3并行編譯系統(tǒng)的構(gòu)造17源代碼程序分析程序優(yōu)化并行代碼生成12.3.1并行編譯系統(tǒng)的構(gòu)造簡(jiǎn)介1812.3.2程序分析程序分析是并行編譯系統(tǒng)的主要組成部分之一，目的是找出可以在不同節(jié)點(diǎn)上并行執(zhí)行的計(jì)算。程序分析是否深入透徹，直接關(guān)系到并行轉(zhuǎn)換后程序的執(zhí)行效率。19為保持程序語(yǔ)義所絕對(duì)需要的固有次序依賴(lài)關(guān)系數(shù)據(jù)依賴(lài)關(guān)系控制依賴(lài)關(guān)系數(shù)據(jù)依賴(lài)關(guān)系控制依賴(lài)關(guān)系12.3.2程序分析20依賴(lài)關(guān)系分析：分析計(jì)算程序中所有語(yǔ)句之間的依賴(lài)關(guān)系依賴(lài)關(guān)系的分析問(wèn)題線(xiàn)性丟番圖方程的求解問(wèn)題12.3.2程序分析21?

精確測(cè)試算法：實(shí)際求出方程組的整數(shù)通解，并檢查是否有滿(mǎn)足所有約束條件的解。適用于依賴(lài)關(guān)系存在時(shí)，可以給出相關(guān)迭代對(duì)集合和依賴(lài)距離向量，但不能處理復(fù)雜情況。?近似測(cè)試算法：檢查方程組是否有整數(shù)解，然后測(cè)試方程組滿(mǎn)足約束條件的實(shí)數(shù)解存在的某些必要條件。如果必要條件不滿(mǎn)足，則不存在依賴(lài)關(guān)系；否則，假設(shè)依賴(lài)關(guān)系存在。這種方法是保守的，可以保證程序的正確性，但可能因保守假設(shè)而損失一些并行性。依賴(lài)關(guān)系的測(cè)試：構(gòu)造依賴(lài)距離向量或依賴(lài)方向向量的全集。此全集可以表達(dá)對(duì)同一數(shù)組變量任意下標(biāo)引用對(duì)之間可能存在的依賴(lài)關(guān)系。12.3.3程序優(yōu)化程序優(yōu)化是指對(duì)解決同一問(wèn)題的幾個(gè)不同的程序進(jìn)行比較、修改、調(diào)整或重新編寫(xiě)程序，把一般程序變換為語(yǔ)句最少、占用內(nèi)存最少、處理速度最快、外部設(shè)備分時(shí)使用效率最高的最優(yōu)程序。22?

代碼向量化：把標(biāo)量程序由一種可向量化循環(huán)完成的操作變換成向量操作。?

代碼并行化：將串行程序的可并行化部分展開(kāi)成多線(xiàn)程，以同時(shí)供多臺(tái)處理機(jī)并行執(zhí)行，其目的是減少總的執(zhí)行時(shí)間。12.3.4并行代碼生成23

并行代碼生成：將優(yōu)化后的中間形式的代碼轉(zhuǎn)換成可執(zhí)行的具體的機(jī)器目標(biāo)代碼。并行語(yǔ)義的識(shí)別和處理向量化編譯器的并行代碼生成

?

向量循環(huán)的組織：并行編譯器自動(dòng)尋找并向量化源程序中的循環(huán)。

?

寄存器分配：減少不必要的訪(fǎng)存操作，加快程序執(zhí)行速度。

?

流水線(xiàn)調(diào)度：重排代碼序列，優(yōu)化向量操作指令，提高功能部件的執(zhí)行效率。

12.3.4并行代碼生成24共享存儲(chǔ)器多處理機(jī)的并行代碼生成

?預(yù)編譯器：處理并行語(yǔ)言、并行制導(dǎo)命令的語(yǔ)法語(yǔ)義分析，實(shí)現(xiàn)并行制導(dǎo)命令功能的程序改寫(xiě)和并行庫(kù)調(diào)用。

?棧式存儲(chǔ)分配：實(shí)現(xiàn)程序副本的可再入，每個(gè)任務(wù)調(diào)用時(shí)獲得自己的私有變量空間。分布存儲(chǔ)器大規(guī)模并行機(jī)的并行代碼生成

?

數(shù)據(jù)分布：提高數(shù)據(jù)局部性和并行性，減少通訊開(kāi)銷(xiāo)。

?

任務(wù)劃分：將源程序任務(wù)劃分為可并行的子任務(wù)，并分配到多個(gè)處理機(jī)上執(zhí)行。

?

同步與通信：處理并行任務(wù)之間的數(shù)據(jù)交換，包括確定同步與通信點(diǎn)、插入并行庫(kù)子程序調(diào)用以及通信優(yōu)化

12.4自動(dòng)并行化技術(shù)研究現(xiàn)狀

自動(dòng)并行編譯系統(tǒng)研究的難點(diǎn)主要有以下幾個(gè)方面：25①程序并行性的挖掘②合理的數(shù)據(jù)分布③通信優(yōu)化

本節(jié)介紹幾個(gè)典型的自動(dòng)并行化系統(tǒng)以及自動(dòng)并行化編譯的近期發(fā)展。12.4.1比較典型的自動(dòng)并行化系統(tǒng)簡(jiǎn)介261.VAST系統(tǒng)-循環(huán)以外部分的檢查-循環(huán)并行部分和循環(huán)以外并行部分向大粒度并行塊的合并-微任務(wù)偽指令的插入2.KAP系統(tǒng)-循環(huán)結(jié)構(gòu)變換-增大并行粒度-降低同步頻度和過(guò)程的分支-過(guò)程的在線(xiàn)展開(kāi)-并行循環(huán)和循環(huán)以外并行部分的檢查-微任務(wù)偽指令的插入3.PFC(ParallelFortranConverter)

將Fortran77代碼變換成Fortran90代碼，開(kāi)發(fā)循環(huán)級(jí)的并行性4.FORGE90系統(tǒng)

根據(jù)用戶(hù)的提示進(jìn)行并行化作業(yè)，用戶(hù)根據(jù)系統(tǒng)分析所得到的信息進(jìn)行理解和判斷5.CAPTools系統(tǒng)

將串行Fortran77程序并行化，產(chǎn)生插入了通信調(diào)用的并行程序12.4.1比較典型的自動(dòng)并行化系統(tǒng)簡(jiǎn)介276.SUIF系統(tǒng)

自動(dòng)生成并行源程序代碼，涵蓋相關(guān)性分析、指針?lè)治?、分塊、預(yù)取、程序變換、過(guò)程間分析等技術(shù)7.FPT(Fortran-PTranslator)

將Fortran-P程序轉(zhuǎn)換為MPP系統(tǒng)上高效運(yùn)行的并行程序8.PTRAN系統(tǒng)

自動(dòng)并行化串行Fortran程序，開(kāi)發(fā)循環(huán)級(jí)和任務(wù)級(jí)并行性9.AFT系統(tǒng)

自動(dòng)分析標(biāo)準(zhǔn)Fortran程序，改寫(xiě)為并行向量程序10.KD-PASTE系統(tǒng)

提高YH仿真系列機(jī)的運(yùn)行效率，產(chǎn)生兩種并行代碼形式12.4.1比較典型的自動(dòng)并行化系統(tǒng)簡(jiǎn)介28并行化系統(tǒng)挑戰(zhàn)?早期系統(tǒng)：如KAP和VAST，面臨過(guò)程調(diào)用語(yǔ)句和符號(hào)量的問(wèn)題，限制了并行化能力。?后期系統(tǒng)：如AFT和SUIF，采用新技術(shù)提高了并行化能力，但仍有程序的自動(dòng)并行化效果與手工并行化有差距。?交互式系統(tǒng)：如FORGE90和CAPTools，允許用戶(hù)參與并行化過(guò)程，提高了并行化效果，但自動(dòng)并行化能力有限。2912.4.2自動(dòng)并行化編譯系統(tǒng)發(fā)展簡(jiǎn)介1.

向量并行?

向量運(yùn)算硬件最早出現(xiàn)在向量機(jī)，現(xiàn)在大部分處理器都已集成SIMD擴(kuò)展。?

SIMD擴(kuò)展指令能夠?qū)崿F(xiàn)向量并行，是目前程序并行的重要方式之一。2.核級(jí)并行?

核級(jí)并行指在同一結(jié)點(diǎn)內(nèi)共享存儲(chǔ)系統(tǒng)的多個(gè)計(jì)算單元之間的并行。?

OpenMP是實(shí)現(xiàn)核級(jí)并行的主要并行編程模型和工業(yè)標(biāo)準(zhǔn)。3.結(jié)點(diǎn)級(jí)并行?

結(jié)點(diǎn)級(jí)并行的主要特征是計(jì)算節(jié)點(diǎn)之間不共享存儲(chǔ)系統(tǒng)，必須通過(guò)互聯(lián)網(wǎng)絡(luò)進(jìn)行通信和數(shù)據(jù)傳輸。?

分布式存儲(chǔ)結(jié)構(gòu)上實(shí)現(xiàn)結(jié)點(diǎn)