工業(yè)互聯(lián)網(wǎng)平臺核心技術之三：并行計算與分布式計算

并行計算、分布式計算以及網(wǎng)格計算和云計算都是屬于高性能計算（HPC）的范疇，主要目的在于對大數(shù)據(jù)的分析與處理，但它們卻存在很多差異。我們需要了解兩者的原理、特點和運用的場合，對云計算的了解大有裨益。之所以將兩種計算技術放在一起，是因為這兩種計算具有共同的特點，都是運用并行來獲得更高性能計算，把大任務分為N個小任務。但兩者還是有區(qū)別的，關于兩者的區(qū)別在后面有介紹。一并行計算1、并行計算概念并行計算（ParallelComputing）又稱平行計算是指一種能夠讓多條指令同時進行的計算模式，可分為時間并行和空間并行。時間并行即利用多條流水線同時作業(yè)，空間并行是指使用多個處理器執(zhí)行并發(fā)計算，以降低解決復雜問題所需要的時間。并行計算同時使用多種計算資源解決計算問題的過程。為執(zhí)行并行計算，計算資源應包括一臺配有多處理機（并行處理）的計算機、一個與網(wǎng)絡相連的計算機專有編號，或者兩者結合使用。并行計算主要目的在于兩個方面：?(1)?加速求解問題的速度。(2)?提高求解問題的規(guī)模。2、并行計算的原理并行計算能快速解決大型且復雜的計算問題。此外還能利用非本地資源，節(jié)約成本?―?使用多個“廉價”計算資源取代大型計算機，同時克服單個計算機上存在的存儲器限制。?????為提高計算效率，并行計算處理問題一般分為以下三步：??（1）將工作分離成離散獨立部分，有助于同時解決；??（2）同時并及時地執(zhí)行多個程序指令；???

（3）將處理完的結果返回主機經(jīng)一定處理后顯示輸出。從上圖可以看出，串行計算必須按步驟一步一步計算才能出來最終結果。而并行計算則要將問題分成N多個子任務，每個子任務并行執(zhí)行計算。而每個子任務是非獨立的，每個子任務的計算結果決定最終的結果。這個和分布式計算不同。3、并行計算需滿足的基本條件（1）并行計算機。并行計算機至少包含兩臺或兩臺以上處理機，這此處理機通過互聯(lián)網(wǎng)絡相互連接，相互通信。

（2）應用問題必須具有并行度。也就是說，應用可以分解為多個子任務，這些子任務可以并行地執(zhí)行。將一個應用分解為多個子任務的過程，稱為并行算法的設計。

（3）并行編程。在并行計算機提供的并行編程環(huán)境上，具體實現(xiàn)并行算法，編制并行程序并運行該程序，從而達到并行求解應用問題的目的。

二分布式計算1、分布式計算概念分布式計算是一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然后把這些部分分配給許多計算機進行處理，最后把這些計算結果綜合起來得到最終的結果。分布式計算和集中式計算相對應的概念。2、分布式計算的優(yōu)點分布式計算是在兩個或多個軟件互相共享信息，這些軟件既可以在同一臺計算機上運行，也可以在通過網(wǎng)絡連接起來的多臺計算機上運行。

分布式計算比起其它算法具有以下幾個優(yōu)點：

（1）稀有資源可以共享。

（2）通過分布式計算可以在多臺計算機上平衡計算負載。

（3）可以把程序放在最適合運行它的計算機上。其中，共享稀有資源和平衡負載是計算機分布式計算的核心思想之一。3、分布式計算原理Hadoop計算框架是出現(xiàn)比較早的一個分布式計算框架，由Apache基金會所開發(fā)。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。三并行計算與分布式計算區(qū)別與聯(lián)系并行計算和分布式計算既有區(qū)別也有聯(lián)系。從解決對象上看，兩者都是大任務化為小任務，這是他們共同之處。具體區(qū)別和聯(lián)系如下表所示：如上表所示，并行計算的傳統(tǒng)目的是提供單處理器無法提供的性能（處理器能力或存儲器）；因此，它的目的是使用多處理器求解單個問題。而分布式計算的目的主要是提供方便，這種方便包括可用性、可靠性以及物理的分布（能從許多不同場所訪問分布式系統(tǒng)）。在并行計算中，處理器間的交互一般很頻繁，往往具有細粒度和低開銷的特征，并且被認為是可靠的。而在分布式計算中，處理器間的交互不頻繁，交互特征是粗粒度，并且被認為是不可靠的。并行計算注重短的執(zhí)行時間，分布式計算則注重長的正常運行時間。四結語并行計算、分布式計算以及網(wǎng)