2023學(xué)年完整公開課版Hadoop和OS頁面緩存

朱佳目錄0102緩存策略管道恢復(fù)的三個階段緩存策略1緩存策略

通常，應(yīng)用程序會頻繁訪問幾個文件，例如小型Hive事實(shí)表?？梢允褂肏adoop的集中式緩存管理來顯式緩存特定路徑?？梢栽谖募蚰夸浖墑e緩存數(shù)據(jù)。當(dāng)緩存路徑時，NameNode會指定擁有該文件塊的DataNode將這些塊從磁盤緩存起來，實(shí)質(zhì)上是將這些塊緩存至內(nèi)存中。緩存策略

當(dāng)工作集的總量大于RAM時，服務(wù)器會從內(nèi)存中置換出數(shù)據(jù)，為新數(shù)據(jù)騰出空間。緩存大數(shù)據(jù)集用于查詢效率不高的情況，因為很可能不會重復(fù)讀取這些相同的數(shù)據(jù)集?？梢钥紤]使用嚴(yán)格的SLA緩存關(guān)鍵工作負(fù)載的數(shù)據(jù)，以防止這些數(shù)據(jù)集競爭磁盤I/O。緩存在磁盤爭用的集群中特別有用。緩存策略

HadoopDataNode使用操作系統(tǒng)的頁面緩存，該緩存策略會緩存最近訪問的所有數(shù)據(jù)到本地文件系統(tǒng)。但是，在像Hadoop這樣的分布式系統(tǒng)中，僅使用操作系統(tǒng)頁面緩存是不夠的。由于沒有每個DataNode的內(nèi)存狀態(tài)的全局信息，因此當(dāng)提供多個HDFS副本時，客戶端無法根據(jù)局部緩存性進(jìn)行任務(wù)調(diào)度。所以性能有損失，因為客戶端是在，不知道局部緩存的情況下進(jìn)行任務(wù)調(diào)度的。緩存策略

當(dāng)客戶端運(yùn)行查詢時，應(yīng)用調(diào)度程序選擇一個數(shù)據(jù)塊副本位置，并在該DataNode上運(yùn)行任務(wù)，且將副本拉入操作系統(tǒng)頁面緩存。但是，調(diào)度程序不知道存儲在頁面緩存中的副本，因而不能利用局部緩存來分配任務(wù)。另一個問題是，由于大多數(shù)操作系統(tǒng)的頁面緩存使用LRU（最近最少使用）算法的修改版本來確定它們應(yīng)該保留在內(nèi)存中的數(shù)據(jù)，因此它們可能會從緩存中置換出用戶的工作數(shù)據(jù)集。操作系統(tǒng)頁面緩存不好的另一個原因是，它比直接從內(nèi)存中讀取效率低，因為直接從內(nèi)存讀取提供了“零讀取復(fù)制”性能。管道恢復(fù)三個階段2管道恢復(fù)三個階段管道設(shè)置階段是指客戶端通過管道發(fā)送寫請求并接收來自管道中所有節(jié)點(diǎn)的確認(rèn)，指示管道已準(zhǔn)備好供客戶端開始寫入這個階段。如果管道在此階段遇到錯誤，并且客戶端正在寫入新塊，則客戶端會詢問NameNode是否有新塊和DataNode列表，以便在其中找到塊。因此，將會開啟一個新的管道而不是使用失敗的管道。另一方面，如果管道是為附加到塊而創(chuàng)建的，則客戶端將使用幸存的DataNode重建管道。管道恢復(fù)三個階段客戶端緩沖數(shù)據(jù)包(數(shù)據(jù)塊)中的數(shù)據(jù)，并在數(shù)據(jù)包被填滿后通過管道發(fā)送數(shù)據(jù)。如何處理數(shù)據(jù)流階段期間的故障取決于客戶端或DataNode是否檢測到故障。如果客戶端檢測到故障，它將構(gòu)建一個新的管道，并保留好的DataNode,且開始使用新的GS發(fā)送數(shù)據(jù)包。如果是DataNode檢測到故障，它將通過關(guān)閉連接將其自身從管道中刪除。管道恢復(fù)三個階段關(guān)閉階段是副本完成并且管道關(guān)閉的階段。當(dāng)客戶端發(fā)送關(guān)閉請求時，管道中的所有DataNode都會將副本轉(zhuǎn)換為Finalized狀態(tài)。它們將此報告給NameNode,如果正確數(shù)量的DataNode(基于配置的復(fù)制因子)報告了它們副本的Finalized狀態(tài)，它將塊的狀態(tài)轉(zhuǎn)換為Co