2023學年完整公開課版Impala架構(gòu)

Impala架構(gòu)介紹Impala架構(gòu)Impala架構(gòu)優(yōu)缺點01

Impala架構(gòu)Impala架構(gòu)Impala，是Cloudera在受到Google的Dremel啟發(fā)下，開發(fā)的實時交互SQL大數(shù)據(jù)查詢工具。它沒有使用緩慢的Hive+MapReduce批處理，而是通過使用與商用并行關(guān)系數(shù)據(jù)庫中，類似的分布式查詢引擎，由：QueryPlanner、QueryCoordinator、QueryExecEngine三部分組成。直接從HDFS或HBase中，使用SELECT、JOIN和統(tǒng)計函數(shù)查詢數(shù)據(jù)，大大降低了延遲。Impala架構(gòu)DataNode運行在同一節(jié)點上，由Impalad進程表示。一個datanode對應(yīng)一個impalad，它接收客戶端的查詢請求，通過JNI調(diào)用java前端解釋SQL查詢語句，生成查詢計劃樹。通過調(diào)度器把執(zhí)行計劃分發(fā)給具有相應(yīng)數(shù)據(jù)的其它Impalad進行執(zhí)行），讀寫數(shù)據(jù)，并行執(zhí)行查詢；把結(jié)果通過網(wǎng)絡(luò)流式的傳送回給Coordinator，由Coordinator返回給客戶端。Impalad也與State

Store保持連接，用于確定哪個Impalad是健康的，可以接受新的工作。在Impalad中啟動三個ThriftServer:beeswax_server（連接客戶端），hs2_server（借用Hive元數(shù)據(jù)），be_server（Impalad內(nèi)部使用）和一個ImpalaServer服務(wù)。Impala由三個服務(wù)組成：impalad、statestored、catalogdImpaladImpala架構(gòu)Impala由三個服務(wù)組成：impalad、statestored、catalogdImpaladStatestored跟蹤集群中的Impalad的健康狀態(tài)及位置信息，由statestored進程表示。它通過創(chuàng)建多個線程來處理Impalad的注冊訂閱和與各Impalad保持心跳連接，各Impalad都會緩存一份StateStore中的信息。當State

Store離線后，因為Impalad有StateStore的緩存仍然可以工作；但會因為有些Impalad失效了，而已緩存數(shù)據(jù)無法更新，導(dǎo)致把執(zhí)行計劃分配給了失效的Impalad，導(dǎo)致查詢失敗。Impala架構(gòu)Impala由三個服務(wù)組成：impalad、statestored、catalogdImpaladStatestoredCatalogdCatalogd作為metadata訪問網(wǎng)關(guān)，從HiveMetastore等外部catalog中獲取元數(shù)據(jù)信息，放到impala自己的catalog結(jié)構(gòu)中。impalad執(zhí)行ddl命令時通過catalogd由其代為執(zhí)行，該更新則由statestored廣播。Impala通過詞法分析生成執(zhí)行計劃，執(zhí)行計劃表現(xiàn)為一棵完整的執(zhí)行計劃樹，可以更自然地分發(fā)執(zhí)行計劃到各個Impalad執(zhí)行查詢。Impala架構(gòu)第一階段對sql進行解析、分析、優(yōu)化。包括RBO和CBO，統(tǒng)計信息目前只有表大小和列的NDV，無histogram。第二階段生成分布式的執(zhí)行計劃，確定是否要加exchange節(jié)點（是否存在partitioned

join或hashaggregation），選擇joinstrategy（partitionedjoinorbroadcast

join）等，最后以exchange為邊界將計劃分段（fragment），作為impala的基本運行單元。impala的前端負責將sql轉(zhuǎn)化成執(zhí)行計劃（java），包含兩個階段：單節(jié)點計劃生成、并行化和分段。02

優(yōu)缺點優(yōu)缺點優(yōu)點支持SQL查詢，快速查詢大數(shù)據(jù)?？梢詫σ延袛?shù)據(jù)進行查詢，減少數(shù)據(jù)的加載，轉(zhuǎn)換。多種存儲格式可以選擇（Parquet,Text,Avro,RCFile,SequeenceFile）。可以與Hive配合使用。優(yōu)缺點缺點不支持用戶定義