Impala概述“衡水杯”一等獎(jiǎng)

Impala概述什么是ImpalaImpala的優(yōu)缺點(diǎn)01

什么是Impala什么是ImpalaCloudera公司推出，提供對HDFS、Hbase數(shù)據(jù)的高性能、低延遲的交互式SQL查詢功能。是CDH平臺(tái)首選的PB級大數(shù)據(jù)實(shí)時(shí)查詢分析引擎。

基于Hive，使用內(nèi)存計(jì)算，兼顧數(shù)據(jù)倉庫。優(yōu)點(diǎn)包括：實(shí)時(shí)批處理多并發(fā)等

為什么選擇ImpalaImpala通過使用標(biāo)準(zhǔn)組件（如HDFS，HBase，Metastore，YARN和Sentry）將傳統(tǒng)分析數(shù)據(jù)庫的SQL支持和多用戶性能與ApacheHadoop的可擴(kuò)展性和靈活性相結(jié)合。Impala將相同的元數(shù)據(jù)，SQL語法（HiveSQL），ODBC驅(qū)動(dòng)程序和用戶界面（HueBeeswax）用作ApacheHive，為面向批量或?qū)崟r(shí)查詢提供熟悉且統(tǒng)一的平臺(tái)。與ApacheHive不同，Impala不基于MapReduce算法。它實(shí)現(xiàn)了一個(gè)基于守護(hù)進(jìn)程的分布式架構(gòu)，它負(fù)責(zé)在同一臺(tái)機(jī)器上運(yùn)行的查詢執(zhí)行的所有方面。因此，它減少了使用MapReduce的延遲，這使Impala比ApacheHive快。使用Impala，與其他SQL引擎（如Hive）相比，用戶可以使用SQL查詢以更快的方式與HDFS或HBase進(jìn)行通信。Impala可以讀取Hadoop使用的幾乎所有文件格式，如Parquet，Avro，RCFile。02

Impala的優(yōu)缺點(diǎn)優(yōu)點(diǎn)基于內(nèi)存運(yùn)算，不需要把中間結(jié)果寫入磁盤，省掉了大量的I/O開銷。無需轉(zhuǎn)換為Mapreduce，直接訪問存儲(chǔ)在HDFS，HBase中的數(shù)據(jù)進(jìn)行作業(yè)調(diào)度，速度快。使用了支持Datalocality的I/O調(diào)度機(jī)制，盡可能地將數(shù)據(jù)和計(jì)算分配在同一臺(tái)機(jī)器上進(jìn)行，減少了網(wǎng)絡(luò)開銷。支持各種文件格式，如：TEXTFILE

、SEQUENCEFILE、RCFile、Parquet?？梢栽L問hive的metastore，對hive數(shù)據(jù)直接做數(shù)據(jù)分析。優(yōu)點(diǎn)缺點(diǎn)對內(nèi)存的依賴大，且完全依賴于hive。實(shí)踐中，分區(qū)超過1萬，性能嚴(yán)重下降。只能讀取文本文件，而不能直接讀取自定義二進(jìn)制文件。每當(dāng)新的記錄/文件被添加到H