Impala一个新型查询系统

Impala一个新型查询系统

1、官网。http://impala.apache.org/

2、文档。http://impala.apache.org/overview.html

3、介绍。

优点:
1、Impala不需要把中间结果写入磁盘,省掉了大量的I/O开销。
2、省掉了MapReduce作业启动的开销。MapReduce启动task的速度很慢(默认每个心跳间隔是3秒钟),Impala直接通过相应的服务进程来进行作业调度,速度快了很多。
3、Impala完全抛弃了MapReduce这个不太适合做SQL查询的范式,而是像Dremel一样借鉴了MPP并行数据库的思想另起炉灶,因此可做更多的查询优化,从而省掉不必要的shuffle、sort等开销。
4、通过使用LLVM来统一编译运行时代码,避免了为支持通用编译而带来的不必要开销。
5、用C++实现,做了很多有针对性的硬件优化,例如使用SSE指令。
6、使用了支持Data locality的I/O调度机制,尽可能地将数据和计算分配在同一台机器上进行,减少了网络开销。

功能:
1、Impala可以根据Apache许可证作为开源免费提供。
2、Impala支持内存中数据处理,它访问/分析存储在Hadoop数据节点上的数据,而无需数据移动。
使用类SQL查询访问数据。
3、Impala为HDFS中的数据提供了更快的访问。
4、可以将数据存储在Impala存储系统中,如Apache HBase和Amazon s3。
5、Impala支持各种文件格式,如LZO,序列文件,Avro,RCFile和Parquet。

发表回复

您的电子邮箱地址不会被公开。