百分点大数据评测报告：开源OLAP引擎综评（HAWQ、Presto、ClickHouse）(3)

通过对比测试结果可以发现，在相同的数据量查询SQL情况下，ClickHouse对比HAWQ、Presto有数量级的性能优势。由于我们的业务更多是单表的Ad-Hoc查询和分析，因此本次评测最终采用ClickHouse作为我们的OLAP引擎。 

同时，测试过程中我们也发现一些有意思的现象，如：

(1)  HAWQ对查询都是全表扫描，如类似Select * from where c1=xxx limit 10查询，而Presto则对扫描的结果直接返回。

(2)  HAWQ查询会使用到系统缓存，而Presto对这方面并没有特别的优化。表现出的现象就是，在一定的并发度下，HAWQ反而会体现出缓存的优势，而Presto性能则呈现线性下降趋势。 

详细见测试过程的详细记录及图形化的直观展现。

并发1查询性能：

并发10查询性能：

并发20查询性能：

4.其它扩展测试

Presto单机多Worker：

我们通过添加单机的Worker数量验证是否提高查询效率，提高单机的查询利用率。 单机增加Presto Worker，部署多Worker。测试结果：表现为CPU瓶颈，没有效果。如下图，可以发现每个Worker的吞吐也少了一半。 

Presto扩容：
我们通过添加扩容机器并部署Worker，验证查询性能影响。
加入新的机器，部署Worker。测试结果：表现为性能基本线性增长，受限于数据节点的磁盘IO和网络。 

ClickHouse 横向扩展查询测试：

测试横向扩展对查询性能的影响，每个节点的数据量是相同的，使用相同的SQL分别测试单节点、五节点、十节点的查询性能。
根据测试结果可以看出，横向扩展后，节点数和数据量等比增加，查询时间几乎保持不变。所以对于ClickHouse我们可以基于单节点的数据量和性能，推断一定场景下整个集群的情况。

测试明细： 

结果图形展示：

ClickHouse PageCache缓存查询测试:

测试PageCache对查询性能的影响，首先清除所有缓存分别查询四个SQL，然后再重复执行一次，可以发现，PageCache对第二次查询的性能提高是影响巨大的。

ClickHouse充分利用了系统缓存（PageCache），对查询有数量级的性能提升作用。

测试明细：

结果图形展示：

五、各组件综合分析
通过上述测试结果和分析图表，结合我们查询各组件的开源介绍进行综合分析，如下：

HAWQ采用基于成本的SQL查询优化器，生成执行计划；同时在标准化SQL兼容性这方面表现突出（基于TPC-DS进行SQL兼容性测试）。数据存储直接使用HDFS，与其它SQL on Hadoop引擎不一样，HAWQ采用自己的数据模型及存储方式。在本次对单表的查询测试中，性能并不理想，并且我们发现对于表查询类似limit 1语句。HAWQ也会全表扫描，这个过程让我们感觉有点诧异。 

（编辑：ASP站长网）