hadoop - Cloudera Impala性能测试-空缓存

Question

我尝试在cloudera hadoop集群上执行性能测试。但是，就Impala使用缓存存储以前的查询而言，如何清空缓存？

Does Impala use caching? Impala does not cache data but it does cache some table and file metadata. Although queries might run faster on subsequent iterations because the data set was cached in the OS buffer cache, Impala does not explicitly control this.

引用自:http://www.cloudera.com/content/cloudera/en/documentation/cloudera-impala/latest/topics/impala_faq.html#faq_performance_unique_1__faq_caching_unique_1

Answer 1

文件元数据缓存与“查询缓存”不同。它只是在HDFS中缓存文件和块的位置，这是大多数数据库已经知道的，但是Impala可能不知道，因为它从Hive获取表/文件元数据。在测试中，Impala应该可以使用文件元数据。

Impala永远不会缓存查询，但是可以通过以下两种方式之一缓存文件数据:

您已启用HDFS caching。我认为您没有这样做。

HDFS读取的某些数据可能在操作系统缓冲区高速缓存中。 Impala无法对此进行控制。一些谷歌搜索有关清除Linux缓冲区高速缓存的指南，例如this unix.stackexchange.com answer。