hadoop - CorruptStatistics-使用Parquet文件时的警告消息

Question

在Hortonworks上的Hive中执行查询时，会收到大量这些消息。

INFO: org.apache.parquet.CorruptStatistics: Ignoring statistics because this file was created prior to 1.8.0, see PARQUET-251

如何解决此问题？

如果不固定，尽管有这些警告，但对我正确获得结果有什么影响？

Answer 1

您可以通过使用Parquet生产者重新编写文件来解决此问题，例如 hive ，正在使用更新的parquet-mr库。然后它将用正确的统计信息填充文件。

您从该 Parquet 生成的结果是正确的。该警告仅通知您在对该文件进行处理时不能使用计算(图形)中的所有优化。先前的parquet-mr版本中存在一个错误计算统计信息。现在，此问题已修复，但要具有正确的统计信息(仅用于查询优化)，您需要使用较新的版本重新编写所有文件。文件本身中的数据不受此错误影响。