我正在尝试运行 mapreduce 作业。我的文件是 parquet 格式。
我收到以下错误:
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/thrift/TException
at parquet.format.converter.ParquetMetadateConverter.readParquetMetadata(ParquetMetadateConverter.java:268)
at parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:271)
at parquet.hadoop.ParquetFileReader.readSummeryFile(ParquetFileReader.java:200)
at parquet.hadoop.ParquetFileReader.readAllFootersInParallelUsingSummeryFiles(ParquetFileReader.java:99)
at parquet.hadoop.ParquetInputFormat.getFooters(ParquetInputFormat.java:354)
at parquet.hadoop.ParquetInputFormat.getFooters(ParquetInputFormat.java:339)
at parquet.hadoop.ParquetInputFormat.getSplits(ParquetInputFormat.java:246)
...
我尝试使用 --libjars my_path/libthrift-0.9.0.jar 添加包含 TException 的 jar，但我仍然遇到相同的错误。
最佳答案
请尝试将 HADOOP_CLASSPATH 参数设置为指向与您需要的版本相匹配的 libthrift.jar 文件。
例如:
export HADOOP_CLASSPATH=/var/lib/hdfs/libthrift-0.9.jar
希望这对您有所帮助!
关于java - Parquet 格式的 Mapreduce 错误，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/22779874/