我只是想确保我没有遗漏任何东西。我正在为 Hive 开发一个 InputFormat 来处理我们特定的 hdfs 文件格式。我刚刚意识到它需要扩展 mapred.InputFormat 而不是 mapreduce.InputFormat
这样对吗？或者我错过了什么？我可以使用 mapreduce 包中的 FileInputFormat 吗？
最佳答案
您将不得不使用 mapred.InputFormat Hive 尚未完全迁移到新包。如果您出于任何原因需要/想要使用 mapreduce.InputFormat 包，您始终可以包装 mapreduce.InputFormat。事实上，我就是这样做的，让它与 Hive 交互，但仍然利用 mapreduce 包。
编辑:为了在两种类型的 API 之间进行互操作，我将读取文件记录的逻辑抽象为另一个类，并在两种 InputFormats 中使用它。
关于java - 为什么 Hive 和 HiveServer2 需要 mapred.InputFormat？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28464906/