java - 在Hadoop中将整个文件文本添加为​​映射键

标签 java hadoop mapreduce

我正在寻找一种将整个文件文本加载到 map 中的方法。每次都不像TextInputFormat那样一行。
这样,当我在 map 中执行value.toString时,就可以使用整个输入。

最佳答案

您必须将每一行都放入StringBuilder中,直到到达文件末尾。或者您重写自己的提供此功能的RecordReader。但是我不建议这样做。

关于java - 在Hadoop中将整个文件文本添加为​​映射键,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6757056/

相关文章:

java - 通过不同的端口将数据返回给客户端

hadoop - 有没有一种方法可以避免在启动和停止hadoop时一次又一次输入localhost密码?

hadoop - hadoop 2.7.0中的旧版UI

hadoop - 如何为 Hadoop 的 Map-reduce 作业设置配置?

hadoop - MapReduce-如何通过输入文件少的工作节点来获得许多 map task

python - 使用 MongoDB 聚合框架计算一阶导数

java.lang.NoClassDefFoundError : org/apache/spark/sql/SparkSession 错误

java - 如何在android中打印一周中的每一天

java - char* (Array) 强制转换为 unsigned long + 1?

hadoop - Cassandra 聚合到 Map