hadoop - MapReduce 中是否需要 key ?

标签 hadoop mapreduce hdfs

就我而言,我不需要 reduce 功能。所以我假设 map 函数不应该担心选择输入文本文件并将其拆分为某个键值对。

最佳答案

是的,它确实。映射器总是输出一个键值对。如果不想使用 reducer,可以直接将 Map 输出写入文件系统,也可以使用 Identity Reducer。如果您对 key 是什么不感兴趣,您可以只分配一些默认 key 。如果您可以分享有关您正在尝试做的事情的更多详细信息,我们可能会为您提供更好的帮助。

关于hadoop - MapReduce 中是否需要 key ?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17602362/

相关文章:

hadoop - 定义一个可在映射器和缩减器中使用的数组列表

java - 使用 MapReduce/Hadoop 对大数据进行排序

hadoop - 如何使用 Snappy 压缩将文件放入 HDFS

apache-spark - Spark检查是否存在带有正则表达式的输入路径

hadoop - Input Split 大小是常量还是取决于逻辑记录?

hadoop - 如果我使用 S3 而不是 HDFS,是否仍然需要 Namenode?

hadoop - 无法使用 importtsv 将数据从 Hdfs 导入到 Hbase

hadoop - apache giraph:java.lang.IllegalAccessError

java - Hadoop DistributedCache 对象在作业期间更改

hadoop - Hadoop Mapreduce的输出到本地磁盘或STDOUT