hadoop - 关于map-reduce中的上下文对象

标签 hadoop mapreduce

谁能解释为什么我们在下面的语句中用尖括号括起参数,以及为什么在参数中定义输出键/值对。

public static class Map extends Mapper <LongWritable, Text, Text, IntWritable> 

什么是上下文对象以及我们在以下语句中使用的原因。
public void map(LongWritable key, Text value, Context context ) throws IOException, InterruptedException

最佳答案

添加到@Vasu回答的内容中。

上下文存储对RecordReaderRecordWriter的引用。
每当使用context.getCurrentKey()context.getCurrentValue()检索键和值对时,该请求就会分配给RecordReader。并在调用context.write()时,将其分配给RecordWriter

这里RecordReaderRecordWrite r实际上是抽象类。

关于hadoop - 关于map-reduce中的上下文对象,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30763553/

相关文章:

oracle - 在哪里做连接以展平表..? Hive或Oracle

hadoop - 我正在尝试在 MapReduce 中输出 {key, list(values)} 但我只得到排序的 {key,value} 对

java - 如何在Spark 2.3.1中使用map和reduce函数进行分组和计数

hadoop - MultipleOutputs 具有不同的 FileOutputFormat

python - 管道命令有效,但Mapreduce无效

Hadoop:从 DistributedCache 获取文件时出现 FileNotFoundExcepion

windows - Ant BuildException 错误构建 Hadoop 2.4.1

hadoop - 在 Cloudera 中扩展 HDFS 内存

hadoop - 找出 HDFS 中的实际磁盘使用情况

java - 为什么我无法在 Hadoop 中获取 FileName 并以格式(Word 文件名计数)显示它?