hadoop - MRv1(mapreduce)和MRv2(YARN)的 “Wordcount”程序是否有所不同

标签 hadoop mapreduce word-count yarn

对于不同的Hadoop(Mapreduce)版本,“Wordcount”程序是否有所不同?
MRv1(mapreduce)和MRv2(YARN)是否至少?
要么
编程是相同的,但所需的单词计数软件包有所不同.....?

最佳答案

如果您正在谈论Hadoop wiki上的WordCount示例,则没有区别。您可以使用MRv1和MRv2进行编译和运行,而无需修改源代码的任何一行。您所需要做的就是包括如下正确的类路径:

javac -cp `hadoop classpath` WordCount.java

要记住的一件事是WordCount只是Hadoop的HelloWorld示例,这意味着您可以根据需要以各种方式实现它。实际上,您可以看到Hadoop 2.1.0中的实现已经与Hadoop wiki上的实现有所不同

关于hadoop - MRv1(mapreduce)和MRv2(YARN)的 “Wordcount”程序是否有所不同,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21383616/

相关文章:

hadoop - 使用 Hadoop 和 HBase 的增量 MapReduce

mongodb - 具有自由许可的可嵌入开源键值存储

hadoop - 无法在 MapReduce 模式下使用 Java 运行 Embedded Pig

java - Cloudera 中的 WordCount 作业成功但 reducer 的输出与 mapper 的输出相同

java - 为什么我的性格和字数不符?

hadoop - 如何读取 Hadoop Sequentil 文件作为 Hadoop 作业的输入?

linux - Hadoop:将 cgroups 用于 TaskTracker 任务

java - 执行hdfs namenode -format的异常

linux - 我应该在 MapReduce 模式下启动 Pig 之前启动 Hadoop 集群吗?

vim - 在 vim 中获取文档的实时字数统计