java - Hadoop MapReduce、Java实现问题

Question

目前我正在研究 Apache Hadoop(使用 MapReduce 作业的 Java 实现)。我查看了一些示例(例如 WordCount 示例)。我在编写自定义 mapreduce 应用程序方面取得了成功(我正在使用 Cloudera Hadoop Demo VM)。我的问题是关于一些实现和运行时问题。

作业类原型(prototype)如​​下:

public class WordCount {

  public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {
    public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
    // mapping
      }
    }
  }

  public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {
    public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
      // reducing
    }
  }

  public static void main(String[] args) throws Exception {
    JobConf conf = new JobConf(WordCount.class);
    conf.setJobName("wordcount");
    // setting map and reduce classes, and various configs
    JobClient.runJob(conf);
  }
}

我有一些问题，我试着用谷歌搜索它们，但我必须说 hadoop 的文档非常正式(就像一本大引用书)，不适合初学者。

我的问题:

• Map 和 Reduce 类是否必须是静态内部类 Main 类，或者它们可以在任何地方(只是从 Main 可见？)
• 您能否像在普通 Java SE 应用程序中那样使用 Java SE 和可用库必须提供的任何内容？我的意思是，例如 JAXB、Guava、JSON 的 Jackson 等
• 编写通用解决方案的最佳做法是什么？我的意思是:我们希望以不同(但略微相似)的方式处理大量日志文件。日志文件的最后一个标记始终是包含一些条目的 JSON 映射。一种处理可能是:根据( map 中的 keyA，keyB)上的日志行进行计数和分组，另一种处理可能是:根据 map 中的(keyX，keyY)上的日志行进行计数和分组。 (我正在考虑一些基于配置文件的解决方案，您可以在其中为程序提供实际必要的条目，如果您需要新的解决方案，您只需提供配置并运行应用程序即可)。
• 可能是相关的:在 WordCount 示例中，Map 和 Reduce 类是静态内部类，main() 对它们的影响为零，只是将这些类提供给框架。您能否使这些类成为非静态类，提供一些字段和一个构造函数以使用一些当前值(如我提到的配置参数)改变运行时。

也许我在不必要地挖掘细节。总体问题是:hadoop mapreduce 程序是否仍然是我们习惯的普通 JavaSE 应用程序？

Answer 1

这是你的答案。

1. 只要 MapTask/ReduceTask 的类加载器能够加载映射器/缩减器类，映射器和缩减器类可以位于单独的 Java 类中，位于包结构的任何位置，也可以位于单独的 jar 文件中。您展示的示例是为 Hadoop 初学者提供的快速测试。

2. 是的，您可以使用任何 Java 库。这些第三方 jar 应该通过 hadoop jar 命令的 -files 选项或使用 Hadoop API 提供给 MapTask/ReduceTask。看看这个链接here 有关将第三方库添加到 Map/Reduce 类路径的更多信息

3. 是的，您可以使用这些方法中的任何一种来配置并将配置传递给 Map/Reduce 作业。

   3.1 如下使用org.apache.hadoop.conf.Configuration对象来设置客户端程序中的配置(带有main()方法的Java类

   配置 conf = new Configuration(); conf.set("config1", "value1"); Job job = new Job(conf, "整个文件输入");

Map/Reduce 程序可以访问 Configuration 对象并使用 get() 方法获取为属性设置的值。如果配置设置很小，建议使用此方法。

3.2 使用分布式缓存加载配置并使其在 Map/Reduce 程序中可用。点击here有关分布式缓存的详细信息。这种方法更可取。

4.main()是客户端程序，负责配置和提交Hadoop作业。如果未设置任何配置，则将使用默认设置。 Mapper 类、Reducer 类、输入路径、输出路径、输入格式类、reducer 数量等配置。例如:

此外，请查看文档 here关于作业配置

是的，Map/Reduce 程序仍然是 JavaSE 程序，但是，它们分布在 Hadoop 集群中的机器上。比方说，Hadoop 集群有 100 个节点并提交了字数统计示例。 Hadoop 框架为每个 Map 和 Reduce 任务创建 Java 进程，并在数据存在的机器子集上调用回调方法，例如 map()/reduce()。本质上，您的映射器/缩减器代码在数据存在的机器上执行。我建议您阅读 The Definitive Guide 的第 6 章

希望对您有所帮助。