java - 在 Spark 中使用 Hadoop 作业

Question

我有一个 Mapper (CustomMapper.class) 和一个Reducer (CustomReducer.class) 类，我想在 Spark 中使用它们。我可以在 Hadoop 中使用它们，方法是创建一个 Job 对象，然后设置所需的 Mapper 和Reducer 类，如下所示:

    Configuration conf = new Configuration();
    Job j = new Job(conf, "Adjacency Generator Job"); 
    j.setMapperClass(CustomMapper.class);
    j.setReducerClass(CustomReducer.class);

如何使用 Java 在 Spark 中实现相同的目标？我创建了一个java RDD对象，如下所示:

    SparkConf conf=new SparkConf().setAppName("startingSpark").setMaster("local[*]");
    JavaSparkContext sc = new JavaSparkContext(conf); 
    JavaRDD<String> myFile = sc.textFile(args[0]);

我不确定如何使用Java在Spark中绑定(bind)Mapper和Reducer类。任何帮助表示赞赏。

Answer 1

你为什么要这么做？ Spark 在内部创建一个执行 DAG，它由触发 DAG 的转换(如映射、过滤器等)和操作(如收集、计数等)组成。这是与 Map-Reduce 根本不同的计算方式。因此，粗略地说，您的映射器将对应于 RDD 上的映射操作，而缩减器将对应于任何聚合函数。请阅读文档以了解 Spark 的工作原理。