最近在学习Spark。我通常通过命令行提交Spark Job。例如:
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[8] \
/path/to/examples.jar \
100
但是,我想在Java代码中运行spark-submit,例如
SparkResult 结果 = sc.submit()
。
最佳答案
尝试使用 java.lang.Runtime.exec()
调用可执行文件.
或者来自spark docs ,这似乎是你的例子:
int count = spark.parallelize(makeRange(1, NUM_SAMPLES)).filter(new Function<Integer, Boolean>() {
public Integer call(Integer i) {
double x = Math.random();
double y = Math.random();
return x*x + y*y < 1;
}
}).count();
System.out.println("Pi is roughly " + 4 * count / NUM_SAMPLES);
关于java - 如何在java代码中运行bin/spark-submit?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30354165/