我正在尝试将 Spark 流输出保存到 HDFS 上的文件中。目前,它没有保存任何文件。
这是我的代码:
StreamingExamples.setStreamingLogLevels();
SparkConf sparkConf = new SparkConf().setAppName("MyTestCOunt");
JavaStreamingContext ssc = new JavaStreamingContext(sparkConf, new Duration(1000));
JavaReceiverInputDStream<String> lines = ssc.socketTextStream(args[0], Integer.parseInt(args[1]), StorageLevels.MEMORY_AND_DISK_SER);
JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
@Override
public Iterable<String> call(String x) {
return Lists.newArrayList(SPACE.split(x));
}
});
JavaPairDStream<String, Integer> wordCounts = words.mapToPair(
new PairFunction<String, String, Integer>() {
@Override
public Tuple2<String, Integer> call(String s) {
return new Tuple2<String, Integer>(s, 1);
}
}).reduceByKey(new Function2<Integer, Integer, Integer>() {
@Override
public Integer call(Integer i1, Integer i2) {
return i1 + i2;
}
});
wordCounts.print();
wordCounts.saveAsHadoopFiles("hdfs://mynamenode:8020/user/spark/mystream/","abc");
ssc.start();
ssc.awaitTermination();
wordCounts.print()
有效,但 wordCounts.saveAsHadoopFiles
无效,有什么想法吗?
我正在运行以下命令:
1) nc -lk 9999
2) ./bin/run-example org.apache.spark.examples.streaming.NetworkWordCount localhost 9999
提前致谢..!!!
最佳答案
我通过将 master
指定为 local[x] x > 1
解决了同样的问题。如果您在本地运行 master,Spark 无法分配槽来执行任务。
喜欢
SparkConf conf = new SparkConf().setAppName("conveyor").setMaster("local[4]");
关于java - Spark 流输出未保存到 HDFS 文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24992079/