我在本地系统的 Eclipse 中运行 Spark Twitter 情感分析代码。服务器中的所有 hadoop 和 spark 集群设置。是否可以在集群设置不是他们的本地系统中运行?
如果是,请指导我如何操作。 在运行时我给出的论点是
> --class com.dhruv.Predict \
> --master spark://<spark cluster ip>:7077 \
> --num-executors 2 \
> --executor-memory 512m \
> --executor-cores 2 \ target/twittersentiment-0.0.1-jar-with-dependencies.jar \
> hdfs://tmp/tweets/dataset.csv trainedModel \
> --consumerKey \
> --consumerSecret \
> --accessToken \
> --accessTokenSecret
但是它不起作用。请指导我
最佳答案
如评论中所述:
文件必须是全局可见的,所以它应该在每台机器或分布式文件系统中的相同路径中,例如在 HDFS 中
将您的 JAR 复制到每台机器或 HDFS
关于eclipse - Spark 在客户端机器上提交,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40784224/