我有一个包含 40 000 行的文件，每行一个单词，彼此。
我启动 Hadoop、主服务器、从服务器 - 一切正常:
start-dfs.sh;start-yarn.sh;/opt/spark/sbin/start-master.sh;/opt/spark/sbin/start-slaves.sh
我运行示例应用程序，计算单词数:
/opt/spark/bin/spark-submit --class org.apache.spark.examples.JavaWordCount --deploy-mode cluster --master yarn --driver-memory 2g --executor-memory 2g /opt/spark/examples/jars/spark-examples_2.11-2.0.0.jar hdfs://hadoop-master:9000/input/outputData.fcs
我遇到了问题:一旦应用程序将正常启动并显示结果，一旦将显示错误(并且我不会在重新启动之间进行任何更改):
ERROR shuffle.RetryingBlockFetcher: Exception while beginning fetch of 1 outstanding blocks
java.io.IOException: Failed to connect to iws2/172.29.77.40:43688
我不知道哪里出了问题。在我的配置文件下面:
所有从机和主机都在“master”、“slaves”文件中正确设置。
最佳答案
错误状态:
Failed to connect to iws2/172.29.77.40:43688
结果是网络问题。确保您的集群配置正确并开始查找相关信息。
希望这对您有所帮助。
关于Hadoop+Spark - 一旦应用程序正常启动一次就会显示错误，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/39046063/