我有时会在运行 Spark 作业时看到以下错误消息:
13/10/21 21:27:35 INFO cluster.ClusterTaskSetManager: Loss was due to spark.SparkException: File ./someJar.jar exists and does not match contents of ...
这是什么意思？我如何诊断和解决这个问题？
最佳答案
在查看日志后，我也发现了“设备上没有剩余空间”异常，然后当我运行 df -h 时和 df -i在每个节点上，我发现一个分区已满。有趣的是，这个分区似乎不是用于数据，而是临时存储 jars。它的名字类似于 /var/run或 /run .
解决方案是清理旧文件的分区并设置一些自动清理，我认为设置 spark.cleaner.ttl说一天(86400)应该防止它再次发生。
关于apache-spark - 为什么 Spark 报告 spark.SparkException : File ./someJar.jar 存在并且不匹配的内容，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/25707869/