我们得到的唯一错误日志是:
由于ApplicationMaster尝试使appattempt_1575912755011_0035_000005超时,因此应用程序application_1575912755011_0035失败了5次。应用程序失败。
是什么原因引起的?
分辨率是多少?
最佳答案
检查是否相关:https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-troubleshoot-application-stops
如果这样做没有帮助,您可以尝试使用Quest(内置的易于使用的 Spark 流)在Qubole中运行流作业,或按原样运行Spark Streaming:https://docs.qubole.com/en/latest/user-guide/data-engineering/quest/quest-intro.html
最好,
明什
关于apache-spark - 在HD Insights上7天后,Spark Streaming作业完全失败,没有错误日志,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60060485/