apache-spark - 在HD Insights上7天后,Spark Streaming作业完全失败,没有错误日志

标签 apache-spark hadoop spark-streaming hortonworks-data-platform azure-hdinsight

我们得到的唯一错误日志是:
由于ApplicationMaster尝试使appattempt_1575912755011_0035_000005超时,因此应用程序application_1575912755011_0035失败了5次。应用程序失败。

是什么原因引起的?
分辨率是多少?

最佳答案

检查是否相关:https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-troubleshoot-application-stops

如果这样做没有帮助,您可以尝试使用Quest(内置的易于使用的 Spark 流)在Qubole中运行流作业,或按原样运行Spark Streaming:https://docs.qubole.com/en/latest/user-guide/data-engineering/quest/quest-intro.html

最好,
明什

关于apache-spark - 在HD Insights上7天后,Spark Streaming作业完全失败,没有错误日志,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60060485/

相关文章:

scala - Spark Scala 流式 CSV

scala - 使用 Spark Structured Streaming 时限制 kafka 批量大小

python - 我可以从 py Spark 中的本地文件读取,但无法在本地文件中写入数据帧

hadoop - NameNode启动错误: No FileSystem for scheme: ht

apache-spark - 将长毫秒的纪元时间转换为结构化流式 SQL 的时间戳

bash - 将参数传递给存储在 HDFS 中的 shell 脚本

python - 如何为 Amazon EMR 上的 Hadoop Streaming 作业加载额外的 JAR

apache-spark - "java.io.IOException: Class not found"在长时间运行的流应用程序上

apache-spark - 如何将流式查询的数据写入Hive?

apache-spark - 使用 PySpark 屏蔽信用卡号