amazon-ec2 - EC2 上的 Apache Spark "Killed"

标签 amazon-ec2 apache-spark

我在不同集群上多次运行的程序突然停止了。日志:

15/04/20 19:19:59 INFO scheduler.TaskSetManager: Finished task 12.0 in stage 15.0 (TID 374) in 61 ms on ip-XXX.compute.internal (16/24)
15/04/20 19:19:59 INFO storage.BlockManagerInfo: Added rdd_44_14 in memory on ip-XXX.compute.internal:37999 (size: 16.0 B, free: 260.6 MB)
Killed

“Killed”是什么意思,为什么会发生?没有其他错误。

最佳答案

“Killed”通常意味着操作系统通过发送 SIGKILL 信号终止了进程。这是一个不可阻塞的信号,可以立即终止进程。它通常用作 OOM(内存不足)进程杀手——如果操作系统认为内存资源变得非常低,它可以选择要杀死的进程以尝试释放一些内存。

如果没有更多信息,就无法判断您的进程是由于内存问题还是其他原因而被终止。您可能能够提供的帮助诊断正在发生的事情的信息类型包括:进程在被终止之前运行了多长时间?你能启用并提供更详细的调试输出吗?进程终止是否与任何特定的通信或处理事件模式相关联?

关于amazon-ec2 - EC2 上的 Apache Spark "Killed",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29756606/

相关文章:

amazon-web-services - 在 ec2 上远程运行命令

php - EC2 用户数据卡在 "Checking init scripts..."ubuntu php

deployment - 在 ec2 machine-cap staging deploy:setup 给出一个 (Errno::ETIMEDOUT: Operation timed out - connect(2))

apache-spark - 应用转换后需要将数据从Hadoop加载到Druid。如果使用Spark,是否可以将数据从Spark RDD或数据帧直接加载到Druid?

apache-spark - 如何遍历pyspark中的每一行dataFrame

scala - 使用 spark 加载由 --files 参数分发的共享库 (.so)

hadoop - 这是正确的 apache spark 使用场景吗?

scala - Spark graphX 从数据帧创建 Edge/Vertex RDD

amazon-ec2 - 如何为弹性beanstalk实例添加多个键?

linux - SSH 到 AWS EC2 问题 - key_load_public : No such file or directory