Amazon EMR、Apache Spark 2.3、Apache Kafka，每天约 1000 万条记录。
Apache Spark 用于按 5 分钟批量处理事件，每天一次工作节点正在死亡，AWS 会自动重新配置节点。查看日志消息时，节点中似乎没有空间，但它们在那里有大约 1Tb 的存储空间。
在存储空间应该绰绰有余的情况下，是否有人遇到过存储空间问题？
我认为日志聚合无法将日志正确复制到 s3 存储桶，正如我所见，这应该由 spark 进程自动完成。
我应该提供什么样的信息来帮助解决这个问题？
先感谢您!
最佳答案
我在 EMR 上的结构化流应用程序中遇到了类似的问题，磁盘空间迅速增加到应用程序停止/崩溃的程度。
在我的情况下，修复是禁用 Spark 事件日志:spark.eventLog.enabled至 false
http://queirozf.com/entries/spark-streaming-commong-pitfalls-and-tips-for-long-running-streaming-applications#aws-emr-only-event-logs-under-hdfs-var-log-spark-apps-when-using-a-history-server
关于amazon-web-services - Amazon EMR 和 Spark 流，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52880783/