apache-flink - 什么是 blobstore 文件以及为什么它们不断填满/tmp 目录?

标签 apache-flink

我们在独立的五节点集群上运行 Flink。 /tmp/ 目录不断填充以 blobstore--* 开头的目录。这些目录非常大(大约 1 GB),很快就会填满空间,作业会失败,并出现设备没有剩余空间错误。这些目录中的文件似乎是集群上运行的作业的某种形式的二进制表示形式。

这些文件是什么?我该如何清理它们,以免它们填满/tmp/导致作业失败?

Flink 版本:1.4.2

最佳答案

blob 存储文件是在集群中分发 Flink 作业所必需的。工作完成后,应将其清理干净。只有在集群崩溃的情况下才不应进行清理。

如果集群重新启动,旧的 blobstore 文件需要使用清理作业清除。删除目录时必须小心,不要删除正在运行的 TaskManager 的目录。这可以通过查看正在运行的任务管理器的日志来找到。它们应该包含 blob 存储目录的路径。

http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/What-are-blobstore-files-and-why-do-they-keep-filling-up-tmp-directory-td26323.html

关于apache-flink - 什么是 blobstore 文件以及为什么它们不断填满/tmp 目录?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54869792/

相关文章:

java - 无法解析对 AWS Lambda 中值 : ${akka. stream.materializer} 的替换

spring-boot - 集成 - Apache Flink + Spring Boot

apache-kafka - Flink程序中如何获取Kafka消费者的offset信息

java - 在 Flink CEP 中并行处理一个流数据上的多个模式

apache-flink - Apache 弗林克 : Scope of ValueState in ConnectedStreams

java - Flink CEP 不在事件时间工作,但在处理时间工作

batch-processing - Flink 批处理接收器

scala - 当processElement依赖于广播数据时,如何在flink中对BroadcastProcessFunction进行单元测试

scala - 我是否使用了正确的框架?

apache-kafka - Flink kafka - Flink 作业不向不同分区发送消息