我们在独立的五节点集群上运行 Flink。 /tmp/
目录不断填充以 blobstore--*
开头的目录。这些目录非常大(大约 1 GB),很快就会填满空间,作业会失败,并出现设备没有剩余空间
错误。这些目录中的文件似乎是集群上运行的作业的某种形式的二进制表示形式。
这些文件是什么?我该如何清理它们,以免它们填满/tmp/导致作业失败?
Flink 版本:1.4.2
最佳答案
blob 存储文件是在集群中分发 Flink 作业所必需的。工作完成后,应将其清理干净。只有在集群崩溃的情况下才不应进行清理。
如果集群重新启动,旧的 blobstore 文件需要使用清理作业清除。删除目录时必须小心,不要删除正在运行的 TaskManager 的目录。这可以通过查看正在运行的任务管理器的日志来找到。它们应该包含 blob 存储目录的路径。
关于apache-flink - 什么是 blobstore 文件以及为什么它们不断填满/tmp 目录?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54869792/