我们在 aws 上的 hdfs 之上有一个 spark 集群，具有 2 个核心节点和 1 个主节点。最近我发现所有作业都失败了，因为两个核心节点上的磁盘都已满。经过进一步调查发现:
/data/var/lib/hadoop/dfs/current/BP-*/current/finalized/subdir*/* 已满。我能够看到数据，但我想弄清楚是哪个作业实际创建了这些文件，这些文件占用了近 600-700GB 的空间，因此我们可以防止将来发生这种情况。有人可以告诉我在哪里/如何开始调查吗？
最佳答案
检查 4040 上作业的用户界面....您可能会找到一些东西。 否则，请告诉更多有关工作、数据和环境的详细信息。
关于hadoop - hdfs 核心节点磁盘已满，调查？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/33135911/