我想知道hadoop fs -du的两个输出是什么意思。文档上不清楚:
In [16]: subprocess.call(["hadoop", "fs", "-du","-
h","/project/crm/warehouse/"])
输出:
5.9 G 17.8 G /project/crm/warehouse/n98770_patron_1
路径的实际大小是多少？ 5.9 GB 还是 17.8？
谢谢
最佳答案
第一列是实际的文件或目录大小，第二列是复制实际消耗的空间
由于 HDFS 复制您的数据，第二个字段显示它之后占用的总磁盘空间量。
在这种情况下，您的总尺寸为 17.8，基本尺寸为 5.9
17.8/5.9 is roughly 3
这意味着您的 hdfs 集群的复制因子为 3(默认值)。
如果你的复制因子是 2，那么输出将是:
5.9 G 12 G /project/crm/warehouse/n98770_patron_1
关于Hadoop 文件系统大小 du 命令，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/48322886/