hadoop - HDFS存储检查显示不同的值

标签 hadoop hdfs

我遇到了一种奇怪的情况,我从hdfs dfs -du命令获得了不同的结果,并且在cloudera管理器UI中看到了什么,我了解了两者之间的区别,但是没有任何线索可以帮助我捕获问题并解决了。

我还删除了所有快照并不允许它们使用,但是存储没有改变。

以下是输出:

[cloudera-scm@roor-chc101 root]$ hdfs dfs -du -h -s .
2.3 G  5.8 G  .
[cloudera-scm@roor-chc101 root]$ hdfs dfs -du -h -s /
250.3 T  749.3 T

Cloudera Manager用户界面

我还检查了hdfs dfsadmin -report,它显示了与UI相同的结果
Configured Capacity:    1.54 PB
DFS Used:   897.77 TB
Non DFS Used:   2.98 GB
DFS Remaining:  682.27 TB
DFS Used%:  56.82%
DFS Remaining%: 43.18%
Block Pool Used:    897.77 TB
Block Pool Used%:   56.82%
DataNodes usages% (Min/Median/Max/stdDev):  11.17% / 58.94% / 69.35% / 13.31%
Live Nodes  45 (Decommissioned: 0)
Dead Nodes  0 (Decommissioned: 0)
Decommissioning Nodes   0
Total Datanode Volume Failures  0 (0 B)
Number of Under-Replicated Blocks   0
Number of Blocks Pending Deletion   0
Block Deletion Start Time   8/14/2017, 10:57:30 AM

最佳答案

我添加了hdfs dfs -du -h -s。和hdfs dfs -du -h -s /只是不显示我可能会错过的任何内容,可能在/ user / cloudera-scm下。

cloudera管理器用户界面显示与hdfs dfsadmin -report相同的值。

顺便说一句,我解决了以下问题:我发现/ tmp / logs / cloudera-scm使用了150T,并且仍在解释为什么我运行hdfs dfs -du -h -s时不考虑此卷

关于hadoop - HDFS存储检查显示不同的值,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45733976/

相关文章:

hadoop - 如何在 Hadoop 中找到 blockName 到 DataNode 的映射

python - 使用 python 将数据推送到远程 hdfs 的最佳方法是什么

hadoop - 同时使用 Delete 和 Put 时无法在 HBase 中插入新数据

hadoop - 有没有办法为预期的输出编写配置单元脚本

hadoop - Hadoop 中的 VIRTUAL_MEMORY_BYTES 任务计数器是什么意思?

xml - 改变 mapred.reduce.tasks

azure - Flume 写入文件时 HDFS ls 显示文件大小为 0

hadoop - HDFS 性能差 : "Slow BlockReceiver write packet to mirror"

apache - HBase模式设计示例

hadoop - Spark : Spark not using the all the executors configured