如何在 Scala/Java 中以编程方式获取 HDFS 中的 DIR_COUNT、FILE_COUNT、CONTENT_SIZE FILE_NAME？ (不通过壳牌)
val fileStatus = fileSystem.getFileStatus(new Path(path))
val fileByteSize = fileStatus.getLen
FileSystem API 似乎没有这些信息。我只能获取 1 个文件的文件大小(上面的代码)。但我没有得到每个目录的文件数和字节大小。
我正在寻找类似的行为:
hdfs dfs -count [-q] <paths>
计算所提供路径下的目录、文件和字节数
最佳答案
您可以使用FileSystem.listStatus方法获取有关给定 HDFS 目录中的文件和目录的信息。
您可以使用返回的FileStatus对象数组来计算总大小、文件数量等。
关于java - HDFS API - 计算目录、文件和字节数，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34940682/