hadoop - HDFS是如何下载文件的?

标签 hadoop hdfs

如果 Hadoop 复制设置为 3 并且我使用 hadoop dfs -get 下载文件,有多少数据节点同时向我传输数据?下载方式是类似RAID的并行方式,还是依次一个一个读取datanode?

最佳答案

只从一个节点顺序读取数据。

请注意,文件可能是多个 block ,在这种情况下, block 是从不同的节点拉取的。

关于hadoop - HDFS是如何下载文件的?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19865832/

相关文章:

hadoop - 使用本地的location子句创建配置单元表

hadoop - Spark - Snappy 库不可用

hadoop - 有没有时间格式的数据类型 hh :mm:ss in Hive

java - 使用分隔符将json字符串存储在Hadoop文件中

scala - 如何更改我的 Spark 程序的 HDFS 复制因子?

hadoop - hive 开始失败

hadoop - 如何使用hdfs分割用户ID?

hadoop - HDFS 中的默认 block 大小不是最小文件大小吗?

hadoop - 如何读取 HDFS 上的文件以在 Hadoop 上进行分布式缓存

hadoop - MapReduce 洗牌/排序方法