hadoop - dfs.replication提供复制因子,file.replication提供什么

标签 hadoop hdfs hadoop2

我的理解是 dfs.replication 提供了 HDFS 维护的复制数量,在 core-default.xml 中,我看到“file.replication”以及“s3.replication”、“ftp.replication”和“s3native.replication",能否请您提供有关这些变量重要性的任何输入

最佳答案

Hadoop 支持不同的文件系统实现,所有这些属性定义了用于其相应文件系统的复制因子。

-----------------------------------------------------------------------------------------------
| Replication Factor Property| FileSystem       | URI Scheme | Java Implementation            |
|                            |                  |            | (org.apache.hadoop)            |
-----------------------------------------------------------------------------------------------
| dfs.replication            | HDFS             | hdfs       | hdfs.DistriburedFileSystem     |
-----------------------------------------------------------------------------------------------
| file.replication           | Local            | file       | fs.LocalFileSystem             | 
-----------------------------------------------------------------------------------------------
| ftp.replication            | FTP              | ftp        | fs.ftp.FTPFileSystem           |      
-----------------------------------------------------------------------------------------------
| s3.replication             | S3 (block based) | s3         | fs.s3.S3FileSystem             |
-----------------------------------------------------------------------------------------------
| s3native.replication       | S3 (native)      | s3n        | fs.s3native.NativeS3FileSystem |
-----------------------------------------------------------------------------------------------

如果 fs.defaultFS 中定义的文件系统方案是 hdfs://,那么将永远不会使用 HDFS 以外的复制属性。

关于hadoop - dfs.replication提供复制因子,file.replication提供什么,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43306567/

相关文章:

hadoop - 控制中间体导致Hadoop

hadoop - Hadoop MR1 和 MR2 共存

java - 使用指向 HDFS 的 URI 创建文件实例

hadoop - 'local file system?'是什么意思

hadoop - 直接在数据节点中读取 block 的内容

hadoop - 由于安全模式打开,无法从 dfs 中删除文件

hadoop - Hbase中特定字段的批量更新

hadoop - 将Pivotal HD升级到Pivotal/Hortonworks HDP

java - 我在运行 map 缩减排序程序时遇到错误

hadoop - HDFS如何知道我们从哪个主机获取文件