我的理解是 dfs.replication 提供了 HDFS 维护的复制数量,在 core-default.xml 中,我看到“file.replication”以及“s3.replication”、“ftp.replication”和“s3native.replication",能否请您提供有关这些变量重要性的任何输入
最佳答案
Hadoop 支持不同的文件系统实现,所有这些属性定义了用于其相应文件系统的复制因子。
-----------------------------------------------------------------------------------------------
| Replication Factor Property| FileSystem | URI Scheme | Java Implementation |
| | | | (org.apache.hadoop) |
-----------------------------------------------------------------------------------------------
| dfs.replication | HDFS | hdfs | hdfs.DistriburedFileSystem |
-----------------------------------------------------------------------------------------------
| file.replication | Local | file | fs.LocalFileSystem |
-----------------------------------------------------------------------------------------------
| ftp.replication | FTP | ftp | fs.ftp.FTPFileSystem |
-----------------------------------------------------------------------------------------------
| s3.replication | S3 (block based) | s3 | fs.s3.S3FileSystem |
-----------------------------------------------------------------------------------------------
| s3native.replication | S3 (native) | s3n | fs.s3native.NativeS3FileSystem |
-----------------------------------------------------------------------------------------------
如果 fs.defaultFS
中定义的文件系统方案是 hdfs://
,那么将永远不会使用 HDFS 以外的复制属性。
关于hadoop - dfs.replication提供复制因子,file.replication提供什么,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43306567/