我们希望将 Cloudera Hadoop 集群中的 HDFS 数据备份到 Amazon S3。看起来我们可以使用 distcp 来实现这一点，但不清楚的是数据是否通过加密传输复制到 S3。
是否需要配置某些内容才能启用此功能？
最佳答案
我认为 S3 客户端加密在 Hadoop 中尚不可用。
看起来像S3 server side encryption (在 S3 端加密静态数据)可从 Hadoop 2.5.0 进行配置。
要启用它，请在 core-site.xml 中添加以下属性:
<property>
<name>fs.s3n.server-side-encryption-algorithm</name>
<value> AES256 </value>
<description>
Specify a server-side encryption algorithm for S3.
The default is NULL, and the only other currently allowable value is AES256.
</description>
</property>
有关 S3 服务器端加密的更多信息 Hadoop-10568 .
关于hadoop - 使用 distcp 将数据从 HDFS 安全地传输到 amazon S3，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28375771/