hadoop - AWS 访问 key ID 在 hadoop fs -cp 命令上失败

Question

我试图运行 hadoop fs -cp 命令但收到以下错误消息:

-cp:AWS 访问 key ID 和 secret 访问 key 必须指定为 s3 URL 的用户名或密码(分别)，或者通过设置 fs.s3.awsAccessKeyId 或 fs.s3.awsSecretAccessKey 属性(分别)

我是 hadoop 和 s3 的新手，所以任何人都可以就我应该做什么提供建议吗？

谢谢!

Answer 1

请refer .

去

1. cd ${HADOOP_HOME}/conf/hadoop-site.xml 并添加/更新

   <property>
   <name>fs.s3.awsAccessKeyId</name>
   <value>Your AWS ACCESS KEY</value>
   </property>
   
   <property>
   <name>fs.s3.awsSecretAccessKey</name>
   <value>Your AWS Secret Access Key</value>
   </property>