我正在尝试使用 Cloudera 的 Quickstart docker 容器来测试简单的 Hadoop/Hive 作业。我希望能够在 S3 中的数据上运行作业，但到目前为止我遇到了问题。
我已将以下属性添加到 core-site.xml、hive-site.xml、hdfs-site.xml。
<property>
<name>fs.s3.awsAccessKeyId</name>
<value>XXXXXX</value>
</property>
<property>
<name>fs.s3.awsSecretAccessKey</name>
<value>XXXXXX</value>
</property>
无论如何，在 Hive 中尝试创建指向 S3 位置的外部表时，我收到错误:
FAILED: SemanticException java.lang.IllegalArgumentException: AWS Access Key ID and Secret Access Key must be specified as the username or password (respectively) of a s3 URL, or by setting the fs.s3.awsAccessKeyId or fs.s3.awsSecretAccessKey properties (respectively).
最佳答案
我希望你现在已经解决了这个问题，但如果有人要引用此链接，它可能会有用
在所有 xml 文件中添加 Accesskey 和 secretAccesskey 之后，我们需要确保查询中给出的 s3 位置应该是“s3a://”，我们大多数人将位置设置为“s3://"
关于amazon-web-services - 设置 AWS 凭证 - Cloudera Quickstart Docker Container，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/39093492/