hadoop - 使用 hadoop 从 S3 'requester pay' 存储桶下载数据时出错

标签 hadoop amazon-s3 jets3t

我正在使用带有命令 distcp 的 Hadoop 1.2.0 从 S3 的“请求者付费”存储桶下载数据,我有有效的 aws id 和 key ,但是,它出错了,如下所示。

org.jets3t.service.S3ServiceException: S3 GET failed for '/dataset' XML 错误消息: AccessDenied访问被拒绝4FDSDFS454DDWzToSESDFkzv+eiJBmRbqBkW0iWeOcSDFSD834SDFWE923UBzfMiyGXYXeX

我尝试了很多方法:将 jets3t 升级到最新版本,并按照这篇文章 (http://www.mail-archive.com/user@pig.apache.org/msg03395.html) 进行配置(但是,这不起作用)。

但是,没有一个有效。有谁如何解决这个问题?

最佳答案

您是否对尝试访问的文件夹/文件具有读取权限?

关于hadoop - 使用 hadoop 从 S3 'requester pay' 存储桶下载数据时出错,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19995724/

相关文章:

hadoop - hadoop-2.7.3 中的 yarn : yarn-default. xml 位置

hadoop - 强制映射器停止执行

hadoop - 收到错误消息:- map 中的键键入不匹配:预期的org.apache.hadoop.io.Text,收到的org.apache.hadoop.io.LongWritable

file-upload - 带有缩略图的 Meteor Amazon S3 图像上传

php - S3 文件管理框架 - PHP/MySQL

java - Java 中检查 S3 存储桶是否具有与通配符模式匹配的键的对象的方法

hadoop - 在此步骤中对所有节点该做什么?

javascript - 将文件直接从浏览器发送到 S3 但更改文件名

java - 用于测试的假 S3 服务

java - JetS3t更新内容\mime类型