我的 hadoop 作业在 HDFS 上生成大量文件，我想编写一个单独的线程将这些文件从 HDFS 复制到 S3。
谁能告诉我处理它的任何 Java API。
谢谢
最佳答案
“对 S3 block 文件系统的支持已添加到 Hadoop 0.11.0 中的 ${HADOOP_HOME}/bin/hadoop distcp 工具中(参见 HADOOP-862)。distcp 工具设置 MapReduce 作业来运行副本。使用distcp，一个成员众多的集群，可以快速复制大量数据。map任务的数量是通过统计source中的文件数来计算的:即每个map任务负责复制一个文件。source和target可以指不同的文件系统类型。例如，源可能指的是本地文件系统或以 S3 为目标的 hdfs。”
在此处查看运行批量复制进出 S3 http://wiki.apache.org/hadoop/AmazonS3
关于amazon-s3 - 如何以编程方式有效地将文件从 HDFS 复制到 S3，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/3711666/