我需要从 Amazon S3 存储桶读取一个大型 (>15mb) 文件(例如 sample.csv
)。然后,我需要处理 sample.csv
中存在的数据,并将其继续写入 S3 存储桶中的另一个目录。我打算使用 AWS Lambda 函数来运行我的 java 代码。
作为第一步,我开发了在本地系统上运行的 Java 代码。 java 代码从 S3 存储桶读取 sample.csv
文件,我使用 put
方法将数据写回到 S3 存储桶。但我发现只有最后一行被处理并放回。
Region clientRegion = Region.Myregion;
AwsBasicCredentials awsCreds = AwsBasicCredentials.create("myAccessId","mySecretKey");
S3Client s3Client = S3Client.builder().region(clientRegion).credentialsProvider(StaticCredentialsProvider.create(awsCreds)).build();
ResponseInputStream<GetObjectResponse> s3objectResponse = s3Client.getObject(GetObjectRequest.builder().bucket(bucketName).key("Input/sample.csv").build());
BufferedReader reader = new BufferedReader(new InputStreamReader(s3objectResponse));
String line = null;
while ((line = reader.readLine()) != null) {
s3Client.putObject(PutObjectRequest.builder().bucket(bucketName).key("Test/Testout.csv").build(),RequestBody.fromString(line));
}
示例:sample.csv 包含
1,sam,21,java,beginner;
2,tom,28,python,practitioner;
3,john,35,c#,expert.
我的输出应该是
1,mas,XX,java,beginner;
2,mot,XX,python,practitioner;
3,nhoj,XX,c#,expert.
但是Testout.csv
中只写入了3,nhoj,XX,c#,expert
。
最佳答案
putObject()
方法创建一个 Amazon S3 对象。
无法追加或修改 S3 对象,因此每次 while
循环执行时,它正在创建一个新的 Amazon S3 对象。
相反,我建议:
- 下载源文件从 Amazon S3 到本地磁盘(使用
GetObject()
和destinationFile
到 download 到磁盘) - 处理文件并输出到本地文件
- 上传输出文件到 Amazon S3 存储桶 ( method )
这将 AWS 代码与处理代码分开,这应该更容易维护。
关于java - 读取和写入 Amazon s3 存储桶中的文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56556470/