Java 和 HTTP 请求的新内容。
为什么这个问题不是重复的:我没有使用 AWS SDK 来生成任何预签名的 URL。我从外部 API 获取它。
这是我想要完成的:
第 1 步:读取文件的源 S3 存储桶(目前为 .xlsx
)
第 2 步:通过将此文件转换为 InputStreamReader 来解析此文件(我在这里需要帮助)
第 3 步:通过将 InputStreamReader 的内容传输到 OutputStreamWriter,在我已经从外部团队获得的预签名 S3 URL 上执行此文件的 HTTP PUT。该文件必须位于目标 S3 存储桶中,就像通过拖放手动上传文件一样。 (这里也需要帮助)
这是我尝试过的:
第 1 步:读取文件的 S3 存储桶
public class LambdaMain implements RequestHandler<S3Event, String> {
@Override
public String handleRequest(final S3Event event, final Context context) {
System.out.println("Create object was called on the S3 bucket");
S3EventNotification.S3EventNotificationRecord record = event.getRecords().get(0);
String srcBucket = record.getS3().getBucket().getName();
String srcKey = record.getS3().getObject().getUrlDecodedKey();
AmazonS3 s3Client = AmazonS3ClientBuilder.standard()
.withCredentials(DefaultAWSCredentialsProviderChain.getInstance())
.build();
S3Object s3Object = s3Client.getObject(new GetObjectRequest(
srcBucket, srcKey));
String presignedS3Url = //Assume that I have this by making an external API call
InputStreamReader inputStreamReader = parseFileFromS3(s3Object); #Step 2
int responseCode = putContentIntoS3URL(inputStreamReader, presignedS3Url); #Step 3
}
第 2 步:将文件解析为 InputStreamReader
以将其复制到 OutputStreamWriter
:
private InputStreamReader parseFileFromS3(S3Object s3Object) {
return new InputStreamReader(s3Object.getObjectContent(), StandardCharsets.UTF_8);
}
第 3 步:通过将内容从 InputStreamReader
复制到 OutputStreamWriter
进行 HTTP PUT 调用:
private int putContentIntoS3URL(InputStreamReader inputStreamReader, String presignedS3Url) {
URL url = null;
try {
url = new URL(presignedS3Url);
} catch (MalformedURLException e) {
e.printStackTrace();
}
HttpURLConnection httpCon = null;
try {
assert url != null;
httpCon = (HttpURLConnection) url.openConnection();
} catch (IOException e) {
e.printStackTrace();
}
httpCon.setDoOutput(true);
try {
httpCon.setRequestMethod("PUT");
} catch (ProtocolException e) {
e.printStackTrace();
}
OutputStreamWriter outputStreamWriter = null;
try {
outputStreamWriter = new OutputStreamWriter(
httpCon.getOutputStream());
} catch (IOException e) {
e.printStackTrace();
}
try {
IOUtils.copy(inputStreamReader, outputStreamWriter);
} catch (IOException e) {
e.printStackTrace();
}
try {
outputStreamWriter.close();
} catch (IOException e) {
e.printStackTrace();
}
try {
httpCon.getInputStream();
} catch (IOException e) {
e.printStackTrace();
}
int responseCode = 0;
try {
responseCode = httpCon.getResponseCode();
} catch (IOException e) {
e.printStackTrace();
}
return responseCode;
}
中间方法的问题是,当我通过 S3 插入触发器读取 .xlsx
文件并将 PUT 放入 URL 时,当我下载上传的文件时 - 它会以一些乱码的形式下载。
当我尝试读取 .png
文件并 PUT 到 URL 时,当我下载上传的文件时 - 它被下载为带有一些乱码的文本文件(我确实看到了 PNG 这个词虽然它)
感觉我在以下方面犯了错误:
错误地创建了
OutputStreamWriter
,因为我不明白如何通过 HTTP 请求发送文件假设每种文件类型都可以用通用的方式处理。
未在 HTTP 请求中设置
content-type
期望 S3 在 PUT 操作后神奇地理解我的文件类型
我想知道我的上述 4 个假设是否正确。
目的是,我正确地对文件数据执行 PUT,以便它与正确的文件类型/扩展名一起位于 S3 存储桶中。我希望我的努力值得获得一些帮助。我已经对 HTTP PUT 和文件/IO 进行了大量搜索,但我无法针对我的用例将它们链接在一起,因为我先执行文件 I/O,然后执行 HTTP PUT。
更新 1:
我添加了 setRequestProperty("Content-Type", "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet")
,但该文件不在 S3 存储桶中文件扩展名。它只是作为一个对象坐在那里。
更新 2:
我认为这也与 setContentDisposition()
header 有关,尽管我不确定如何为 Excel 文件设置这些 header 。
更新 3:
这可能只与预签名 S3 URL 本身如何出售给我们有关。如问题中所述,我说过我们从其他团队获得了预签名 S3 URL。这个问题本身有多个部分需要回答。
Does the default Presigned S3 URL ALLOW clients to set the
content-type
andcontent-disposition
in the HTTP header?: 我设置了另一个这里有一个单独的问题,因为它还不清楚:Can a client set file name and extension programmatically when he PUTs file content to a presigned S3 URL that the service vends out?如果上述问题的答案是 TRUE,那么我们必须研究如何设置文件内容并将其写入
OutputStream
最佳答案
您正在使用 InputStreamReader 和 OutputStreamWriter,它们都是字节流和字符流之间的桥梁。但是,您将这些与字节数据一起使用,这意味着您首先将字节转换为字符,然后再转换回字节。由于您的数据不是字符数据,这种转换可能会解释为什么结果会出现乱码。
我开始尝试摆脱读取器和写入器,而是直接使用 InputStream(您已经从 s3Object.getObjectContent() 获得)和 OutputStream(您从 httpCon.getOutputStream() 获得)。 IOUtils.copy 也应该支持这个。
另请注意,当您构建 InputStreamReader 时,您将 StandardCharsets.UTF_8 设置为要使用的字符集,但当您构建 OutputStreamWriter 时,您没有设置字符集。如果默认字符集不是 UTF-8,这种转换也可能会导致乱码。
关于java - 使用 Java 从 S3 存储桶和 HTTP PUT 文件以模拟实际文件上传的方式读取文件到另一个存储桶的预签名 AWS S3 URL,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61814582/