我的 Amazon S3 存储桶中有文件，我尝试使用 Azure 数据工厂中的复制事件将文件复制到 Azure Blob 容器。我在数据工厂管道上启用了一个每小时滚动窗口触发器，每小时都会到达 S3 存储桶。 ADF 管道不会复制正在 S3 存储桶上上传的文件。也无法在以后的触发器中跟踪文件。
Example:
Amazon S3 bucket
Filename: HealthData.tar.gz
Upload in S3 bucket start time: 2:39 PM
Size: 200 GB
Upload in S3 bucket end time: 3:45 PM (Appox)
ADF Trigger Time(hourly) : 2:30 PM (but not tracked anything)
ADF Trigger Time(hourly) : 3:30 PM (but not tracked anything)
这里的问题是 ADF 无法跟踪 HealthData.tar.gz 文件，因为它仍在 S3 存储桶中上传，并且没有复制到 Azure Blob 存储
ADF 时间与上传时间发生冲突。 请帮助我解决 Azure 数据工厂中的解决方案(允许在 ADF 中上传时读取文件)。提前致谢
最佳答案
根据您的示例，我认为该文件不会在下午 2 点复制，但在下午 3 点 ADF 应该能够将数据从 Amazon S3 复制到 Azure Blob Store。
您可以通过使用 ADF 中的“获取元数据”事件来查看截至上一小时、一天、一周等有哪些文件是新的。使用此列表(希望您维护的日志包含您已加载的文件) )您可以确定存在哪些尚未加载到 Azure Blob 的新文件。管道看起来像这样:
这些屏幕截图应该为您提供一个起点。如果您对代码细节感到困惑，请告诉我。您需要在从 S3 获取元数据中选择子项目级别。祝你好运!
关于azure - 如何在 Azure 数据工厂中触发时检查某些文件是否正在上传(允许在 ADF 中上传时读取文件)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/68287949/