google-cloud-platform - 使用 Google DataFlow/Apache Beam 并行化图像处理或抓取任务是否有意义？

Question

我正在考虑将 Google DataFlow 作为运行涉及以下步骤的管道的选项:

从网络下载图像；

处理图像。

我喜欢 DataFlow 管理完成工作所需的 VM 的生命周期，所以我不需要自己启动或停止它们，但我遇到的所有示例都将它用于数据挖掘类任务。我想知道它是否是其他批处理任务(如图像处理和爬行)的可行选择。

Answer 1

此用例是 Dataflow/Beam 的可能应用。

如果您想以流式方式执行此操作，您可以让爬虫生成 URL 并将它们添加到 PubSub 或 Kafka 队列；并编写 Beam 管道以执行以下操作:

从 PubSub 阅读

在 ParDo 中下载网站内容

从另一个 ParDo* 中的网站解析图像 URL

再次使用 ParDo 下载每个图像并对其进行处理

将结果存储在 GCS、BigQuery 或其他中，具体取决于您希望从图像中获取哪些信息。

您可以对批处理作业执行相同操作，只需更改您从中读取 URL 的来源即可。

*解析这些图像 URL 后，您可能还想重新排列数据，以获得一些并行性。