google-cloud-platform - 我们可以将 webhook 与 Google PubSub 连接吗?

标签 google-cloud-platform google-cloud-dataflow apache-beam google-cloud-pubsub

我正在尝试将数据从外部 webhook/RSS 源流式传输到我的数据流中。我正在考虑使用发布/订阅来接收消息,然后在数据流中处理它。但是,我找不到这样做的选项。

除了设置监听输入流的接收者队列服务器之外,是否有更好的方法在 GCP 作为托管服务中执行此操作?

最佳答案

选择 PubSub 是正确的!要发布消息,您有 2 种解决方案:

  • 您的 Webhook 可以使用服务帐户启动 OAuth 身份验证,因此您可以将 access_token 添加到 PubSub 的请求 header 中,以便直接发布消息

  • 或者(因为我从未见过能够生成访问 token 的 Webhook!),您必须设置一个 Web 服务器来接受您的 Webhook 请求。该网络服务器只是捕获 HTTP 调用并将消息发布到 PubSub。您可以使用 Cloud Function、Cloud Run 或 App Engine。

如果你有很多并发消息,我建议你使用Cloud Run,它会更便宜。我wrote an article on this

关于google-cloud-platform - 我们可以将 webhook 与 Google PubSub 连接吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61577725/

相关文章:

python - App Engine 服务的自定义服务帐户

google-cloud-dataflow - 如何查看和审核创建/取消作业等 Dataflow 操作?

java - 如何从 Google App Engine 应用程序运行 Google Dataflow 管道?

java - Apache Beam 代码中插入语法错误

elasticsearch - 如何为Google数据流实例分配IP范围?

spring-boot - 例如,是否有第三方服务可以进行 api key 管理而不要求用户在 GCP 上创建帐户?

google-cloud-platform - Terraform Bigquery 创建表替换表而不是编辑

java - Apache Beam - BigQuery - Google Pub/Sub Batch

google-apps-script - 如何使用服务帐户从应用程序脚本访问云数据存储

java - 一个数据流作业内的并行管道