apache-kafka - 是否可以为 Google Pub/Sub 主题定义架构,例如在 Kafka 中使用 AVRO?

标签 apache-kafka message-queue avro google-cloud-pubsub

据我所知,我们可以在 Kafka 上定义 AVRO 模式,使用该模式定义的主题将只接受与该模式匹配的数据。在接受队列之前验证数据结构非常有用。

Google Pub/Sub 中有类似的东西吗?

最佳答案

Kafka 本身并没有验证模式,因此除了一对字节数组和一些元数据之外,主题本身并没有模式。序列化程序是生产客户端的一部分,它在数据到达主题之前执行验证。同样在 PubSub 中,归根结底,它只是存储/发送 byte[]数据。

因此,理论上,在通过 PubSub 移动的数据的两端使用类似于 Confluent Avro Schema Registry 的东西是完全可行的。 Google 不提供这样的功能,AFAIK,因此您需要重新创建可以执行 Avro 兼容性检查的所述服务,并在该服务的客户端周围绑定(bind)一个 PubSub 序列化+生产者客户端。例如,您可以首先将 Registry 本身作为 GKE 中的容器运行。

可能想查看Avro message for Google Cloud Pub-Sub?

关于apache-kafka - 是否可以为 Google Pub/Sub 主题定义架构,例如在 Kafka 中使用 AVRO?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53200289/

相关文章:

PHP 扩展在 Ubuntu 中激活

linux - 使用 POSIX 消息队列进行进程内通信

go - RabbitMQ: d.Ack() 关闭 channel

java - KafkaAvroSerializer 用于在没有 schema.registry.url 的情况下序列化 Avro

oracle11g - 用于 Oracle 数据库源的 Kafka 连接器

java - 使用 Python 将 json 作为字节数组发送到 kafka

使用 Avro 工具将 JSON 转换为 Avro 后,java.io.IOException 不是数据文件

c# - Avro .Net Serializer 忽略属性

node.js - consumer 上的 node-kafka pause() 方法。任何工作版本?

c - 在信号量中排队 - 甚至可能吗?