据我所知,我们可以在 Kafka 上定义 AVRO 模式,使用该模式定义的主题将只接受与该模式匹配的数据。在接受队列之前验证数据结构非常有用。
Google Pub/Sub 中有类似的东西吗?
最佳答案
Kafka 本身并没有验证模式,因此除了一对字节数组和一些元数据之外,主题本身并没有模式。序列化程序是生产客户端的一部分,它在数据到达主题之前执行验证。同样在 PubSub 中,归根结底,它只是存储/发送 byte[]
数据。
因此,理论上,在通过 PubSub 移动的数据的两端使用类似于 Confluent Avro Schema Registry 的东西是完全可行的。 Google 不提供这样的功能,AFAIK,因此您需要重新创建可以执行 Avro 兼容性检查的所述服务,并在该服务的客户端周围绑定(bind)一个 PubSub 序列化+生产者客户端。例如,您可以首先将 Registry 本身作为 GKE 中的容器运行。
可能想查看Avro message for Google Cloud Pub-Sub?
关于apache-kafka - 是否可以为 Google Pub/Sub 主题定义架构,例如在 Kafka 中使用 AVRO?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53200289/