apache-kafka - AWS MSK 与 Confluent Schema Registry 和 Confluent Kafka 连接如何推荐一起使用?

标签 apache-kafka confluent-platform confluent-schema-registry aws-msk confluent-cloud

我们计划将 AWS MSK 服务用于 Managed Kafka 和 Schema Registry 以及来自 Confluent 的 Kafka Connect 服务来运行我们的连接器(Elasticsearch Sink Connector)。我们计划在 EC2 中运行架构注册表和连接器。
根据 Confluent 团队的说法,如果我们使用 MSK for Kafka,他们将无法正式支持 Confluent Schema Registry 和 Kafka Connect。
所以,有谁可以分享他们的经验吗?喜欢
Anybuddy 是否在生产环境中同时使用了 MSK 和 Confluent 服务的组合?
使用这种组合有什么风险吗?
是否推荐使用这种组合?
如果我们在连接器方面遇到任何问题,Confluent 社区将如何支持?
还有其他建议、意见或替代方案吗?
我们已经拥有 Confluent Corporate Platform 许可证,但我们想要托管 Kafka 服务,这就是我们选择 AWS MKS 的原因,因为根据我们的分析,它比 Confluent Cloud 更具成本效益?
请提前分享您的想法和感谢。
谢谢

最佳答案

客观地回答你的问题这是可行的,但这取决于你的主要痛苦在哪里。
从许可的角度来看,没有什么会强制您订阅 Confluent 只是为了使用 Kafka Connect 或 Schema Registry,因为它们分别基于 Apache 许可证 2.0 和 Confluent 社区许可证。
从技术角度来看,您可以在 EC2 上同时运行 Kafka Connect 和 Schema Registry;只要它们与 MSK 集群在同一个 VPC 中运行,它们就会完美运行。
从成本的角度来看,您必须评估由您和/或您的团队管理 Kafka Connect 和 Schema Registry 的成本。不仅要考虑安装和设置阶段,还要考虑管理和发展阶段。软件可能没有任何成本,但操作这些组件的努力可以转化为成本。

How is Confluent community support if we will face any issue with Connectors?


无论您是在 Apache Kafka 用户组还是 Confluent 在 Slack 拥有的社区中寻求帮助,Kafka 社区通常都非常有用。当然,这完全是为了尽力而为,您不能依靠他们来获得支持。可能需要几天时间,一些好心的撒玛利亚人才会决定帮助您。这也转化为成本:降低和/或等待解决方案的成本是多少?
我不再是 Confluent 的员工,因此我什至不会试图说服您从他们那里购买。但是您应该评估成本的这一组成部分,并检查使用 Confluent Cloud 是否不会为您提供更具成本效益的解决方案,因为它包括 Kafka、Kafka Connect 和 Schema Registry 的托管版本。根据我的经验,Confluent Cloud 上的托管 Kafka 并没有那么昂贵,托管模式注册表是“免费的”,但是使用托管连接器的成本可能非常高,而且根据您在托管中配置的任务数量,情况可能会更糟连接器。这是您应该注意的唯一问题。

关于apache-kafka - AWS MSK 与 Confluent Schema Registry 和 Confluent Kafka 连接如何推荐一起使用?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64568150/

相关文章:

docker - 为什么我应该将docker image “confluentinc/kafka”用于kafka集群?

apache-kafka - Confluent Cloud 中的消息值未正确解码

apache-kafka - 带有 kafka-avro-console-consumer 的未知魔法字节

java - 在从 Kafka 代理获取数据之前,消费者如何检查架构注册表是否可访问?

apache-spark - 如何将基本身份验证传递给 Confluent Schema Registry?

java - 如何从 Kafka 主题检索最新消息

java - 如何跳过 KafkaStreams API 中的 Avro 序列化异常?

java - 连接到在 Docker 中运行的 Kafka

java - 具有 Avro 记录的 Kafka Streams TopologyTestDriver 的架构注册问题

apache-kafka - Kafka Connect 与 Amazon MSK