apache-kafka - 将 Confluence Schema Registry 与 MSK 结合使用

Question

是否可以将 Confluence Schema Registry 与 AWS MSK 集成？ 如果您以前做过此操作，能否提供一些您遵循的实现此操作的指示/博客？

Answer 1

这是可能的。我的设置使用 ec2 和 docker。

1. 如果您使用基于 IAM 的身份验证，请下载 IAM 身份验证 jar

mkdir -p /usr/share/java/aws
wget -P /usr/share/java/aws https://github.com/aws/aws-msk-iam-auth/releases/download/v1.1.1/aws-msk-iam-auth-1.1.1-all.jar
chmod -R 444 /usr/share/java/aws

使用 Confluence 官方 Docker 镜像进行架构注册表

...

  schema-registry:
    image: confluentinc/cp-schema-registry:5.4.6-1-ubi8
    hostname: schema-registry
    container_name: schema-registry
    ports:
      - "8081:8081"
    volumes:
      - /usr/share/java/aws/aws-msk-iam-auth-1.1.1-all.jar:/usr/share/java/cp-base-new/aws-msk-iam-auth-1.1.1-all.jar
      - /usr/share/java/aws/aws-msk-iam-auth-1.1.1-all.jar:/usr/share/java/rest-utils/aws-msk-iam-auth-1.1.1-all.jar
    environment: # https://docs.confluent.io/platform/current/schema-registry/installation/config.html#schemaregistry-config
      SCHEMA_REGISTRY_LISTENERS: http://0.0.0.0:8081
      SCHEMA_REGISTRY_HOST_NAME: "${HOSTNAME}" # 
      SCHEMA_REGISTRY_KAFKASTORE_BOOTSTRAP_SERVERS: "${BOOTSTRAP_BROKERS_SASL_IAM}"
      SCHEMA_REGISTRY_KAFKASTORE_SECURITY_PROTOCOL: "SASL_SSL"
      SCHEMA_REGISTRY_KAFKASTORE_SASL_MECHANISM: "AWS_MSK_IAM"
      SCHEMA_REGISTRY_KAFKASTORE_SASL_JAAS_CONFIG: "software.amazon.msk.auth.iam.IAMLoginModule required awsDebugCreds=true;"
      SCHEMA_REGISTRY_KAFKASTORE_SASL_CLIENT_CALLBACK_HANDLER_CLASS: "software.amazon.msk.auth.iam.IAMClientCallbackHandler"

...

• HOSTNAME 是您的 ec2 计算机 DNS 名称或 IP，例如 ip-10-0-0-84.ec2.internal
• BOOTSTRAP_BROKERS_SASL_IAM 是逗号分隔的 host1:port,host2:port 网址。获取端口信息see this

如果您使用 PLAINTEXT 或 SSL 身份验证，则最后 4 个环境变量会更改。而且您不必下载 iam auth jar

使用这些属性配置源连接器或接收器连接器

...
key.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false
value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schemas.enable=true
value.converter.schema.registry.url=http://ip-10-0-0-84.ec2.internal:8081
value.converter.enhanced.avro.schema.support=true

就是这样。
请在 MSK 集群的 EC2 实例安全组中打开 8081 端口

资源:

• https://github.com/maikelpenz/kafka-aws-deployment
• https://maikelpenz.medium.com/building-a-kafka-playground-on-aws-part-3-streaming-database-events-and-querying-with-ksql-5f23978a0080

---

我尝试过的替代选项是 AWS Glue Schema registry 但我们必须使用 KSQL，而 KSQL 没有第三方架构注册表集成或自定义 SerDe Github issue