elasticsearch - 如何从Kafka Connect在Elastic Search中创建多个索引

标签 elasticsearch apache-kafka apache-kafka-connect

我正在从AWS Aurora-> MSK-> Elasticsearch 中流式传输数据。
我想在 Elasticsearch 中创建索引的记录中有3列。
那么这可以在Kafka connect中完成吗?
因此,当kafka connect从Mysql获取记录时,是否可以将其放入 Elasticsearch 并在三列上创建Index?

最佳答案

您可以显式使用jdbc源的query配置选择这三列

您需要运行单独的连接器以创建单独的elasticsearch索引,或者可能尝试使用主题索引映射配置属性

关于elasticsearch - 如何从Kafka Connect在Elastic Search中创建多个索引,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59640956/

相关文章:

apache-kafka - 在 SinkTask 中完成 "commit offsets"后立即使用 Kafka Connect HOWTO "put"

apache-kafka - 从 Kafka 检索基于时间戳的数据

mysql - 在 Rails 上的现有 MySQL 数据库上实现 Elasticsearch

ruby-on-rails - 电子商务中的阿尔戈利亚与Elasticsearch

elasticsearch - 配置Elasticsearch群集-数据专用节点

apache-spark - 将单个 DStream 拆分为多个 Hive 表

azure - 从 PySpark 写入大型 DataFrame 到 Kafka 遇到超时

elasticsearch - Kafka 连接 ElasticSearch 接收器 - 使用 if-else block 来提取和转换不同主题的字段

apache-kafka - ElasticsearchSinkConnector 无法将数据反序列化为 Avro

elasticsearch - 如何按降序对kibana索引进行排序?