elasticsearch - 从Kafka流到Elasticsearch时的主题映射

标签 elasticsearch apache-kafka apache-kafka-connect confluent-platform

当我转移或流传输两个和三个表时,我可以轻松地在Elasticsearch中进行映射,但可以将主题自动映射到索引

我已经通过手动映射topic.index.map=topic1:index1,topic2:index2等将数据从PostgreSQL流式传输到ES。

我可以自动映射生产者发送的任何主题,然后消费者自动在ES连接器中消费吗?

最佳答案

默认情况下,主题直接映射到同名索引。

如果需要“更好”的控件,则可以在RegexRouter属性中使用transforms
引用文档

topic.index.map

This option is now deprecated. A future version may remove it completely. Please use single message transforms, such as RegexRouter, to map topic names to index names



如果您无法为连接器中的每个主题捕获单个正则表达式,请使用其他模式运行更多连接器

关于elasticsearch - 从Kafka流到Elasticsearch时的主题映射,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53599510/

相关文章:

Elasticsearch,怎么接词接ngram呢?

Elasticsearch 重新索引现有类型映射中的项目

java - 具有 Kerberos 身份验证的 PCF Kafka - 在本地运行但在 PCF 中失败

jdbc - 卡夫卡连接转换: Extract a Long value from json field and insert as key

apache-kafka - Apache kafka 生产集群设置问题

java - Java 客户端尝试连接到 Elastic Search 时出错

elasticsearch - 验证失败 : 1: mapping type is missing; in elasticsearch

apache-kafka - 弗林克 : Window does not process data at end of stream

apache-kafka - 测试 KafkaStreams 应用程序

apache-kafka-connect - 重新启动 kafka 连接接收器和源连接器以从头开始读取