elasticsearch - 融合的Elasticsearch接收器连接器索引名操作

标签 elasticsearch apache-kafka apache-kafka-connect confluent-platform

我仍然是kafka的新手,正在寻找以下问题的解决方案:
使用Kafka Connect SMT,可以操纵主题的一部分或其名称。
有没有办法从数据流中获取日期并从中建立索引名称?
例如:

{"transmitdate": "2020-03-20T14: 00: 00"} -> index name: foo-2020-03-20

谢谢。

最佳答案

所以我自己找到了答案。
连接器包中的MessageTimestampRouter非常适合该任务。

这里是一个链接:

https://docs.confluent.io/current/connect/transforms/messagetimestamprouter.html#messagetimestamprouter

关于elasticsearch - 融合的Elasticsearch接收器连接器索引名操作,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61231062/

相关文章:

python - 如何使用Python和 Elasticsearch 打印属于 "_source"一部分的单个字段?

Elasticsearch 部分更新脚本 : Clear array and replace with new values

c# 将类作为参数传递

postgresql - kafka-connect-jdbc 不从源中获取连续的时间戳

elasticsearch - GCP/Dataproc 上 Kafka、Spark、Elasticsearch 堆栈的吞吐量

apache-kafka - Apache Camel 卡夫卡 : how to set property "delivery.request.ms" on the Producer config

java - 无法从对象生成 avro 通用记录

apache-spark - Spark 流 : Kafka group id not permitted in Spark Structured Streaming

elasticsearch - 如何在Kafka连接器中正确连接Elastic Operator部署的Elasticsearch?

ssl - Kafka Connect 无法通过 SSL 读取 Kafka 主题