我正在创建数据摄取:
MySQL --> Kafka --> Logstash --> Elasticsearch --> Kibana
我能够将数据从 MySQL 传输到 Kibana，但在处理 MySQL 表中的“日期”列时遇到问题。
日期列在 Kafka 主题和 ES 文档中显示为 EPOCH 日期。
我们可以在 Elasticsearch/Logstash 部分将其转换为日期格式“yyyy-mm-dd”吗？
最佳答案
要直接回答您的问题:使用 Elasticsearch 动态模板将日期字段定义为 date，然后 Elasticsearch 将正确解释纪元值。
您知道您根本不需要 Logstash 吗？您可以仅使用 Kafka Connect 的 Elasticsearch 接收器。你可以得到这个separately ，或作为 Confluent Platform 的一部分.
您会想要关注我在这里写的这个博客系列，它构建了这个管道(MySQL -> Kafka -> Elasticsearch):https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-1/
关于MySQL Kafka ELK 堆栈日期问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/45684084/