mysql - 从 MYSQL 迁移到 Elasticsearch 的最佳方式是什么?

标签 mysql elasticsearch migration logstash

我要将 MYSQL 日志(数百万条记录)迁移到 ELK,我想知道最好的方法是什么。

我应该只为所有记录(sql 数据库)创建一个索引还是应该为每个数据库创建不同的索引?

或者如果有更好的方法,您能建议一下吗?

顺便说一句,我是 ELK 的新手,论坛不是很有帮助..抱歉。

我已经尝试过迁移至少包含 1000 条记录的单个数据库并且成功了。

最佳答案

迁移也支持基于查询的结果的数据的一种方法是在 Logstash 中使用 JDBC 输入插件。 您选择迁移到的索引架构取决于您正在查看的用例类型/您计划进行的分析类型。直接迁移可能无济于事,因为 Elasticsearch 是索引的和非关系的,而不是 MySQL。在将数据推送到 Elasticsearch 之前,您可能希望对数据进行反规范化。

关于mysql - 从 MYSQL 迁移到 Elasticsearch 的最佳方式是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55412022/

相关文章:

php - 每周从 mysql 数据库收集特定数据并创建统计数据

elasticsearch - 忽略聚合查询中的 “match”子句

ruby-on-rails - 在 Rails 迁移中将一列更新为另一列的值

asp.net - 您是否计划从 ASP.Net Web Forms 迁移到 ASP.Net MVC?

django - 为什么我无法通过 'docker-compose run web' 命令运行 django 迁移?

php - sql查询只输入一条记录而不是多条记录?

mysql - MySQL 需要配置文件吗?

MySQL错误: "Foreign key constraint is incorrectly formed"

php - Elasticsearch:避免在结果集中返回 “sort”值

具有多个 Elasticsearch 集群的 Spring Boot 启动速度非常慢