目前我们正在使用 Couchbase 和 ElasticSearch(2.x),并使用 elasticsearch-transport-couchbase 成功地将数据从 CB 复制到 ES插件。
升级到 ES 5.6.4 时出现问题。到目前为止,我们在 ES 中使用单个索引,并且由于 ElasticSearch doesn't recommend this approach anymore我们现在正尝试在 ES 中创建多个索引(每种类型的索引) 这意味着我们需要一种方法将数据从 CB(单个桶)复制到 ES(多个索引)。
解决这个问题的最佳方法是什么? 可能的解决方案:
- 继续使用 elasticsearch-transport-couchbase 插件,但随后我们将不得不创建大量(~150)个 XDCR 复制,每种类型 1 个复制。我怀疑这会扩展..
- 使用 Spark 或 Kafka 编写我们自己的解决方案(它们都不在技术堆栈上,因此实现可能需要时间,因此这不是最有利的解决方案)
如有任何帮助,我们将不胜感激。
最佳答案
Couchbase Elasticsearch Connector 的第 4 版支持新的“index-per-type”模型(以及其他特性,包括支持 ES 6、安全连接和复制检查点管理工具)。如果您想尝试一下,您的反馈将非常宝贵。
免责声明:我是开发 Elasticsearch 连接器的 Couchbase 员工。
关于java - 将 Couchbase 复制到 ElasticSearch(带多个索引),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48041274/