java - 将 Couchbase 复制到 ElasticSearch(带多个索引)

标签 java elasticsearch couchbase elasticsearch-plugin xdcr

目前我们正在使用 Couchbase 和 ElasticSearch(2.x),并使用 elasticsearch-transport-couchbase 成功地将数据从 CB 复制到 ES插件。

升级到 ES 5.6.4 时出现问题。到目前为止,我们在 ES 中使用单个索引,并且由于 ElasticSearch doesn't recommend this approach anymore我们现在正尝试在 ES 中创建多个索引(每种类型的索引) 这意味着我们需要一种方法将数据从 CB(单个桶)复制到 ES(多个索引)。

解决这个问题的最佳方法是什么? 可能的解决方案:

  1. 继续使用 elasticsearch-transport-couchbase 插件,但随后我们将不得不创建大量(~150)个 XDCR 复制,每种类型 1 个复制。我怀疑这会扩展..
  2. 使用 Spark 或 Kafka 编写我们自己的解决方案(它们都不在技术堆栈上,因此实现可能需要时间,因此这不是最有利的解决方案)

如有任何帮助,我们将不胜感激。

最佳答案

Couchbase Elasticsearch Connector 的第 4 版支持新的“index-per-type”模型(以及其他特性,包括支持 ES 6、安全连接和复制检查点管理工具)。如果您想尝试一下,您的反馈将非常宝贵。

免责声明:我是开发 Elasticsearch 连接器的 Couchbase 员工。

关于java - 将 Couchbase 复制到 ElasticSearch(带多个索引),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48041274/

相关文章:

java - 如何在 nuxeo IDE 中创建事件监听器

java - 两个android设备如何通信?

java - OrientDB,linux,java api,无法,打开,存储

elasticsearch - 如何在AWS AppSync中使用ElasticSearch解析器更新数据

Elasticsearch 无痛脚本不使用 if 条件替换嵌套对象字段值

c# - GetHashCode的替代方法并在.Select中应用

java - 使用jeeunit时如何在每次测试后重置数据库?

c# - 沙发底座上的 session 状态

javascript - 为什么couchdb的reduce是这样实现的呢?

node.js - 如何使用 Couchbase 执行更新插入?