elasticsearch - ES 创建数据传输

Question

我想将数据从 ES (1.0.0) 迁移到 Crate (当前可用版本 0.26.0) 以检查它，我该怎么做？
我应该如何处理索引，ES索引是否适合Crate？

人们可能会想到几种流程:

平滑过渡，例如当我使用 ES + Crate 节点进行混合集群时，至少有一个副本，然后一一杀死 ES 节点。

我们正在通过“elasticsearch-cloud-aws”插件进行备份是否可以“恢复”这些快照，但是有 Crate 节点而不是原生 ES 节点？

任何其他变体可以传输大量数据，比如 1TB？

谢谢。

Answer 1

Crate 从 0.24.0 开始使用 ES 1.0.1，因此 lucene 索引是兼容的。

这意味着您描述的“平滑过渡”流程应该可以工作。 (但是我
还没有真正尝试过)。

但只要集群中有非 crate 节点，SQL 查询就会在
crate 不起作用，因为常规 ES 节点不知道如何处理
要求。

您可能应该注意的其他一些事情可能会导致麻烦:

Crate 在 0.25.0 中引入了显式数组类型。这意味着如果你
用例如创建一个新表create table test (id integer ...)标识字段
将使用一段时间添加到 lucene 的新 doc_values 字段格式
前。如果要使用数组，则必须使用 SQL 创建表(使用
类型定义如 array(integer) )。

如果您尝试查询使用 elasticsearch 插入的数据，您可能会得到
如果字段包含数组但
缺少架构定义中的声明。

希望这个对你有帮助。不幸的是，我不能给你一个关于
elasticsearch-cloud-aws 插件，但也许其他人可以。