elasticsearch - Elastic Search - 它是适合分析团队的数据库吗？

Question

我是一个分析团队的成员，该团队最近将其数据仓库迁移到了 Elastic Search 中。 DW 通过 Dremio 访问。

但是，我正在重新考虑 Elastic Search 是否适合执行大量日常分析的分析团队的数据库。我更希望我们将 DW 保存在 BigQuery/Snowflake/Redshift 之一中，并使用“dbt”工具转换数据并将其写回数据库。

从 Elastic Search 读取数据后，我找不到类似“dbt”的工具来执行快速数据转换，而且 Dremio 还不够成熟。我想征求您对 Elastic Search 的看法，以及它是否是适合日常分析的数据库。

感谢您的回复。

编辑: 我在一家在线零售商工作。我们的数据在任何意义上都不是“大数据”。每天大约有几千个订单。我们的大部分工作是回应来自各个团队/部门的询问。其中一些问题超出了简单的查询范围。我们必须构建定制的数据集市，其中涉及多个步骤。因此，我们需要一种工具，使我们能够快速转换数据并将结果集放入数据库。一个这样的工具是“dbt”，但它不支持 Elastic Search。所以问题是是否有适合这项工作的工具，或者 Elastic Search 不适合我们的用例。

Answer 1

考虑到

Our data is not "big data" in any sense.

很可能 ElasticSearch 不是合适的选择。使用 ES 的唯一原因是大量类似搜索的查询对文本类型字段进行“包含”过滤，并且仅当数据集太大而无法通过 SQL 兼容的数据库快速处理这些查询时。

看起来 PostgreSQL 可以胜任这项工作。如果您正在寻找用于快速 OLAP 查询(聚合)的列式数据库，您可以查看开源 ClickHouse。

最后，Dremio 并不是唯一可以与 ElasticSearch(或 PostgreSQL、ClickHouse 等)配合使用的 BI 工具。一些 BI 工具允许您对维度/度量使用“无痛”脚本，并且您可以直接在 ES 查询中计算很多东西。