elasticsearch 获取实时数据的最佳方法(推文)

Question

基本上，我的应用程序有两种类型的流量。

实时推文注入(inject)(最多可延迟 1 分钟)

来自多个用户的推文搜索

我有 2 个问题

将这些数据提取到 elasticsearch 的最佳方法是什么

如果我一次将推文 1 写入实时弹性索引会发生什么？它会影响“并行搜索请求”吗？

Answer 1

索引和搜索是 Elasticsearch 中的两个主要操作，它们有自己的专用线程池来处理这些请求。

来回答你的问题

1.将这些数据摄取到elasticsearch的最佳方法是什么？

您不应一一发送这些请求，而应使用 bulk API摄取数据，这对于此类用例是推荐的并且性能更高。批量操作的总大小在批量 API 中也很重要，而不是操作数。 Dzone博客对此很有用。

2.如果我一次写一条推文到实时弹性索引会发生什么？它会影响“并行搜索请求”吗？

如前所述，它们有自己的线程池，如果它们被消耗，您将在各自的操作中看到问题，但您可以通过多种方式调整索引和搜索操作。