mongodb - 针对不同的排序过滤条件应该创建哪些MongoDB索引来提高性能？

Question

我有 MongoDB 集合，其中包含约 100,000,000 条记录。

在网站上，用户可以使用“细化搜索”功能搜索这些记录，他们可以在其中按多个条件进行筛选:

• 按国家、州、地区划分；
• 按价格范围；
• 按行业划分；

此外，他们还可以查看排序的搜索结果:

• 按标题(升序/降序)
• 按价格(升序/降序)
• 按 bestMatch 字段。

我需要创建索引以避免对上述任何组合进行全面扫描(因为用户使用大部分组合)。正在关注Equality-Sort-Range rule为了创建索引，我必须创建很多索引:

所有过滤器组合×所有排序×所有范围过滤器，如下所示:

country_title
state_title
region_title
title_price
industry_title
country_title_price
country_industry_title
state_industry_title
...
country_price
state_price
region_price
...
country_bestMatch
state_bestMatch
region_bestMatch
...

实际上，我有更多的标准(包括相等性和范围)和更多的排序。例如，我有多个价格字段，用户可以按任何价格排序，因此我必须为每个价格字段创建所有过滤索引，以防用户按该价格排序。

我们使用 MongoDB 4.0.9，目前只有一台服务器。

在我进行排序之前，它更容易，至少我可以有一个像 country_state_region 这样的复合索引，并且在搜索区域时始终在查询中包含国家和州。但是最后有了排序字段，我不能再这样做了——我必须为所有排序组合的位置(国家/州/地区)创建所有不同的索引。

此外，并非所有产品都有价格，所以我不能只按 price 字段排序。相反，我必须创建两个索引:{hasPrice: -1, price: 1} 和 {hasPrice: -1, price: -1}(这里是 hasPrice为 -1，无论价格排序方向如何，hasPrice=true 的记录始终排在第一位)。

目前，我使用 NodeJS 代码生成类似于以下内容的索引(这是简化的示例):

for (const filterFields of getAllCombinationsOf(['country', 'state', 'region', 'industry', 'price'])) {
    for (const sortingField of ['name', 'price', 'bestMatch']) {
        const index = {
            ...(_.fromPairs(filterFields.map(x => [x, 1]))),
            [sortingField]: 1
        };
        await collection.ensureIndex(index);
    }
}

因此，上面的代码生成了 90 多个索引。而在我的实际任务中，这个数字更多。

有没有可能在不降低查询性能的情况下以某种方式减少索引的数量？

谢谢!

Answer 1

首先，在 MongoDB 中(引用:https://docs.mongodb.com/manual/reference/limits/)，单个集合最多只能有 64 个索引。此外，您永远不应该创建 64 个索引，除非没有写入或非常少。

是否有可能在不降低查询性能的情况下以某种方式减少索引数量？ 在不牺牲功能和查询性能的情况下，您不能。

您可以做的几件事:(假设您使用分页显示结果)

1. 在每一列上创建一个单独的(非复合的)索引，让 MongoDB 执行计划程序根据它拥有的元信息(基数、数字等)选择索引。当然，性能会受到影响。

2. 根据您的判断和一些分析，仅为最常使用的组合创建复合索引。

3. 最重要 - 在创建复合索引时，您可以放弃对列进行排序。假设您正在根据行业进行过滤并根据价格进行排序。如果您有复合指数(行业、价格)，那么一切都会正常进行。但是，如果您只有行业索引(假设分页结果)，那么前几页的查询速度会非常快，但随着您进入下一页，查询速度会不断下降。通常，用户不会在 5-6 页后导航。此外，您必须记住对于较大的跳过值，查询将开始失败，因为排序的 32mb 内存限制。这可以通过启用 allowDiskUse 的聚合(而不是查询)来克服。

4. 检查键集分页(也称为搜索方法)是否可以在您的用例中使用。