MySql - 进一步查询优化SELECT WHERE IN

Question

我目前正在处理财务应用程序。具有 8 列的 MYSql 数据库。 100 万条记录。

INSERTS : 30 rows per minute.
UPDATES : 0.
SELECTS : A query that runs once every 200ms. Returns around 200,000 records for each execution.

选择查询如下:

SELECT COLUMNB, COLUMNC, COLUMND, COLUMNE FROM TABLE
WHERE COLUMNE IN('ABCD','EFGH','IJKL','MNOP')
ORDER BY COLUMNB DESC

我的响应时间如下:执行:0.903 秒获取:0.2 秒。

Total ~ 1.1 seconds

当我进行解释时，我得到以下信息:

id, select_type, table, partitions, type, possible_keys, key, key_len, ref, rows, filtered, Extra '1', 'SIMPLE', 'table', NULL, 'ALL', 'tbl_ColumnE_ColumnB,tbl_ColumnE', NULL, NULL, NULL, '1180834', '34.33', 'Using where; Using filesort'

INDEXES 已经激活:

1. tbl_ColumnE_ColumnB,
2. tbl_ColumnB_ColumnE,
3. tbl_ColumnE
4. tbl_ColumnB

因为这是一个基于金融股票市场的应用程序。我需要将总执行时间进一步缩短到接近 200 毫秒或尽可能短。有什么我可以改进的吗？

已经完成:

1. innodb_buffer_pool 从 8M 增加到 2000M(节省 30%)
2. 将 OR 运算符更改为 IN 运算符(之前是 OR。节省了 20%)

显示创建表:

CREATE TABLE `tbl` (
    `id` int(11) NOT NULL AUTO_INCREMENT, 
    `COLUMNB` timestamp NULL DEFAULT NULL, 
    `COLUMNC` decimal(20,10) DEFAULT NULL, 
    `COLUMND` decimal(20,10) DEFAULT NULL, 
    `COLUMNX` decimal(20,10) DEFAULT NULL, 
    `COLUMNY` decimal(20,10) DEFAULT NULL, 
    `COLUMNZ` decimal(20,10) DEFAULT NULL, 
    `COLUMNE` varchar(45) DEFAULT NULL, 
    `COLUMNF` int(11) DEFAULT NULL, 
    PRIMARY KEY (`id`), 
    UNIQUE KEY `id_UNIQUE` (`id`), 
    KEY `tbl_ColumnE_ColumnB` (`ColumnE`,`ColumnB`), 
    KEY `tbl_ColumnB_ColumnE` (`ColumnB`,`ColumnE`), 
    KEY `tbl_ColumnB` (`ColumnB`), 
    KEY `tbl_ColumnE` (`ColumnE`)
) ENGINE=InnoDB AUTO_INCREMENT=1718507 DEFAULT CHARSET=utf8'

Answer 1

这个查询:

SELECT COLUMNB, COLUMNC, COLUMND, COLUMNE
FROM TABLE
WHERE COLUMNE IN ('ABCD', 'EFGH', 'IJKL', 'MNOP')
ORDER BY COLUMNB DESC;

没有方便的优化方法。问题是 IN 和 ORDER BY。对于 IN 列表中的单个值，最佳索引可能是 (COLUMNE, COLUMNB, COLUMNC, COLUMND)(在 MySQL 中降序排序可能很棘手)。

如果 IN 列表中的四个值是常量，我会建议更改数据结构，使它们位于一列中。然后这个查询:

SELECT COLUMNB, COLUMNC, COLUMND, COLUMNE
FROM TABLE
WHERE COLUMNEPRIME = 'ABCDEFGHIJKLMNOP'
ORDER BY COLUMNB DESC;

可以利用 (COLUMNEPRIME, COLUMNB, COLUMNC, COLUMND, COLUMNE) 上的索引。 las，在 MySQL 中，这可能需要使用触发器来减慢插入速度。

如果获取如此之快，您可能会发现在应用程序中排序比在数据库中排序更快。因此，尝试查询:

SELECT COLUMNB, COLUMNC, COLUMND, COLUMNE
FROM TABLE
WHERE COLUMNE IN ('ABCD', 'EFGH', 'IJKL', 'MNOP');

用四部分组成的复合索引。

我确实注意到，对于大多数用途而言，每秒多次返回表的 20% 似乎是不必要的。也许有更好的方法来设计整个系统来满足您的需求。