MySQL/MariaDB 在多核上运行单个查询

标签 mysql mariadb

我有一个相当强大的数据库服务器,大约有 24 个内核和 48 GB 内存。我们正在运行 MariaDB 10.0 作为我们的数据库引擎。我所有的表都在 InnoDB 引擎上运行。我有一些查询在大型表上使用相当广泛的连接,因此自然很慢。我正在努力做的一件事是尝试利用多核的力量。以下是我的观察:

  1. 如果我并行运行 2 个查询,那么我可以看到正在使用 2 个内核
  2. 如果我运行 1 个查询,我看到只有 1 个核心被 100% 使用

现在,这是正常行为吗?我的意思是,在 MariaDB/MySQL 中没有办法为单个查询使用多个核心吗?如果单个繁重的查询可以通过利用多个 CPU 内核运行得更快,那就太好了。

我确实尝试并搜索了多个论坛,并尝试过使用不同的参数,例如 Innodb_thread_cocurrency,但到目前为止还无法在多个内核上运行单个查询。

是否有任何其他引擎可以帮助我做到这一点(我目前正在阅读有关 XtraDB 的资料)?

更新:

嗯,实际上我正在尝试分析社交媒体数据。因此,想象一个包含 2-3 百万条推文的数据库。自然地,我们谈论的是与用户数据、主题标签、图像、链接等相关联的表格。总而言之,这是一个相当大的数据库。在某些情况下,有些查询需要对多个表进行一些连接并且自然很慢。因此,想象一下,例如一个包含 5-6 个不同查询的仪表板查询。当单个用户登录时,这会给单个内核带来负载,并且整个内核会被使用 n 秒。如果我有 12 个内核,假设有 12 个用户同时尝试访问系统,那么我就有了严重的瓶颈。我完全理解,分片、集群、分布式数据库、分区等选项可以帮助我。但现在我正试图了解如何最好地垂直扩展系统,然后再考虑水平扩展(其中我引入了更多服务器)。使用多核本来是一个很好的选择,但我想现在我明白了,MySQL 并不是天生就这样设计的。我想我将开始研究各种[在多个实例上扩展数据库的可能架构。

最佳答案

虽然这个帖子已有半年多的历史,但一些评论引起了一些关注。作为核心数据库性能调优器,我想在这里添加一些输入:

1) 在撰写本文时,MariaDB 和 MySQL 不支持在多个处理器上运行单个查询(当然,除非您谈论的是分片)。这并不意味着他们将来不会支持它。

2) 并行化查询可以在其他 RDBMS(DB2、Oracle、SQLServer、Postgres 等)中完成,这是数据仓库等环境的重要特征。

3) 对于长时间运行的查询,并行化通常会缩短执行时间,尽管改进可能不是线性的。因此,说“一个查询使用多个内核来使其运行更快是没有意义的”是不正确的。除非我们对“工作更快”有不同的定义,否则它对某些工作负载来说非常有意义。

4) CPU 瓶颈并不一定意味着“您以错误的方式使用数据库”。是的,确实有些人确实编写了糟糕的查询(或驱动查询的过程)并使数据库窒息而死,但这完全是另一个问题。

5) 并行会减少并发。如果您的目标是支持更多用户(即更高的并发性),您将不得不放弃在多个处理器上运行查询(或者每个查询只在较少 处理器上运行)。这是您需要做出的权衡。冒着过度概括的风险,您可能希望 OLTP 环境查询串行运行,而 OLAP 查询并行运行。

干杯!

关于MySQL/MariaDB 在多核上运行单个查询,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33143214/

相关文章:

mysql - 添加表中每一行的值并输出(将 JSON 字符串转换为 int)

mysql - 为什么服务器的时区会影响 MySQL 对 FROM_UNIXTIME 纪元的读取?

mysql - 具有相同数据的 SQL 中的最大计数 (*) 错误

mysql - Mariadb 中止连接错误,没有用户名

mysql - 如何将列的默认值设置为今天的日期?

java - 如何解决 JDBC preparedStatement 中的 MySQLSyntaxErrorException

mysql - 使用 Mysql 处理时区

PHP ip2long 函数没有给出当前结果

MYSQL/MariaDB - TokuDB ...设备上没有剩余空间

MySQL 错误 1064 语法,但一切似乎都很好