PHP system() 使用 MySQL 在许多数据库上运行查询

Question

我在下面有一个脚本，它遍历 380 个 MySQL innodb 数据库并运行各种创建表、插入、更新等以迁移模式。它从连接到云数据库服务器的 Web 服务器运行。我将迁移脚本排除在这个问题之外，因为我认为它不相关。

我遇到了一个问题，我正在尝试寻找解决方法。

我有一个运行 MySQL 5.6 的 4gb 内存云数据库服务器。我将具有 40 个表的 380 数据库迁移到 59 个表。大约 70% 的过程我得到了下面的错误。它在一次迁移中死亡，服务器宕机。我正在观察内存使用情况，结果内存不足。它是一个数据库即服务，所以我没有服务器的根访问权限，所以我不知道所有细节。

在 phppoint_smg 上运行查询

---

Warning: Using a password on the command line interface can be insecure.
ERROR 2013 (HY000) at line 355: Lost connection to MySQL server during query

在 phppoint_soulofhalloween 上运行查询

---

Warning: Using a password on the command line interface can be insecure.
ERROR 2013 (HY000): Lost connection to MySQL server at 'reading initial communication packet', system error: 0

在 phppoint_srvais 上运行查询

---

Warning: Using a password on the command line interface can be insecure.
ERROR 2013 (HY000): Lost connection to MySQL server at 'reading initial communication packet', system error: 0

这是 PHP 脚本的简化版本。

db_host = escapeshellarg($db_host);
$db_user = escapeshellarg($db_user);
$db_password = escapeshellarg($db_password);
foreach($databases as $database)
{
    echo "Running queries on $database\n***********************************\n";
    system("mysql --host=$db_host --user=$db_user --password=$db_password --port=3306 $database < ../update.sql"); 
    echo "\n\n";
}

我的问题:

有什么方法可以避免迁移时内存使用量上升？我一次做一个数据库。还是表和数据的增加是它上升的原因？

后来我能够使用服务器并删除了 80 个数据库并完成了迁移。它有 800 MB 的空闲空间；我预计它会下降到 600mb。在迁移之前它是 500mb

Answer 1

您的 PHP 示例没有使用太多内存，并且没有在发生故障的数据库服务器上运行，对吗？所以问题出在你配置的MySQL参数上。

基于您的 Gist ，并使用一个简单的 MySQL memory calculator ，我们可以看到你的MySQL服务最多可以使用3817MB的内存。如果错误发生时服务器只有 4GB，很可能就是这个原因(您需要为操作系统和正在运行的应用程序提供一些额外的内存)。增加内存或微调服务器将解决它。看看 MySQL documentation page on server variables最好地理解每个值。

然而，这可能不是断开连接/超时的唯一原因(但它似乎确实是你的情况，因为增加内存解决了问题)。另一个常见问题是低估了 max_allowed_pa​​cket 值(在您的配置中为 16MB)，因为这样的脚本很容易有超出该值的查询(例如，如果您有多个值用于单个 INSERT INTO表 ...).

考虑 max_allowed_pa​​cket 应该大于您向数据库发出的最大命令(它不是 SQL 文件，而是其中的每个命令，; 之间的 block ) .

但是请务必考虑更仔细的调优，因为配置不当的服务器可能会突然崩溃或变得无响应——尽管它可以在不添加更多内存的情况下完美运行。我建议运行性能调整脚本，如 MySQLTuner-perl它将分析您的数据、索引使用情况、缓慢的查询，甚至提出优化服务器所需的调整。