mysql - AWS RDS 慢速插入

标签 mysql amazon-web-services bulkinsert

我有一个关于在 RDS 中插入行的问题。 我在该示例中的 1 个表中插入了 301119 条记录。

这是我对这些插入批处理的日志:

Amazon : 

2014-09-05 12:12:47,245 - Processing 30119 users 
2014-09-05 12:15:01,508 - 5000 users updated in transaction 
2014-09-05 12:17:29,672 - 10000 users updated in transaction 
2014-09-05 12:19:30,499 - 15000 users updated in transaction 
2014-09-05 12:21:38,866 - 20000 users updated in transaction 
2014-09-05 12:23:26,659 - 25000 users updated in transaction 
2014-09-05 12:25:16,727 - 30000 users updated in transaction 
2014-09-05 12:25:19,376 - 30119 users updated in transaction - DONE 
2014-09-05 12:25:19,379 - Process completed in **752134** ms 


Local : 

2014-09-05 12:33:20,767 - Processing 30119 users 
2014-09-05 12:33:39,692 - 5000 users updated in transaction 
2014-09-05 12:33:50,949 - 10000 users updated in transaction 
2014-09-05 12:33:59,476 - 15000 users updated in transaction 
2014-09-05 12:34:06,962 - 20000 users updated in transaction 
2014-09-05 12:34:14,874 - 25000 users updated in transaction 
2014-09-05 12:34:22,945 - 30000 users updated in transaction 
2014-09-05 12:34:23,111 - 30119 users updated in transaction - DONE 
2014-09-05 12:34:23,112 - Process completed in **62345** ms 

查询是在 1 个表中直接批量插入。

我的本​​地速度不是很快,而且这些结果很奇怪……在 AWS 中运行相同的插入需要多 12 倍……所以,有什么不对劲……是配置问题还是其他问题?

非常欢迎一些指点:) :)

谢谢!

最佳答案

所以,我想通了!在搜索和调整配置后,我们大约每秒插入 300 次,我们禁用 innodb_flush_log_at_trx_commit (1 -> 0) 和 sync_binlog (1 -> 0),我们每秒插入 1500-2000 次! 因为我们可以在数据库崩溃时丢失最后一个事务/提交,所以我们继续了,现在速度非常快!!

希望对遇到同样问题的其他人有所帮助!

关于mysql - AWS RDS 慢速插入,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25692905/

相关文章:

linux - 在 Linux 中使用 cron 作业删除旧文件

mysql - 在 mysql 的多个表中批量插入和更新行的最佳方法

文件名中带有空格的 sqlcmd 脚本

php - Laravel 5.1 更新消息,但它同时涉及 created_at 和 updated_at

c# - 在 C# 桌面应用程序中连接到另一台计算机上的 mysql 时出错

php - mysql插入当前日期和更多天

objective-c - 用于 mac os x 应用程序开发的 aws sdk

php - 从php中的对象中检索数据

javascript - 无法读取未定义的属性 'username' - JavaScript

asp.net - 如何使用 ASP.Net SqlBulkCopy 在列中插入常量值