我正在尝试导入一个大文件,它真的很大,而且似乎不起作用,所以我把它分成了几部分。第一篇花了2分钟,第二篇花了将近一个小时!怎么会这样???
bash-3.2$ wc -l allelePiecesaa
2575063 allelePiecesaa
bash-3.2$ cp allelePiecesaa allele.txt
bash-3.2$ time /usr/bin/mysqlimport -h bluemoon-mgmt1a -u jbond --delete --local --fields_escaped_by=\\ MBSR -L allele.txt
MBSR.allele: Records: 2575064 Deleted: 0 Skipped: 0 Warnings: 6
real 1m50.285s
user 0m0.006s
sys 0m0.103s
bash-3.2$ cp allelePiecesab allele.txt
bash-3.2$ wc -l allele.txt
2545972 allele.txt
bash-3.2$ time /usr/bin/mysqlimport -h bluemoon-mgmt1a -u jbond --local --fields_escaped_by=\\ MBSR -L allele.txt
MBSR.allele: Records: 2545973 Deleted: 0 Skipped: 0 Warnings: 7
real 57m17.279s
user 0m0.030s
sys 0m0.097s
我的配置是:
[client]
user=X
host=Y
password=Z
port=3306
[mysqld]
init_connect='SET autocommit=0'
init_connect='SET foreign_key_checks = 0'
init_connect='SET unique_checks = 0'
log_slow_queries = 0
任何帮助表示赞赏。谢谢, 拉米罗
最佳答案
第二个文件没有任何问题。
由于第一个文件查询或某些查询尚未完成,因此导入第二个文件花费了更多时间。
要检查第二个文件,您可以重新启动 mysql 并再次尝试导入。应该花费更少的时间。
关于导入两个较小文件时 Mysqlimport 非常慢,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32613918/