导入两个较小文件时 Mysqlimport 非常慢

标签 mysql bigdata large-files mysqlimport

我正在尝试导入一个大文件,它真的很大,而且似乎不起作用,所以我把它分成了几部分。第一篇花了2分钟,第二篇花了将近一个小时!怎么会这样???

bash-3.2$ wc -l allelePiecesaa 
2575063 allelePiecesaa
bash-3.2$ cp allelePiecesaa allele.txt
bash-3.2$ time /usr/bin/mysqlimport -h bluemoon-mgmt1a -u jbond --delete --local --fields_escaped_by=\\ MBSR -L allele.txt
MBSR.allele: Records: 2575064  Deleted: 0  Skipped: 0  Warnings: 6
real    1m50.285s
user    0m0.006s
sys     0m0.103s
bash-3.2$ cp allelePiecesab allele.txt 
bash-3.2$ wc -l allele.txt 
2545972 allele.txt
bash-3.2$ time /usr/bin/mysqlimport -h bluemoon-mgmt1a -u jbond --local --fields_escaped_by=\\ MBSR -L allele.txt
MBSR.allele: Records: 2545973  Deleted: 0  Skipped: 0  Warnings: 7
real    57m17.279s
user    0m0.030s
sys     0m0.097s

我的配置是:

[client]
user=X
host=Y
password=Z
port=3306

[mysqld]
init_connect='SET autocommit=0'
init_connect='SET foreign_key_checks = 0'
init_connect='SET unique_checks = 0'
log_slow_queries = 0

任何帮助表示赞赏。谢谢, 拉米罗

最佳答案

第二个文件没有任何问题。

由于第一个文件查询或某些查询尚未完成,因此导入第二个文件花费了更多时间。

要检查第二个文件,您可以重新启动 mysql 并再次尝试导入。应该花费更少的时间。

关于导入两个较小文件时 Mysqlimport 非常慢,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32613918/

相关文章:

mysql - MYSQL 分隔符什么时候有用?

mysql - 如何优化mysql中的group_concat子查询?

pandas - 如何在pandas中调用带有 block 的描述函数?

java - 使用 BufferedReader 将文件内容存储在 Integer 的 ArrayList 中

mysql - 如何在 MySQL 中创建一个将多个列的值合并为单个列的 sql 查询?

mysql - 初学者帮助 : Looking for Member Names in diffrent projects to see in which projects they are working together

python - 如何在不创建数据副本的情况下进行 pd.merge?

java - 有没有比 collect 更好的方法来读取 spark 中的 RDD?

hadoop - 在 hadoop 2.4 中使用 yarn 在集群模式下运行 Spark 时出现 InvalidResourceRequestException Yarn Exception

grep - 计算非常大文件中的单词出现次数(运行时内存耗尽) grep -o foo | wc -l