mysql - MONGODB Mongoimport 可能加速?

标签 mysql mongodb csv mongoimport

我有一个 2 GB 的 CSV 文件,其中包含 9 M 条记录,我使用 native mongoimport 工具将其导入 MongoDB。它以每秒 8K 的速度导入 CSV。总耗时为 10 分钟。 import的速度还算可以,但是好像比MySQL LOAD DATA INFILE版本慢很多(只需要2分钟就可以把所有的记录插入数据库)。虽然这是可以接受的(MongoDB 是为 JSON 类型的对象构建的,并且加速通常是在查询而不是在插入中),但我想知道是否有某种方法可以加快在 MongoDB mongoimport 中每秒完成的插入次数? 我只有一台 8 GB RAM 和 4 核的计算机。 谢谢。

最佳答案

由于大部分时间可能都花在了将 JSON 对象序列化为 BSON( native MongoDB 格式)上,如果您可以拆分文件并有多个并行作业,每个作业都使用单独的文件运行 mongoimport,那么导入速度可能会更快。

关于mysql - MONGODB Mongoimport 可能加速?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17118609/

相关文章:

php - 使用 ORDER BY 加入两个 sql 查询

json - 如何在远程服务器中进行 mongoimport

python - mongodb, pymongo 查询

python - 在 Python 中的 CSV 文件顶部插入一行

Java-CSV/删除csv文件中的列

database - 使用特殊格式的多段线将数据从 csv 文件复制到 postgres+postgis

mysql - 如何显示 mysql 表中通过单值匹配与另一个表连接的多个条目的数据?

mysql - 如何在 MySQL 中使用 last_insert_id()?

python - Django Development : PyMongo or MongoEngine . .. 为什么?

mysql - 我怎样才能连接这个结果集?