我必须将 500 万条记录从 PostgreSQL
迁移到 MongoDb
。
我尝试使用 mongify
进行同样的操作,但由于它在 ruby
上运行,而且我对 ruby 一点也不熟悉,所以我无法解决它带来的错误。
所以,我尝试自己在 node.js
中编写代码,首先将 PostgreSQL 数据
转换为 JSON
,然后将该 JSON 插入到mongoDb
。
但是,这失败了,因为它占用了大量 RAM,并且可以迁移的记录不超过 13000 条。
然后我想到用 Java
编写代码,因为它有垃圾收集器。它在 RAM 利用率方面工作正常,但速度非常慢(大约 10000 条记录/小时)。按照这个速度,迁移我的数据需要几天时间。
那么,有没有更高效、更快速的方法呢? python 程序会比 Java 程序更快吗?或者是否有任何其他现成的工具可用于执行相同的操作?
我的系统配置是: 操作系统 - Windows 7(64 位), 内存 - 4GB, i3处理器
最佳答案
看来我迟到了。但是,总有一天,这可能会对某些人派上用场!!!!
以下基于 python 的迁移框架应该会派上用场。
https://github.com/datawrangl3r/pg2mongo
根据你的表现,每个 JSON 对象的迁移都是动态的,当你使用上述框架时,不应该有任何内存锁定问题。
希望对您有所帮助!
关于java - 将数据从 PostgreSQL 迁移到 MongoDB,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41997999/