java - 将数据从 PostgreSQL 迁移到 MongoDB

标签 java node.js mongodb postgresql database-migration

我必须将 500 万条记录从 PostgreSQL 迁移到 MongoDb

我尝试使用 mongify 进行同样的操作,但由于它在 ruby 上运行,而且我对 ruby​​ 一点也不熟悉,所以我无法解决它带来的错误。

所以,我尝试自己在 node.js 中编写代码,首先将 PostgreSQL 数据 转换为 JSON,然后将该 JSON 插入到mongoDb。 但是,这失败了,因为它占用了大量 RAM,并且可以迁移的记录不超过 13000 条。

然后我想到用 Java 编写代码,因为它有垃圾收集器。它在 RAM 利用率方面工作正常,但速度非常慢(大约 10000 条记录/小时)。按照这个速度,迁移我的数据需要几天时间。

那么,有没有更高效、更快速的方法呢? python 程序会比 Java 程序更快吗?或者是否有任何其他现成的工具可用于执行相同的操作?

我的系统配置是: 操作系统 - Windows 7(64 位), 内存 - 4GB, i3处理器

最佳答案

看来我迟到了。但是,总有一天,这可能会对某些人派上用场!!!!

以下基于 python 的迁移框架应该会派上用场。

https://github.com/datawrangl3r/pg2mongo

根据你的表现,每个 JSON 对象的迁移都是动态的,当你使用上述框架时,不应该有任何内存锁定问题。

希望对您有所帮助!

关于java - 将数据从 PostgreSQL 迁移到 MongoDB,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41997999/

相关文章:

javascript - 渲染页面后Mongojs查询完成

mongodb - 将 mongosh MongoDB Shell 的输出通过管道传输到输出文件 (Windows)

javascript - 如何在 Express JS 中使用 router.post 使 POST 工作

java - 调用任意数量的对象实例

java - 如何在 EditText 中用完成按钮替换换行按钮

java - 如何使对象集合不区分大小写?

javascript - 如何让 findOne 返回一个元素?

Java Lucene Ngrams

javascript - 如何在 Node 中使用 x.509 证书验证 JWT token ?

javascript - Bootstrap 安装在 ReactJS 应用程序中但没有样式