mysql - 同时使用 MongoDB 和 MySQL 的 Hadoop 配置

标签 mysql mongodb hadoop-plugins

任何人都可以提供从 mongodb 到 rdbs 的示例代码...我已经尝试过,从 mongodb 获取数据并在 mongodb 中输出存储。为此我知道如何在 java 作业中进行 hadoop 配置。

我想知道三件事...

  1. 哪个 hadoop 版本同时支持 mongodb 和 rdbs?
  2. 是否可以使用多个集合作为输入...?如果可能的话,我们该怎么做?
  3. 我在 hadoop 中尝试了 mongodb 查询,它工作正常。但是当我定义排序或限制时......它无法正常工作......即使它没有从 mongodb 获取数据......

最佳答案

1. which hadoop version support both mongodb and rdbs?

我相信所有支持 MongoDB 的 Hadoop 版本也支持 RDBMS(RDBMS 实现早于 MongoDB)。

有关支持与 MongoDB 一起使用的 Hadoop 版本,请参阅:Building the Adapter .检查版本信息,因为某些 Hadoop 版本不支持 Streaming Connector(即,如果您想使用 Python 等非 JVM 语言编写作业)。

2. Is it possible to use multiple collections as input...?
If possible, how we can do that?

MongoDB Hadoop 连接器 v1.0.0 不支持将多个集合作为输入,但社区中有一些人正在致力于此(参见:Feature/multiple inputs)。

3. I tried mongodb query in hadoop,It's working fine. But when i defined
sort or limit... It is not working properly..even it's not fetching data
from mongodb...

您能否举例说明如何/在何处提供这些选项?您指的是 mongo.input.sortmongo.input.limit 属性吗?

您可能想尝试启用 Database Profiler在 MongoDB 中确认正在发送查询:

 db.setProfilingLevel(2) 

关于mysql - 同时使用 MongoDB 和 MySQL 的 Hadoop 配置,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12208353/

相关文章:

mysql - 寻求有关加入查询的帮助

php - 在单元测试中使用自动递增键删除测试行

mongodb - 从 mongodb 集合中获取最新记录

hadoop - 新用户SSH hadoop

java - 如何获取 Hadoop 执行的已完成作业的统计信息?

mysql - 使用临时文件和文件排序总是不好吗?

mysql - 当它是mysql中另一个表中的主键时如何更改外键的数据类型

javascript - 无法将 MongoDB 集合转换为列表

json - 使用 Mean Stack 中的 REST API 更新 JSON 中的子数组

Hadoop 任务调度程序 : Capacity vs Fair sharing or something else?