mongodb - 如何将数据从 Mongodb 流式传输到 Hadoop

标签 mongodb hadoop

我是 Hadoop 的新手,我开始计划一个应用程序来分析我在 Mongodb 上合并的三个集合的数据,我试图搜索类似 Mongodb river for elasticsearch 的东西,但我没有'找不到将数据流式传输到 Hbase 或 HDFS 的方法,我找到了 Sqoop 和 Flume,但我不知道这是否与我正在寻找的相同 在我看来,它会像 http api -> something here -> Hadoop storage。有什么可以帮我做的吗?

最佳答案

尝试流式组装,

流式程序集允许您使用 Python、Ruby 和 JavaScript 等语言而不是 Java 编写 MapReduce 作业,使熟悉 MongoDB 和流行动态编程语言的开发人员能够轻松利用 Hadoop 的强大功能。

了解更多信息 visit .

关于mongodb - 如何将数据从 Mongodb 流式传输到 Hadoop,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32043696/

相关文章:

hadoop - Impala:如何查询具有不同模式的多个 Parquet 文件

hadoop - 文件系统根目录 '/' 应归 'hdfs' 所有,当配置 hue 时显示

hadoop - 无法计算 MAX

java - MongoDB Java 驱动程序比带有 $gte/$lte 的控制台慢得多

javascript - 向用户 A 返回最新消息或从用户 A 返回最新消息的聚合查询无法正常工作

MongoDB:如何将两个集合/数据库合并为一个?

mysql - 在连接到mysql RDS时启动Hive 3.1 Metastore错误

node.js - 如果一次运行超过 4 个测试,Mocha 测试超时

javascript - Date epoch 是安全的唯一标识符吗?

hadoop - 如何中止映射器(或 reducer )内的 MR 作业