java - 如何将来自外部源(主要是Restful)的数据引入HDFS？

Closed. This question does not meet Stack Overflow guidelines。它当前不接受答案。

想改善这个问题吗？更新问题，以便将其作为on-topic用于堆栈溢出。

4年前关闭。

Improve this question

这是更多与设计相关的问题。我是一名Java开发人员，还是Hadoop大数据世界的新手。在我的Hortonworks HDP沙盒中学习hadoop(这是Hortonworks作为VM提供的单节点伪集群)。

我设计了一个Java Restful api，它与我创建的虚拟数据库进行交互。 api /客户端会将一系列“GET”请求发送到uri，并将结果主体作为表格形式(TSV)文本文件存储在本地hortonworks Unix服务器中。从那里，我将copyFromLocal复制到HDFS进行进一步处理。

是否有设计用于此目的的开源hadoop组件，我可以将api设计为Mapreduce作业，并将reducer的数量设置为零吗？我正在寻找更好的选择。

我可以在Hue / HDP中将脚本 Action 或Java Action 创建为oozie-work流吗？

最佳答案

如果您的全部目标是以TSV格式将数据从数据库导出到HDFS，则可以使用Sqoop tool轻松完成此操作。

Sqoop是Hadoop生态系统组件，它可以直接连接到您的rdbms数据库，并可以使用自定义定界符导入表的记录。我希望这可以简化您的要求的实现。

关于java - 如何将来自外部源(主要是Restful)的数据引入HDFS？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30303875/

上一篇：hadoop - 在本地/远程Hadoop配置之间切换

下一篇：hadoop - 如何知道执行的奴隶数量

相关文章：

python - 与 Flask 上的 REST 的概念差异

hadoop - 在单独的节点上设置hiveserver2和hive metastore

java - float 值上的 TimeUnit

java - 许多Android Gradle Flavors几乎相同，但manifestPlaceholders稍有不同

java - GA 内的哈希

java - 无法在动态 Web 项目中找到导入的 java 项目中的类

java - 一个与谷歌翻译相关的问题

java - 使用gmail API添加gmail签名

scala - Spark - CSV - Nullable false 不抛出异常

hadoop - 使用架构文件创建一个 Parquet 支持的 Hive 表