hadoop - 将数据推送到 HDFS 的实用程序

Question

我需要为基于 unix/Windows 的系统构建一个通用实用程序来将数据推送到 hadoop 系统。用户可以从任何平台运行该实用程序，并且应该能够将数据推送到 HDFS。

WebHDFS 可以是一种选择，但很想知道是否还有其他可用的。

有什么建议么？

Answer 1

我通常制作一个 maven 项目，然后将此依赖项添加到我的 pom.xml 文件中:

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.6.1</version>
</dependency>

然后将数据推送到 HDFS 中，使用 hadoop java api 非常容易，这是一个简单的示例，只是为了看看它是如何工作的:

String namenodeLocation = "hdfs://[your-namenode-ip-address]:[hadoop:listening-port]/";

Configuration configuration = new Configuration();
FileSystem hdfs = FileSystem.get( new URI( namenodeLocation ), configuration );
Path file = new Path(namenodeLocation+"/myWonderful.data");

FSDataOutputStream outStream = hdfs.create(file);

byte[] coolDataToPushToHDFS = new byte[1500];

outStream.write(coolDataToPushToHDFS);
outStream.close();

hdfs.close();

这是一个非常简单的程序。我认为你必须做的步骤是:

让用户选择要推送的输入/数据

使用 hadoop java api 将文件/数据发送到您的集群

给用户一些反馈。

您还可以将信息附加到文件中，而不仅仅是创建新文件。

看一下文档:https://hadoop.apache.org/docs/current/api/