hadoop - 使用 Java 连接到 Hadoop

Question

如何在 Java 程序中连接到 Hadoop。 这里有一些细节: 我正在以 html 形式从用户那里获取输入，使用 JSP 来处理表单数据。我想连接到 hadoop 以根据表单输入获取一些数据。 在这种情况下，如何使用 Java 连接到 Hadoop？

Answer 1

看你对Hadoop的理解。 Hadoop 可以以多种方式存储数据，它可以只是 hdfs(Hadoop 分布式文件系统)中的文件，也可以是 Hive 或 Hbase< 中的表。从 hdfs 读取文件有一个最简单的代码:

import org.apache.commons.io.IOUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class HdfsFileReader {

    private static final String NAME_NODE = "hdfs://nameNomeHost:8020";//nameNomeHost = localhost if you use hadoop in local mode

    public static void main(String[] args) throws URISyntaxException, IOException {
        String fileInHdfs = args[0];
        FileSystem fs = FileSystem.get(new URI(NAME_NODE), new Configuration());
        String fileContent = IOUtils.toString(fs.open(new Path(fileInHdfs)), "UTF-8");
        System.out.println("File content - " + fileContent);
    }

}

您需要的 Maven 依赖项:

<dependency>
    <groupId>commons-io</groupId>
    <artifactId>commons-io</artifactId>
    <version>2.4</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.6.0</version>
</dependency>