java - 解决org.apache.hadoop.conf.Configuration时出错

Question

我想将文件写入远程服务器上的hdfs，并遇到了this和this这样的几个示例。我的远程服务器上有Cdh4.2.1，从我的代码尝试执行import org.apache.hadoop.conf.Configuration;时，出现以下错误:
Cannot resolve Configuration
我的pom.xml看起来像:

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-core</artifactId>
            <version>1.2.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.4.1</version>
        </dependency>

在this这样的帖子中，pom.xml看起来有所不同，当我尝试将这些versions放入pom时，maven无法识别它。

我该如何解决这个问题？

Answer 1

尝试仅使用hadoop-client依赖项，并在使用CDH时使用cloudera特定版本，如下所示:

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-client</artifactId>
  <version>2.0.0-cdh4.2.1</version>
</dependency>

还要确保您具有以下存储库来解决jar依赖项:

<repository>
  <id>maven-hadoop</id>
  <name>Hadoop Releases</name>
  <url>https://repository.cloudera.com/content/repositories/releases/</url>
</repository>
<repository>
  <id>cloudera-repos</id>
  <name>Cloudera Repos</name>
  <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>