hadoop - 运行 Hadoop 示例时出现错误 : package org. apache.hadoop.conf 不存在

Question

我已经使用 export CLASSPATH=${CLASSPATH}:/~Downloads/hadoop-1.0.4/*.jar 将 hadoop jars 添加到类路径中，但我仍然我收到找不到包的错误。

我正在使用 Java 1.7.0_17。

有人知道如何正确设置 hadoop jar 的类路径吗？

Answer 1

您要将它们设置到的不是CLASSPATH，而是HADOOP_CLASSPATH。我喜欢使用以下命令添加当前目录和 lib 目录中的所有 jar 依赖项:

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:`echo *.jar`:`echo lib/*.jar | sed 's/ /:/g'`

请记住，如果您通过 hadoop jar 开始一项工作，您还需要通过使用 -libjars 将 jar 传递给它。我喜欢使用:

hadoop jar <jar> <class> -libjars `echo ./lib/*.jar | sed 's/ /,/g'` [args...]

注意 sed 命令需要不同的分隔符； HADOOP_CLASSPATH 是 : 分隔的，-libjars 需要 , 分隔。