eclipse - 找不到MapReduce(Hadoop-2.6.0)+ HBase-1.0.1.1类异常

标签 eclipse hadoop mapreduce hbase

我编写了一个Map-Reduce程序,以从输入文件中获取数据并将其输出到HBase表。但是我无法执行。我收到以下错误

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
        at beginners.VisitorSort.main(VisitorSort.java:123)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration
        at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)


Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/mapreduce/TableReducer
        at java.lang.ClassLoader.defineClass1(Native Method)
        at java.lang.ClassLoader.defineClass(ClassLoader.java:800)
        at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
        at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
        at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
        at visitor.HitTimeGmt.main(HitTimeGmt.java:142)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.mapreduce.TableReducer
        at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)

我不共享代码,因为我知道这是一个类路径问题。相同的代码在Hadoop-1.3.1和Hbase-0.94.8版本上运行。已在Eclipse,bashrc文件,Hadoop-env.sh和hbase-env.sh中的构建类路径中更新了jar。

但是我仍然面临这个问题。我现在没有选择了。任何帮助表示赞赏。提前致谢。

最佳答案

最后,解决了这个问题。需要在hadoop-env.sh中添加以下行(所有节点)

HADOOP_CLASSPATH=$HBASE_HOME/lib/*

关于eclipse - 找不到MapReduce(Hadoop-2.6.0)+ HBase-1.0.1.1类异常,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30801364/

相关文章:

java - 缺少 javax.swing

java - 启动 Eclipse 时出错 : An internal error occured during initializing java tooling

php - 我应该考虑将 Hadoop 用于新的 PHP 应用程序吗?

scala - Spark Job通过运行相同的映射3次而不断失败

java - 如何告诉 MapReduce 使用多少个映射器?

algorithm - 当 k 个元素不适合内存时,mapreduce 中的 top-k

java - 如何在 Eclipse 中增加堆空间和调试

java - Spring/Eclipse 项目突然记录一切

scala - 使用朴素贝叶斯实现运行 Spark 作业时获取 NullPointerException

hadoop - 运行 WordCount MapReduce 时输入路径不存在