我已经在我的 Gateway/hadoop-env.sh 中编写了一个简单的 LzoWordCount:
HADOOP_CLASSPATH=/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/hadoop-lzo-cdh4-0.4.15-gplextras.jar
JAVA_LIBRARY_PATH=/opt/cloudera/parcels/HADOOP_LZO-0.4.15-1.gplextras.p0.105/lib/hadoop/lib/native/
当我运行 MR 作业时，我得到:
mapred.JobClient: Task Id : attempt_201307311800_0020_m_000002_2, Status : FAILED java.lang.RuntimeException: native-lzo library not available
有什么办法可以解决这个问题吗？我确实注意到'hadoop类路径| grep native' 什么都不返回？
最佳答案
问题原来是我们没有在数据节点上安装 lzop。我使用以下方法修复了它:
sudo apt-get install lzop
关于hadoop - native-lzo 库在 Hadoop 数据节点上不可用，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18065607/