我最近能够构建具有原生 64 位支持的 Apache Hadoop 2.5.1。所以，我摆脱了烦人的 native 库警告。
我正在尝试配置 Apache Spark。当我启动 spark-shell 时，出现相同的警告:
14/09/14 18:48:42 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
一些提示:
我必须下载预构建的 2.4 版 Spark，因为仍然没有 Hadoop 2.5 和 Maven 的配置文件。
以下导出已添加到 spark-env.sh:
export HADOOP_CONF_DIR=/opt/hadoop-2.5.1/etc/hadoop
export SPARK_LIBRARY_PATH=/opt/hadoop-2.5.1/lib/native
不适用于 spark-shell 和 spark-submit。我的 Hadoop 本地安装配置为伪分布式(ResourceManager + YARN 支持)。
最佳答案
您应该将 HADOOP_HOME/lib/native 添加到 LD_LIBRARY_PATH:
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
关于hadoop - Apache Spark native 库，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/25835715/