macos - 如何设置 mesos 在独立 OS/X 上运行 Spark

Question

我想在 Mac 上测试 Spark 程序。 Spark 正在运行，并且我的 Spark scala 程序已编译:但运行时出现库(mesos.so？)错误:

Exception in thread "main" java.lang.UnsatisfiedLinkError: no mesos in java.library.path
    at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1758)
    at java.lang.Runtime.loadLibrary0(Runtime.java:823)
    at java.lang.System.loadLibrary(System.java:1045)
    at org.apache.mesos.MesosNativeLibrary.load(MesosNativeLibrary.java:46)
    at spark.SparkContext.<init>(SparkContext.scala:170)
    at com.blazedb.scala.ccp.spark.LoadRDD$.main(LoadRDD.scala:14)

为了运行 Spark 客户端程序，除了 Spark 服务器本身之外，mesos 还需要在 os/x 上进行哪些设置？

Answer 1

您需要设置“MESOS_NATIVE_LIBRARY”环境变量，这是libmesos.so的位置。它通常是/usr/local/lib/libmesos.so。

# For Linux
$ export MESOS_NATIVE_LIBRARY='/usr/local/lib/libmesos.so'

# For OSX
$ export MESOS_NATIVE_LIBRARY='/usr/local/lib/libmesos.dylib'

我建议也将该行添加到您的 .bashrc 中，以避免每次都这样做。