scala - 使用Scala 2.11在独立模式下运行Spark?

标签 scala apache-spark scala-2.11

我按照说明使用Scala 2.11构建Spark:

mvn -Dscala-2.11 -DskipTests clean package

然后我按照说明启动:
./sbin/start-master.sh

它在日志文件中以两行失败:
Failed to find Spark assembly in /etc/spark-1.2.1/assembly/target/scala-2.10
You need to build Spark before running this program.

显然,它正在寻找一个scala-2.10构建,但是我做了一个scala-2.11构建。我尝试了明显的-Dscala-2.11标志,但这并没有改变任何东西。文档没有提及有关如何在scala 2.11的独立模式下运行的任何内容。

提前致谢!

最佳答案

构建之前,您必须在以下位置运行脚本:

dev/change-version-to-2.11.sh



应该用2.11替换对2.10的引用。

Note that this will not necessarily work as intended with non-GNU sed (e.g. OS X)

关于scala - 使用Scala 2.11在独立模式下运行Spark?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29658482/

相关文章:

scala - Scala 2.11中运行时动态编译scala类文件

arrays - 在 Spark 中访问数组列

join - Spark : Join dataframe column with an array

apache-spark - 写入数据后使用 .saveAsTable 写入 HDFS 时出现 TImeout 错误

Scalaz 未装箱标记类型不会自动拆箱

scala - scala 2.11 中弃用的 `scala.collection.script` 的替代方案?

Scala 类型别名,包括伴随对象 [初学者]

string - 为什么Scala中的drop()方法允许负值并且不会抛出错误?

java - 如何将 Scala 的 List[Double] 转换为 java.util.List[java.lang.Double]?

java - 我可以从 Java 访问 Scala 对象的不带括号的 val 吗?