scala - 如何使用 Scala IDE 和 Maven 构建 spark 应用程序？

Question

我是 Scala、Spark 和 Maven 的新手，想构建描述的 spark 应用程序 here .它使用 Mahout 库。

我安装了 Scala IDE 并想使用 Maven 构建依赖项(即 Mahout 库和 Spark 库)。我找不到一个好的教程来开始。有人可以帮我解决吗？

Answer 1

首先尝试在 Scala IDE 中使用 Maven 编译简单的应用程序。 Maven项目的关键是目录结构和pom.xml。虽然我不使用 Scala IDE，但该文档似乎很有帮助。 http://scala-ide.org/docs/tutorials/m2eclipse/

下一步是在 pom.xml 中添加对 Spark 的依赖，您可以按照此文档进行操作。 http://blog.cloudera.com/blog/2014/04/how-to-run-a-simple-apache-spark-app-in-cdh-5/

有关最新版本的 Spark 和 Mahout Artifact ，您可以在此处查看它们: http://mvnrepository.com/artifact/org.apache.spark http://mvnrepository.com/artifact/org.apache.mahout

希望这对您有所帮助。