java - 在dse4.6中运行spark程序

Question

我写了一个Java Spark程序，想在dse4.6下使用命令dse Spark-submit运行它。

我知道我必须在 Spark 分析模式下启动 dse。但是据我所知，spark 与 dse 4.6 集成，这是否意味着当我必须从我的 java 程序创建一个 jar 文件才能在 dse4 下运行它时.6 Spark 分析模式，然后我必须从程序中删除 Spark Core jar，然后为我的应用程序创建 jar，然后在 dse 中运行它。

虽然这个问题可能听起来很愚蠢，但我仍然想知道，如果 Spark 与 DSE 集成，那么我仍然应该在我的 pom.xml 中包含 Spark Core 作为 Maven 依赖项，或者我应该总是在程序中删除我的 Spark-Core jar 之前制作 jar ？

Answer 1

这是一个好问题。感谢您的提问!

简短的答案是:

To use the helper classes included in dse.jar in your application

我们最近更新了 DataStax docs包含如何针对 DSE 构建自定义 Spark 作业的更好示例。您还可以查看 Ryah Svhila 编写的程序，本文档基于该程序。在他的github上 repo 协议(protocol)。