我还想知道在 spark submit 命令的参数中是否有任何特殊字符不能使用？
我也想知道我们可以将整个嵌套的 Json 字符串传递给 spark 提交命令中的参数吗？
另一个问题是如何使用 java 代码(来自另一个程序)运行 spark 程序？
那么，我们是否必须在集群(安装了 spark 的 linux 机器)上运行我们的其他程序才能运行我的 spark 程序？
这件事我太糊涂了；请提出建议。
最佳答案
对于你的第二个问题:另一个问题是如何使用 java 代码(来自另一个程序)运行 spark 程序？ 在你的java程序中如果你有一个Maven项目，你可以添加一个maven依赖。 Spark 工件托管在 Maven Central 中。您可以在 pom.xml 中添加 Maven 依赖项
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.3.1</version>
</dependency>
如果没有，您可以选择下载 jar 文件并将其作为外部库添加到您的 java 代码中。 在任何这些选项之后，您将能够在您的 java 程序中编写 java spark 代码。 您可以在此处找到依赖项和 jar 文件:http://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10/1.4.1 是的，您需要一台装有 Spark 的机器来运行您的代码。为了运行它，你可以从你的程序中制作一个可执行的 jar 并运行它:
$: spark/bin/spark-submit --class com.your.MainClass --master spark://your_master_node:7077 your_jar_file.jar
祝你好运!
关于java - spark submit 命令的命令行参数中是否有字符限制？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/31579980/