我是 Spark 新手。我还在学习。我有问题想征求意见。
我必须为适合作为 Spark 作业运行的分析方法准备 jar 文件。
jar 是否必须可执行/可运行?
我可以用几种方法将 jar 准备为库
对于我的情况,我有分析的输入和输出
这里,我可以在spark中传递输入json并获取输出json吗?
步骤是什么?
任何帮助或阅读链接都会有帮助吗?
最佳答案
- 您的第一个问题基本上是问如何使用 java API 运行 Spark。这是一些我认为您会发现有用的代码
SparkLauncher 启动器 = new SparkLauncher()
setAppName(config.getString("appName"))
.setSparkHome(sparkHomePath)
.setAppResource(pathToYourJar)
.setMaster(masterUrl)
.setMainClass(MainClass全名);
您可能需要添加 launcher.addJar(...)
创建 SparkAppHandle.Listener 的实例
SparkAppHandle 句柄 = launcher.startApplication(sparkJobListener);
“我可以在 Spark 中传递输入 json 并获取输出 json 吗?” 如果您希望读取 JSON 作为输入,您可以按照此 link 中的说明进行操作。
关于java - 如何在 Spark 中运行分析?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58804061/