<分区>
如何在 Slurm 集群上运行 Spark？我很想在我的程序中定义 SparkContext 并设置我想使用的节点数，但如果我必须为它编写一些 bash 脚本，那也没关系。
<分区>
如何在 Slurm 集群上运行 Spark？我很想在我的程序中定义 SparkContext 并设置我想使用的节点数，但如果我必须为它编写一些 bash 脚本，那也没关系。
最佳答案
Magpie ( https://github.com/llnl/magpie ) 是一个 shell 脚本包，用于在传统 HPC 集群(例如由 SLURM 管理的集群)之上运行大数据应用程序(例如 Spark)。它为您管理排队作业的大部分复杂性，但您可能仍需要修改提交脚本以适合您自己的 Spark 应用程序 - 请参阅文件 submission-scripts/script-sbatch/magpie.sbatch-spark了解更多信息。
关于scala - 在 Slurm 上运行 Spark，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29308202/
相关文章：
json - 我应该如何在Scala中指定类似JSON的非结构化数据的类型？
scala - Tuple2._2 用作 map.apply 中的键
scala - Cats Effect IO - 在使用尝试/兑换 "inside"顶级平面图时，如何确保将引发的异常捕获为值？
scala 反射，使用 asInstanceOf 进行类型转换
apache-spark - 我可以将 Spark RDD 拆分为两个表，然后对它们执行连接吗？
apache-spark - 解释 Spark Structured Streaming executor 和 Kafka partitions 之间的映射