我正在使用 spark 2.2.0。下面是我在 spark 上使用的 java 代码片段:
SparkSession spark = SparkSession.builder()
.appName("MySQL Connection")
.master("spark://ip:7077")
.config("spark.jars", "/path/mysql.jar")
.getOrCreate();
Dataset dataset = spark.read().format("jdbc")
.option("url", "jdbc:mysql://ip:3306/mysql")
.option("user", "superadmin")
.option("password", "****")
.option("dbtable", "account")
.load();
上面的代码完美运行,但问题是如果我需要提交 2 个 jar,那么我不知道如何提交? config() 方法只接受一个键参数('spark.jars')和一个值参数(jar 路径)。如果使用 SparkConfig().setJars(),我知道如何发送多个 jar,但我不知道如何使用,因为我需要使用 SparkSession。
有人可以帮忙吗?
最佳答案
如 spark submit add multiple jars in classpath 中所述和 Passing additional jars to Spark via spark-submit你应该使用逗号分隔列表:
SparkSession spark = SparkSession.builder()
.appName("MySQL Connection")
.master("spark://ip:7077")
.config("spark.jars", "/path/mysql.jar,/path/to/another.jar")
.getOrCreate();
I know how to send multiple jars if used SparkConfig().setJars() but not of my use since I need to use SparkSession.
SparkConf
is still applicable for SparkSession
:
SparkConf conf;
...
SparkSession.builder().config(conf).getOrCreate();
关于java - 如何通过sparkSession提交多个jar给worker?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46076771/