java - Apache Spark : add JVM parameter

标签 java apache-spark

我想在 apache Spark 中使用 jdbc 驱动程序,但是 jdbc 有一个奇怪的问题,即时区转换。这个问题解释here .

解决方案建议我们应该添加这个参数

-Duser.timezone=UTC 

我做了一些搜索,发现我可以设置这些参数:

spark.driver.extraJavaOptions
spark.executor.extraJavaOptions

但我不知道应该在哪里添加它?在主配置文件中?

spark-env.sh
spark-defaults.conf

在从属配置文件中?

spark-env.sh
spark-defaults.conf

或者直接在我的应用程序中的 SparkConf 中?

最佳答案

您可以在应用程序中的 SparkConf 中设置它 或者你也可以在spark-defaults.conf中设置。

引用https://spark.apache.org/docs/latest/configuration.html了解更多详情。

关于java - Apache Spark : add JVM parameter,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61189472/

相关文章:

java - 神秘的 java.lang.NumberFormatException

java - 对独立 Web 服务的并发 http 请求

apache-spark - 如何使用spark从word2vec模型获取数据帧

sql - 无法在 Spark SQL 中执行嵌套的 SQL 查询

postgresql - 执行程序无法在 Spark 独立集群中选择 postgres 驱动程序

java - 从一个长流创建流

java - 检索在运行时执行 java.security.PrivilegedAction 的 Subject

java - 如何通过 Spring Boot 在 MongoDB 中加载初始数据?

java - 计算 RDD 中的行数

scala - 为什么 MLLibGenerateLinearInput 在内部将方差乘以 12.0?