我想在 apache Spark 中使用 jdbc 驱动程序,但是 jdbc 有一个奇怪的问题,即时区转换。这个问题解释here .
解决方案建议我们应该添加这个参数
-Duser.timezone=UTC
我做了一些搜索,发现我可以设置这些参数:
spark.driver.extraJavaOptions
spark.executor.extraJavaOptions
但我不知道应该在哪里添加它?在主配置文件中?
spark-env.sh
spark-defaults.conf
在从属配置文件中?
spark-env.sh
spark-defaults.conf
或者直接在我的应用程序中的 SparkConf 中?
最佳答案
您可以在应用程序中的 SparkConf 中设置它 或者你也可以在spark-defaults.conf中设置。
引用https://spark.apache.org/docs/latest/configuration.html了解更多详情。
关于java - Apache Spark : add JVM parameter,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61189472/