尝试将 google-cloud-dataproc-serveless 与 spark.jars.repositories 选项一起使用
gcloud beta dataproc batches submit pyspark sample.py --project=$GCP_PROJECT --region=$MY_REGION --properties \
spark.jars.repositories='https://my.repo.com:443/artifactory/my-maven-prod-group',\
spark.jars.packages='com.spark.mypackage:my-module-jar',spark.dataproc.driverEnv.javax.net.ssl.trustStore=.,\
spark.driver.extraJavaOptions='-Djavax.net.ssl.trustStore=. -Djavax.net.debug=true' \
--files=my-ca-bundle.crt
给出这个异常(exception)
javax.net.ssl.SSLHandshakeException: java.security.cert.CertPathValidatorException
尝试使用 spark.dataproc.driverEnv/spark.driver.extraJavaOptions 设置此属性 javax.net.ssl.trustStore，但是它不工作。
是否可以通过设置正确的配置属性和值来解决这个问题， 或者 自定义图像是唯一的解决方案，预安装证书？
最佳答案
您需要有一个 Java trust store导入您的证书。然后提交批处理
--files=my-trust-store.jks \
--properties spark.driver.extraJavaOptions='-Djavax.net.ssl.trustStore=./my-trust-store.jks',spark.executor.extraJavaOptions='-Djavax.net.ssl.trustStore=./my-trust-store.jks'
关于google-cloud-platform - Dataproc Serverless - 如何设置 javax.net.ssl.trustStore 属性以修复 java.security.cert.CertPathValidatorException，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/71405542/