apache-spark - Bluemix spark-submit——如何保护我的 Scala jar 所需的凭据

标签 apache-spark ibm-cloud cloud-foundry

我有一个要提交到 Bluemix Spark 集群的 Spark 应用程序。它从 DASHDB 数据库读取并将结果写入 Cloudant。该代码使用 Spark 和 JDBC 访问 DASHDB。

DASHDB 数据库的用户 ID 和密码作为参数传递给程序。我可以通过 spark-submit 传递这些参数,但我认为这不安全。在代码中,我需要知道 DASHDB 数据库的凭据,因为我正在使用 JDBC 连接到各种表。

我正在尝试找到以安全方式使用 spark-submit 传递凭据的“最佳实践”方法。

提前致谢 - 约翰

最佳答案

我认为 jdbc 驱动程序将始终需要用户名和密码才能连接到数据库,因此当您处于 bluemix 上的 Multi-Tenancy 环境中时,这是不可能的。

现在关于 spark-submit.sh 安全地读取参数,该选项尚不可用。

谢谢, 查尔斯。

关于apache-spark - Bluemix spark-submit——如何保护我的 Scala jar 所需的凭据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37031541/

相关文章:

spring-boot - Pivotal Cloud 问题中的 Spring Boot

cloud-foundry - vmc 隧道无法在 api.cloudfoundry.com 上使用 Ruby 2.0

csv - 如何将包含许多字段的大型 csv 加载到 Spark

mysql - Bluemix MobileFirstStarter MySQL ClassNotFoundException 错误

cloud-foundry - 将文件夹复制到 Pivotal Cloud Foundry

java - 如何在 IBM Cloud Functions 中检查 POST 正文?

python - ValueError at/url/ View frontend.views.url 没有返回 HttpResponse 对象。它返回 None 相反

python - Scikit-learn KNN(K 最近邻)使用 Apache Spark 并行化

java - Spark 在按键进行 group-reduce 时嵌套结构的序列化不正确

scala - 使用 UDF 映射有条件地创建新列时出现 java.io.NotSerializedException : org. apache.spark.sql.Column