security - 使用 DB2 连接自动执行 spark 提交作业

标签 security hadoop apache-spark db2

我有一个 spark 作业,我使用 spark 提交命令行工具使用我的 shell 脚本调用它。
我需要将 DB2 连接用户名和密码的凭据传递给 jar 文件。
要求是用户名和密码不可读。

有人能帮忙吗?

最佳答案

我会尝试使用 hadoop 凭证 API

Hadoop 从 hadoop 2.6 版本开始引入了 keystore 。您可以将 keystore 路径和别名传递给您的 spark 程序,并在运行时从 keystore 中获取密码

https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/CommandsManual.html#credential

这是示例Java程序
https://apache.googlesource.com/hadoop-common/+/refs/heads/trunk/hadoop-common-project/hadoop-common/src/main/java/org/apache/hadoop/security/alias/JavaKeyStoreProvider.java

关于security - 使用 DB2 连接自动执行 spark 提交作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36721878/

相关文章:

security - 如何为多位收件人加密一封邮件?

c# - 正则表达式密码检查器

java - 对 sun.security.pkcs11.SunPKCS11 的访问限制

hadoop - hive 。不能在 where 子句中引用分区

python - 正确使用大广播变量的技巧?

forms - 从非安全页面向安全 URL 提交表单

hadoop - Hue内部架构和配置单元查询执行

mysql - 从下面给出的示例数据中,删除名称和年龄组合上的重复项并打印结果

scala - 更改在端口 7077 上运行的绑定(bind) IP - Apache Spark

python - 将文本文件读取到元组pyspark