我有一个 spark 作业,我使用 spark 提交命令行工具使用我的 shell 脚本调用它。
我需要将 DB2 连接用户名和密码的凭据传递给 jar 文件。
要求是用户名和密码不可读。
有人能帮忙吗?
最佳答案
我会尝试使用 hadoop 凭证 API
Hadoop 从 hadoop 2.6 版本开始引入了 keystore 。您可以将 keystore 路径和别名传递给您的 spark 程序,并在运行时从 keystore 中获取密码
https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/CommandsManual.html#credential
这是示例Java程序
https://apache.googlesource.com/hadoop-common/+/refs/heads/trunk/hadoop-common-project/hadoop-common/src/main/java/org/apache/hadoop/security/alias/JavaKeyStoreProvider.java
关于security - 使用 DB2 连接自动执行 spark 提交作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36721878/