我使用 Livy REST API 提交 Spark 应用。
{
“file”: <application-jar>,
“className”: “<main-class>”,
“args”: my_args,
“conf”: my_conf
}
my_args = [args1, args2, ...]
my_conf = {'foo1': 'bar1', 'foo2': 'bar2'...}
我希望 my_conf(json secret )存储在 AWS SSM 参数存储中，并在我使用 Livy 的 python 脚本提交 spark 应用程序时从参数存储中使用它。 如何存储和获取(在 python 中获取相同的 json)my_conf 到/从参数存储？
最佳答案
import json
import boto3
my_conf = {'foo1': 'bar1', 'foo2': 'bar2'}
boto3.client('ssm').put_parameter(Name='MyParameter', Value=json.dumps(my_conf), Type='String')
my_conf = json.loads(boto3.client('ssm').get_parameter(Name='MyParameter'))
...假设您已经设置了允许您进行这些调用的适当权限。
见
关于json - 如何将 json 存储到/从 aws 参数存储，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/60329379/