我正在尝试在 EMR 集群上运行 python 和 java 应用程序。我使用下面的代码运行我的 java jar 应用程序,它运行良好。 HadoopJarStepConfig runExampleConfig = new HadoopJarStepConfig() .withJar(jar_name) .withArgs(main_arguments);
如何运行 python 脚本而不是 java 应用程序?
最佳答案
您是否尝试过阅读有关 script-runner jar 的内容?在电子病历上?您可以使用如下所示的方法来提交 python 脚本作为 EMR 步骤 -
HadoopJarStepConfig runExampleConfig = new HadoopJarStepConfig()
.withJar(s3://<region>.elasticmapreduce/libs/script-runner/script-runner.jar)
.withArgs(s3://bucketname/path-to/script.sh);
根据您启动 EMR 集群的区域,需要将其中替换为适当的值(例如:us-east-1)。
关于python - 在 AWS EMR 上运行 python 脚本,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49881550/