amazon-web-services - 如何创建代理以在AWS Glue的Spark UI上查看作业?

标签 amazon-web-services apache-spark amazon-emr aws-glue

我正在AWS Glue上运行Spark作业,并且看到YARN Web UI的URL(跟踪URL)。

我不清楚如何创建代理来查看该跟踪站点,我希望通过该代理找到通往Spark UI的方式以监视我的工作进度。

有没有办法像我对EMR那样做到这一点?

最佳答案

最终添加了对Glue中的SparkUi的支持:-)-发布日期:2019年9月19日

检查https://docs.aws.amazon.com/glue/latest/dg/monitor-spark-ui.html

关于amazon-web-services - 如何创建代理以在AWS Glue的Spark UI上查看作业?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51371881/

相关文章:

javascript - Cognito 不会将未经身份验证的用户切换为经过身份验证的用户

sql - PySpark 数据框的每日预测

workflow - EMR + DynamoDB 工作流程设置抛出 Hive.createTable NoSuchMethodError JsonErrorResponseHandler

hadoop - 在 Amazon AWS 上将 Hadoop 与 Cassandra 连接 - netty 版本冲突?

ios - OSX 上的 AWS MQTT

Apache 服务器未显示在 EC2 IP 上

node.js - AWS Lambda 中的 HTTP 请求

scala - 如何在Dataframe上使用Spark中DataFrameNaFunctions类提供的函数?

apache-spark - Spark MlLib 线性回归(线性最小二乘)给出随机结果

apache-spark - 亚马逊电子病历 : Spark - SparkException java IOException: Failed to create local dir in/tmp/blockmgr*