amazon-web-services - 是否可以通过 EMR(通过 VPC)查看 Spark UI?

标签 amazon-web-services hadoop apache-spark

我已经完成了 https://docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-ssh-tunnel-local.html 中描述的过程通过本地端口转发打开 ssh 隧道,然后转到 http://localhost:8157/ .

这将打开 Hadoop/YARN 界面,此时我单击 Tracking UI/ApplicationMaster 链接,并收到“找不到此站点的服务器 DNS”页面。

根据 AWS 文档 http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-spark-history.html这应该会把我带到 Spark UI。

为了能够看到 Spark UI,我还缺少其他步骤吗?

最佳答案

最佳体验来自通过 SSH 使用 SOCKS 代理,这样它可以动态支持 URL 和端口。看看https://docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-ssh-tunnel.html .

关于amazon-web-services - 是否可以通过 EMR(通过 VPC)查看 Spark UI?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40435076/

相关文章:

scala - 将嵌套 Spark DataFrame 中的列提取为 scala 数组

php - 从 amazon s3 buckets 子文件夹中获取文件

amazon-web-services - JENKINS 上的 AWS CLI 命令

python - Hadoop Streaming Job 在 python 中失败

python - Pyspark - 计算两个数据帧之间的日期

scala - Spark : Repartition strategy after reading text file

amazon-web-services - 在 Amazon AWS API 中,您如何查询商品是否符合 Prime/Super Saver 资格?

amazon-web-services - CloudFormation 脚本中的条件 KinesisStreamSpecification

hadoop - hive 如何处理插入内部分区表?

csv - 使用DBeaver,当尝试将数据从CSV导出到我的Hive数据库时,导出卡住吗?