您好，我已经使用下面提到的 gcloud 命令创建了一个 dataproc 集群 -
gcloud dataproc clusters create spark-kerberos --region=us-central1 --zone us-central1-c --master-machine-type custom-4-15360 --master-boot-disk-size 200 --num-workers 2 --worker-machine-type custom-2-7680 --worker-boot-disk-size 200 --image-version 1.4-debian10 --scopes 'https://www.googleapis.com/auth/cloud-platform' --properties "dataproc:kerberos.beta.automatic-config.enable=true" --project $PROJECT_NAME
我在此集群中启用了自动 kerberos。通过JPS检查时所有服务也在运行。
root@spark-kerberos-m:~# jps
3841 ApplicationHistoryServer
5761 JobHistoryServer
4402 NameNode
3842 ResourceManager
5875 HistoryServer
12276 Jps
646 AgentMain
4059 RunJar
4908 SecondaryNameNode
6318 RunJar
root@spark-kerberos-m:~#
现在问题出在资源管理器 UI 上。我无法访问8088端口上的UI。同时创建集群时可以访问UI，无需添加kereberos。
最佳答案
在 Kerberized 集群上，RM UI 在 HTTPS 端口 8090 上运行
关于apache-spark - 使用 Kerberized Dataproc 集群时，8088 上的资源管理器 UI 无法正常工作，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/64944223/