如果无法通过 SSH 连接到主节点，是否有办法在 Dataproc 集群上提交 HDFS 命令。我在 Gcloud SDK 或其余 API 中找不到任何内容。
所以类似:
gcloud dataproc jobs submit hdfs 'ls /hdfs/path/' --cluster=my-cluster --region=europe-west1
最佳答案
最简单的方法是 pig fs通过 gcloud dataproc jobs 提交 pig --execute 'fs -ls/'，或通过 pig sh 作为其他 shell 命令的包罗万象。
关于hdfs - 如果无法通过 SSH 连接到主节点，则在 dataproc 集群上运行 HDFS 命令，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/53216703/