环境:Spark 1.6.2; Linux 2.6.x(Red Hat 4.4.x); Hadoop2.4.x。
我今天早上通过spark-submit
开展了一项工作,但是没有看到应该写的文件。我已经阅读了一些有关监视Spark作业的Web UI的信息,但是到目前为止,我对bash-shell终端的了解仅是Hadoop集群和HDFS上发生的事情。
问题:从命令行快速获取Spark作业的标准方法是什么,以及它们可能留下的任何日志记录(在作业执行期间或之后)?
谢谢。
最佳答案
您可以使用yarn application -list
关于apache-spark - 是否有用于spark的shell命令,该命令说明正在排队或正在运行的作业?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53889649/