apache-spark - 是否有用于spark的shell命令,该命令说明正在排队或正在运行的作业?

标签 apache-spark hadoop

环境:Spark 1.6.2; Linux 2.6.x(Red Hat 4.4.x); Hadoop2.4.x。

我今天早上通过spark-submit开展了一项工作,但是没有看到应该写的文件。我已经阅读了一些有关监视Spark作业的Web UI的信息,但是到目前为止,我对bash-shell终端的了解仅是Hadoop集群和HDFS上发生的事情。

问题:从命令行快速获取Spark作业的标准方法是什么,以及它们可能留下的任何日志记录(在作业执行期间或之后)?

谢谢。

最佳答案

您可以使用yarn application -list

关于apache-spark - 是否有用于spark的shell命令,该命令说明正在排队或正在运行的作业?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53889649/

相关文章:

python - 使用 pyspark 并行化 scipy csr 稀疏矩阵以进行大矩阵乘法

apache-spark - 如何将表从 redshift 导出为 Parquet 格式?

scala - 以编程方式减少 spark shell 中的日志

hadoop - 德鲁伊能替代hadoop吗?

java - 单元测试自定义输入输出格式

java - 如何处理 Spark rdd 生成上的 CSV 文件列?

java - 我在使用 readStream().format ("kafka"时遇到问题)

apache-spark - 仅在字符串列中,订单未保存在PySpark collect_set中

hadoop - 在启用 kerberos 的 CDH 集群中添加 Hbase 服务

hadoop - HDFS未格式化,但没有错误