hadoop - hadoop job -kill job_id 和 yarn application -kill application_id 有什么区别

标签 hadoop hive

hadoop job -kill job_idyarn application -kill application_id 有什么区别? job_id 和 application_id 是否代表/指代同一个任务?

最佳答案

hadoop job -kill job_idyarn application -kill application_id这两个命令都用于终止在 Hadoop 上运行的作业。

如果您正在使用 MapReduce Version1(MR V1) 并且您想要终止在 Hadoop 上运行的作业,那么您可以使用 hadoop job -kill job_id杀死一个工作,它会杀死所有的工作(包括正在运行的和排队的)。

在 MapReduce Version2(MR V2 或 YARN)中,当您提交 MapReduce 作业时,它通过应用程序主机进行处理,因此该作业称为应用程序。应用程序中可以运行多个任务。如果你想杀死一个应用程序,那么你可以使用 yarn application -kill application_id命令杀死应用程序。它将终止应用程序下所有正在运行和排队的作业。

如果你想在 YARN 中终止一个任务,那么你可以使用 hadoop job -kill-task <task-id>终止 YARN 中的特定任务

link将有助于理解 YARN 中的应用和工作。

关于hadoop - hadoop job -kill job_id 和 yarn application -kill application_id 有什么区别,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30316288/

相关文章:

scala - Spark : Calculate event end time on 30-minute intervals based on start time and duration values in previous rows

hadoop - 包含 Sqoop 导入失败的 Oozie 脚本操作

mysql - 根据另一个表中的列更新数据库表中的列

apache-spark - Spark SQL-Hive “Cannot overwrite table”解决方法

hadoop - 检查表是否存在并将数据加载到Hbase和HIve表中

csv - 使用spark访问放置在hdfs中的csv文件

hadoop - Apache Accumulo安装

hadoop - Hive 外部表架构重新连接

sql - 聚集超前/滞后

date - 与Hive中的add_months函数不一致?