我有多个 Hadoop 作业执行不同的处理。当其中一些(自定义业务异常)发生异常时，它会传播到 map() 方法，作业会立即终止。
然而，一些作业在映射器类的 setup() 方法中抛出异常。当发生这种情况时，作业会挂起 40 分钟(我的 Hadoop 计时器必须设置为此)，并且根据任务重新运行策略，我必须等待 4*40 = 160 分钟。在这种特殊情况下，其中一个业务类抛出 IllegalArgumentException。
我怎样才能处理这个漫长的“工作卡在云端”的时期，同时保持我的计时器不变？
最佳答案
您可以在命令行上使用 hadoop job -kill <jobid> 终止作业
关于java - Hadoop 作业挂起等待被杀死，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/8211248/