我有一个作业在 32 个 spot 实例上使用 Hadoop 0.20 运行。它已经运行了 9 个小时，没有出现任何错误。它在那段时间处理了 3800 个任务，但我注意到只有两个任务似乎被卡住了，并且已经单独运行了几个小时(显然是响应，因为它们没有超时)。这些任务通常不会超过 15 分钟。我不想失去所有已经完成的工作，因为这会花费我很多钱。我真的很想终止这两个任务并让 Hadoop 重新分配它们或将它们计为失败。在它们停止之前，我无法从其他 3798 个映射中获取 reduce 结果!
但我不知道该怎么做。我考虑过尝试找出哪些实例正在运行任务，然后终止这些实例，但是
- 我不知道如何找出哪些实例是罪魁祸首
- 恐怕会产生意想不到的影响。
我如何终止单个 map task ？
最佳答案
通常，在 Hadoop 集群上，您可以通过发出以下命令终止特定任务:
hadoop job -kill-task [attempt_id]
这将杀死给定的 map task 并在不同的上重新提交它 具有新 ID 的节点。
要获取 attemp_id，请在 Jobtracker 的 web UI 上导航到 map task
有问题，单击它并记下它的 ID(例如:attempt_201210111830_0012_m_000000_0)
关于map - 如何终止在 Amazon EMR 上运行的 map task ？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/12874168/