hadoop - mapreduce 作业停留在 0

标签 hadoop mapreduce hive

我有一个奇怪的错误,我的 mapreduce 作业总是卡在 map 0% reduce 0%。所以我继续做一些研究,发现了这个 link当我在 namenode 上运行 hadoop tasktracker & 时,它确实解决了我的问题,但据我所知,Namenode 只支持 JobTracker,在某些情况下还支持辅助 NameNode。 TaskTrackers 适用于 DataNodes 对吗?如果我的理解有误,请纠正我。 为什么每次都要在NameNode上启动tasktracker守护进程?

是否有一个永久性的解决方案可以自动执行此操作,因为每次我都手动启动 NameNode 上的 TaskTracker。

最佳答案

也有可能是您的 Mapping Task 陷入了死循环。该百分比是已完成的映射任务的百分比。如果每次提交 map 作业时,映射都陷入无限循环,则永远无法完成。

关于hadoop - mapreduce 作业停留在 0,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28527354/

相关文章:

mysql - 创建 Hive 表 - 如何从 CSV 源中导出列名?

Hadoop 分布式缓存 (Cloudera CH3)

hadoop - 如何增加MR或Hive CDH并行运行的Map任务数

hadoop - Hbase如何处理重复记录?

java - java.io.FileNotFoundException:HIVE_PLAN没有这样的文件或目录

performance - hive -4表联接

hadoop - hadoop用例与有效贷款数据

hadoop - 在 mapreduce 中重用可写对象

java - Hadoop MapReduce DistributedCache 使用

hadoop - Sort 在 MapReduce 阶段用在什么地方,为什么?