我是Hadoop的新手,正在根据给定的算法/策略开发自定义调度程序。
因此,我想知道如何手动/以编程方式将map / reduce任务分配给Hadoop上的特定计算机。
最佳答案
除非您仅以psuedo分布式模式使用Hadoop,否则这是不可能的。
想一想,为什么要这么做呢?如果您开始指定要在其中运行map / red的计算机名称,并且该计算机出现故障?如果您错误地选择了位于单独数据中心的计算机,该怎么办?
所以我没有发现指定机器在哪里运行 map /缩小的任何优势。让框架来照顾它需要运行map / red的机器。
关于hadoop - 手动将任务分配给计算机,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29718318/