hadoop - 手动将任务分配给计算机

标签 hadoop mapreduce

我是Hadoop的新手,正在根据给定的算法/策略开发自定义调度程序。

因此,我想知道如何手动/以编程方式将map / reduce任务分配给Hadoop上的特定计算机。

最佳答案

除非您仅以psuedo分布式模式使用Hadoop,否则这是不可能的。

想一想,为什么要这么做呢?如果您开始指定要在其中运行map / red的计算机名称,并且该计算机出现故障?如果您错误地选择了位于单独数据中心的计算机,该怎么办?

所以我没有发现指定机器在哪里运行 map /缩小的任何优势。让框架来照顾它需要运行map / red的机器。

关于hadoop - 手动将任务分配给计算机,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29718318/

相关文章:

hadoop - sparql join query解释如何工作?

hadoop - s3n/s3a如何管理文件?

Hadoop mapreduce getMapOutput 失败

java - Spark : Technical terminology for reduce elements on the run-time?

user-interface - 如何将 GUI 添加到 hadoop 程序中?

hadoop - 使用 HBASE MAP REDUCE API 将数据加载到 Hbase 表中

hadoop - 实时查找HBase表的行数(毫秒)

Java将HDFS中的文件复制到HDFS中的另一个目录

hadoop - 为什么 Mahout 还没有线性回归

python - 声明 mrjob 映射器而不忽略 key