c++ - 在CDH4中获取mapreduce.task.partition

标签 c++ hadoop

使用CDH4 / hadoop-2.0.0时,我遇到一个问题,其中管道程序在尝试获取任务的分区时出错:

Hadoop Pipes Exception: Key mapreduce.task.partition not found in JobConf

这对于0.21来说效果很好,我想知道如何使用2.0.0达到相同的结果。任何帮助将非常感激。

PS:我尝试玩hadoop pipes尝试调试它。但是在那里也碰到了墙。叹。

最佳答案

除了随YARN一起提供外,CDH4还包括hadoop-0.20,它使用键mapred.task.partition代替mapreduce.task.partition(从0.21开始)。将其更改回前者解决了我的问题。

关于c++ - 在CDH4中获取mapreduce.task.partition,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17624836/

相关文章:

twitter-bootstrap - 大数据的最佳实践?

hadoop - 需要 Hive 表元详细信息

c++ - 如何在 C 中以函数作为参数调用 Fortran dll

c++ - 循环指针数组

c++ - 运行时错误 - 变量 arr_processes 周围的堆栈已损坏

java - HBase 扫描时间范围在 Scala 中不起作用

hadoop - 在不上传到HDFS的情况下访问本地文件系统

Hadoop Reduce 端究竟发生了什么?

具有可变参数模板的 C++ 异步无法找到正确的函数模板特化

c++ - _BLOCK_TYPE_IS_VALID(pHead->nBlockUse) 在 C++ 中崩溃