java - 在自定义键的情况下，如何为自定义分区程序设置 numReduceTask

Question

HashPartitioner<Text,Text> hash=new HashPartitioner<Text,Text>();

@Override
public int getPartition(CompositeKeyClass keyClass, Text valClass, int numOfPartition) {
    // TODO Auto-generated method stub
    try {       
        String[] type=valClass.toString().split(",");

        if(type[0].equals("Mapper1")) {
            return (hash.getPartition(keyClass.getFirst(), valClass, numOfPartition))%numOfPartition;
        } else {
            return (hash.getPartition(keyClass.getFirst(), valClass, numOfPartition))%numOfPartition;   
        }
    }
}

我在 Partitioner 类中使用上述代码来获取自定义类的 key 。一切正常，但我希望将文本“Mapper1”的值发送到第一个 reducer ，另一个发送到第二个 reducer 。我怎样才能做到这一点？我已将 job.numOfReduceTaks 设置为 2。请帮忙!

Answer 1

这是静态决策吧？ 试试这个:

if (type[0].equals("Mapper1")) {
    return 0;
} else {
    return 1;
}

是的，在驱动程序中，您需要将 job.numOfReduceTaks 设置为 2。您做对了。