我正在实现一个算法:LIBRA 来减轻数据倾斜
,并使用一个名为范围分区的分区逻辑。
现在,我研究了这个,发现Hadoop确实有这个Range Partition功能,但是那是1.4.1版本的,链接在这里:
http://accumulo.apache.org/1.4/apidocs/org/apache/accumulo/core/client/mapreduce/lib/partition/RangePartitioner.html
我用来实现这个算法的 Hadoop 版本是 2.6。此版本的 hadoop 是否提供范围分区器?
感谢帮助
最佳答案
您提供的链接是针对 Apache Accumulo 的,它是一个构建在 hadoop 之上的键/值数据存储 - 但它不是 hadoop 本身的本地链接。
2.6 可用的分区器是
- 二进制分区器
- 哈希分区器
- KeyFieldBasedPartitioner
- TotalOrderPartitioner
所以 2.6 没有 RangePartitioner
关于java - Hadoop 2.6 - 范围分区器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27482037/