java - Hadoop 2.6 - 范围分区器

标签 java hadoop

我正在实现一个算法:LIBRA 来减轻数据倾斜,并使用一个名为范围分区的分区逻辑。

现在,我研究了这个,发现Hadoop确实有这个Range Partition功能,但是那是1.4.1版本的,链接在这里:

http://accumulo.apache.org/1.4/apidocs/org/apache/accumulo/core/client/mapreduce/lib/partition/RangePartitioner.html

我用来实现这个算法的 Hadoop 版本是 2.6。此版本的 hadoop 是否提供范围分区器?

感谢帮助

最佳答案

您提供的链接是针对 Apache Accumulo 的,它是一个构建在 hadoop 之上的键/值数据存储 - 但它不是 hadoop 本身的本地链接。

https://accumulo.apache.org/

2.6 可用的分区器是

  • 二进制分区器
  • 哈希分区器
  • KeyFieldBasedPartitioner
  • TotalOrderPartitioner

所以 2.6 没有 RangePartitioner

关于java - Hadoop 2.6 - 范围分区器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27482037/

相关文章:

java - 在SQL语句中,如何选择所有不符合特定条件的元素?

validation - Hadoop示例排序验证

hadoop - 如果 map 输出巨大,本地磁盘将如何管理它?

hadoop - 将增量文件写入S3(MinIO)-PySpark 2.4.3

java - 与模式匹配的短语的字符串正则表达式

java - OSX/Eclipse/JDK/无法从 bash 运行 HelloWorld

java - 取消查询还是强制 onGeoQueryReady?

multithreading - 50 个线程限制后的 NetBeans 探查器 "stops working"?

Hadoop 读取整个文件并发送给许多映射器

java - Android L 5.0 和 libusb 1.0.9 - 没有权限?