java - Hadoop聚合两个功能

我有以下文件:

Item1 : frequencyOfItem1
Item2 : frequencyOfItem2
...
ItemN : frequencyOfItemN

几行后我有...

Pair1: Item1, Item2  Value1
Pari2: ItemX, ItemY  Value2

....

PairN: ItemXN, ItemYN ValueN

我想以map-reduce的方式计算以下新值:

ParirX: ItemX, ItemY ValueX/FrequencyItemNX

我该如何映射并减少其值？

最佳答案

有可能通过合并两个工作来解决此问题

映射器:映射器中的键是ItemX，并为所有其他元素

赋值

Reducer:输出所有值(通过这种方式，我根据ItemX

串联这些值

工作2

Mapper有两个键，一个键是整行，值是ValueX，第二个键是整行，值是FrequencyItemNX

Reducer输出键

的值之间的除法

关于java - Hadoop聚合两个功能，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41212109/

相关文章：

java - 从 Jmeter 生成的虚拟客户端与实际客户端的数量有何不同？