java - java如何区分apache beam中KV实例中的两个键？

Question

apache beam 的版本是 2.15.0 。

在此code ，类 Airport 用作 KV 实例的 Key，最后，计算每个 Airport 实例的 mean 。

c.output(KV.of(stats.airport, stats.timestamp));

但是apache beam如何在内部比较两个键并返回两个实例是否相同？如果所有类成员具有相同的值，两个实例是否被视为相同？ Document没有提到两个键的比较。

如果有人能帮助我理解，我将不胜感激。

Answer 1

这实际上在 GroupByKey 转换中进行了解释 docs ，这是在 Mean 聚合的幕后完成的操作:

Two keys of type K are compared for equality not by regular Java Object.equals(java.lang.Object), but instead by first encoding each of the keys using the Coder of the keys of the input PCollection, and then comparing the encoded bytes. This admits efficient parallel evaluation. Note that this requires that the Coder of the keys be deterministic (see Coder.verifyDeterministic()). If the key Coder is not deterministic, an exception is thrown at pipeline construction time.

请注意 Mean使用Combine.PerKey这是 GroupByKey + Combine.GroupedValues 的“简写”。