hadoop - Apache Flink - 跟踪最大值

标签 hadoop apache-flink

假设我有一个由元组组成的数据流 (t, q) 其中 t 是感兴趣的变量。

是否有一种分布式方式来跟踪具有最大 t 的元组?仅在 t 高于全局最大值时发出?

最佳答案

你考虑过Flink的状态特性吗? ( https://ci.apache.org/projects/flink/flink-docs-release-1.0/apis/streaming/state.html )

我自己对 Flink 很陌生,但我认为它提供了您正在寻找的功能。

关于hadoop - Apache Flink - 跟踪最大值,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38643472/

相关文章:

json - 如何使用 flink 流式传输 json?

apache-flink - Flink 中并行度的增加会降低/分散整体吞吐量

java - 弗林克 : how to write null values as empty through writeAsCsv in sink

Hadoop - LeaseExpiredException

hadoop - 无法使用Hive连接器Jasper连接Hive数据库(默认情况下除外)

hadoop - 如果我使用 -mapper cat 而不是 -mapper org.apache.hadoop.mapred.lib.IdentityMapper,Hadoop Streaming 的性能会降低吗?

hadoop - Mapper Combiner patitioner shuffle/sort 顺序

amazon-web-services - 除了 ROWTIME 之外,AWS Kinesis Analytics 在其他字段上是否有水印和滑动窗口?

java - 将自定义源的数据连续写入flink

java - 如何使 Mapper 从具有公共(public)列的两个不同文件中获取输入?