apache-flink - 将 flink uid 命名为 operator 的最佳实践

标签 apache-flink flink-streaming

是否有命名 UID 的最佳实践?对于运营商?
可以是简单的东西吗

stream.flatMap(new FlatMapFunc).uid("1")
    .assignTimestampsAndWatermarks(new TimestampExtractor).uid("2")
    .keyBy(r => r.key )
    .timeWindow(Time.minutes(10))
    .allowedLateness(Time.minutes(30))
    .process(new ProcessFunc).uid("3")

或者有一些命名 uid 的规则/建议?

最佳答案

UID 没有命名约定,但在我们的团队中,我们使用与 operator.name() 中相同的值。 name 值用于在 Flink UI 中渲染算子框

这样我们就有了这样的代码,对我们来说是语义和简单的:

        streamExecutionEnvironment
        .addSource(new KafkaConsumer(kafkaConsumerOptions))
        .name("Kafka topic reader").uid("Kafka topic reader")
        .filter(new CreatedBy("my uncle"))
        .name("Created by my uncle filter").uid("Created by my uncle filter")
        .map(new ToInvoice())
        .name("To invoice mapper").uid("To invoice mapper")

关于apache-flink - 将 flink uid 命名为 operator 的最佳实践,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57131717/

相关文章:

apache-kafka - 从卡夫卡消耗确切数量的事件

java - 在 Flink SourceFunction 中获取 ClassNotFound 异常

apache-flink - 我可以在 RichAsyncFunction 中编写同步代码吗

java - 将列表/映射转换为 org.apache.flink.util.Collector

maven - Apache Flink 1.4中的Elasticsearch 5连接器

scala - Flink 可以与 Kotlin 一起使用吗?

scala - flink : sortPartition(0, Order.ASCENDING ) 错误: "not found: value Order"

scala - Flink 在 EMR 上写入 S3

java - Flinkrocksdb压缩过滤器不工作

java - apache flink 0.10 如何从无界输入数据流中获取第一次出现的复合键?