java - 弗林克 : How to pass a dynamic path while writing to files using writeFileAsText(path)?

标签 java apache-flink flink-streaming

假设我有一个包含 String 类型元素的 Stream。我想将流中的每个元素写入某个文件夹中的单独文件中。我正在使用以下设置。

stream.writeAsText(path).setParallelism(1);

如何使该路径动态化?我什至尝试将 System.nanotime() 添加到路径中以使其动态。但它似乎仍然不起作用,所有内容都写入一个文件中。

最佳答案

Flink 中 Rolling File Sink 明确支持这种用例。使用定制的铲斗,或较新且首选的 Streaming File Sink使用自定义的 BucketAssigner 和 RollingPolicy。

关于java - 弗林克 : How to pass a dynamic path while writing to files using writeFileAsText(path)?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51943103/

相关文章:

java - 如何将变量解析为参数

apache-flink - 为什么我的 Flink 窗口使用这么多状态?

java - Flink Java API - Pojo 类型到元组数据类型

java - 如何迭代列表并使用流检查枚举值

java - 如何通过Java程序直接与Docker daemon交互(绕过终端)

scala - 使用 scala sbt 对 kafka + flink 示例进行故障排除?

java - 如何在 Apache Flink 中平面映射到数据库?

apache-flink - 使用 Apache Flink 进行数据流式传输

java - Flink 每秒流式传输消息数

java - 使用递归的组合 VS 排列