python - 在 Python 中为单个操作设置并行度

标签 python apache-flink

我用 dop > 1 执行我的程序,但我不想要多个输出文件。在 Java 中,myDataSet.writeAsText(outputFilePath, WriteMode.OVERWRITE).setParallelism(1);按预期工作。

但是当我在 Python 中尝试相同的方法时,它不起作用。这是我的代码:myDataSet.write_text(output_file, write_mode=WriteMode.OVERWRITE).set_degree_of_parallelism(1)

是否有可能在 Python 中实现这种行为?

最佳答案

这不是错误,而是不受支持的功能。目前无法为单个算子设置并行度,只能为整个作业设置。

我为此打开了一个 JIRA:https://issues.apache.org/jira/browse/FLINK-3275

关于python - 在 Python 中为单个操作设置并行度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34933833/

相关文章:

apache-flink - 如何计算流中的唯一单词?

python - 如何解决 c = cov(x, y, rowvar) RuntimeWarning : Degrees of freedom <= 0 for slice error in python 3. 8?

python - 列表理解拆分循环变量

python - 如何在 HTML 集成 DRF 和 django-filters 中显示表单

java - 从流作业启动批处理

apache-flink - 窗口操作符行为澄清后的 Apache Flink KeyedStream

python - 读/写文件问题

python - 为什么 np.where 没有返回预期值

scala - 如何在 Apache Flink Streaming 0.10.0 中指定 OVERWRITE 为 writeAsText?

apache-flink - 什么可能导致 Apache Flink 作业中的屏障对齐持续时间过长?