python - 预计 ETA 将使用 python 在 apache beam GCP 数据流管道中利用管道 I/O 和运行时参数?

标签 python google-cloud-platform google-cloud-dataflow apache-beam apache-beam-io

只是想知道新版本(3.X)的 python 是否有更多的管道 I/O 和运行时参数。如果我是正确的,那么当前 apache beam 在使用 python 时仅提供基于文件的 IO:textio、avroio、tfrecordio。但对于 Java,我们有更多可用选项,例如基于文件的 IO、BigQueryIO、BigtableIO、PubSubIO 和 SpannerIO。

根据我的要求,我想使用 python 3.X 在 GCP 数据流管道中使用 BigQueryIO,但目前它不可用。有谁知道 apache beam 何时可以提供 ETA 的更新信息吗?

最佳答案

Python 3 的 BigTable 连接器目前已经开发了一段时间。目前,尚无预计到达时间,但您可以按照相关Pull-Request进行操作。从官方 Apache Beam 存储库获取进一步更新。

关于python - 预计 ETA 将使用 python 在 apache beam GCP 数据流管道中利用管道 I/O 和运行时参数?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60146887/

相关文章:

python - Odoo Onchange 方法不适用于 Many2one 字段

python - 将 ndarray(OpenCV 中的图像)作为 .jpg 或 .png 上传到谷歌云存储

mysql - 一种从 Apache Beam 中的有界源定期执行管道的方法

java - 如何使用数据存储区 java 客户端检索具有重复属性的嵌入式实体

python - 获取 ttf/otf 字体本地化名称

python - 我想在我的电脑启动时运行我的程序

python - IPv6 中的数据库主机

google-cloud-platform - 如何更改默认的 Google Cloud 用户名?

google-cloud-dataflow - 数据流批处理作业失败并显示 "Failed to close some writers"

python - 使用 numpy 和 fft 在 for 循环中进行多核处理