python-2.7 - 在Python中的数据流中写入云存储的动态目标

标签 python-2.7 google-cloud-storage google-cloud-dataflow apache-beam apache-beam-io

我试图从云存储中的一个大文件中读取数据,并根据给定的字段对它们进行分片。

我打算阅读 | Map(lambda x: (x[关键字段], x)) |按键分组 |使用关键字段的名称写入文件。

但是我找不到动态写入云存储的方法。支持此功能吗?

谢谢你, 忆清

最佳答案

是的,您可以使用FileSystems API创建文件。

关于python-2.7 - 在Python中的数据流中写入云存储的动态目标,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48812621/

相关文章:

Python2 哈希值分布不良

python - python 2.7 中的 ConfigParser VS SafeConfigParser

php - 谷歌云存储的互操作访问授权请求失败,出现 'signature does not match' 错误

python - 在 Google Dataflow 上运行 GCS 上约 240 万个文件的管道时,Apache Beam 的 FileBasedSource 出现令人困惑的错误

python - 在Python中的多重继承中使用相同的函数

python - 如何使用可变长度序列的序列拆包?

google-cloud-storage - 谷歌云控制台 "loading"永远

amazon-s3 - 亚马逊S3与Google云存储

python - 将文本输出写入 S3 存储桶的最佳实践是什么?

java - 无法使用 API 客户端库 (Java) 启动数据流模板,因为我收到无效参数异常