我希望将我的 Beam 管道(Java 中)的输出通过 Https 写入另一台服务器,但我没有找到任何内置连接器。我知道可以创建自定义连接器,但我想首先知道是否已经存在任何东西。
最佳答案
正如 Anton 所说,Beam 目前没有内置对 HTTPS IO 的支持。我将提供一些有关 websocket 的文档以供引用。
但是,执行此类操作的标准方法是使用 ParDo 将每个元素写入端点的自定义转换。
可以帮助您入门的一些引用资料是:
- Websocket 实现: https://rmannibucau.metawerx.net/post/apache-beam-websocket-output
- 复合变换: https://beam.apache.org/documentation/programming-guide/#composite-transforms
- ParDo: https://beam.apache.org/documentation/programming-guide/#pardo
作为后续行动,凤凰网也将这个问题发布到了开发电子邮件组,这里是开发人员的后续行动的链接:https://lists.apache.org/thread.html/e082c02fc95354af5ccfc6d50aa9a08a2587c48c88d90e4f9272797b@%3Cdev.beam.apache.org%3E
关于java - 是否有适用于 Apache Beam 的 Https IO 连接器?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56851602/