我正在编写 Google 数据流管道,作为源之一,我需要通过查询获得 MySQL 结果集。然后是几个问题:
- 作为管道中的一个步骤从 MySQL 中提取数据的正确方法是什么,这可以简单地使用 JDBC 在线完成吗?
- 如果我确实需要实现“用户定义的数据格式”并将 MySQL 包装为源,有没有人知道实现是否已经存在并且我不需要重新发明轮子? (不要误会我的意思,我很乐意编写它,但我想这将是使用 MySQL 作为源的常见场景)
谢谢大家!
最佳答案
目前,Cloud Dataflow 不提供 MySQL 输入源。
实现对此支持的首选方法是实现 user-defined input source可以处理 MySQL 查询。
另一种方法是在主程序中执行查询并将查询结果暂存到 GCS 中的临时位置,使用 Dataflow 处理结果,然后删除临时文件。
希望对你有帮助
关于java - Google Cloud Dataflow 用户定义的 MySQL 源,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31007771/