java - Google Cloud Dataflow 用户定义的 MySQL 源

标签 java mysql google-cloud-dataflow

我正在编写 Google 数据流管道,作为之一,我需要通过查询获得 MySQL 结果集。然后是几个问题:

  1. 作为管道中的一个步骤从 MySQL 中提取数据的正确方法是什么,这可以简单地使用 JDBC 在线完成吗?
  2. 如果我确实需要实现“用户定义的数据格式”并将 MySQL 包装为,有没有人知道实现是否已经存在并且我不需要重新发明轮子? (不要误会我的意思,我很乐意编写它,但我想这将是使用 MySQL 作为源的常见场景)

谢谢大家!

最佳答案

目前,Cloud Dataflow 不提供 MySQL 输入源。

实现对此支持的首选方法是实现 user-defined input source可以处理 MySQL 查询。

另一种方法是在主程序中执行查询并将查询结果暂存到 GCS 中的临时位置,使用 Dataflow 处理结果,然后删除临时文件。

希望对你有帮助

关于java - Google Cloud Dataflow 用户定义的 MySQL 源,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31007771/

相关文章:

java - hibernate 获取懒惰: Initialize() or HQL

MySQL UNION SELECT 在几列上查找 MAX 中的 MAX

java - 如何从 jar 提交 Dataflow 作业?

message-queue - 可以使用数据流将 pubsub 消息重复数据删除回 pubsub 吗?

python-3.x - 如何使用云函数触发数据流? (Python SDK)

java - 数据未从在线 mysql 服务器检索

java - 使用 javax.xml.transform.Transformer 缩进文本子节点

java - 如何迭代 JSONObject 的 N 层?

mysql - 如果 id 匹配则排除行

mysql - 数据库中的一对一关系