我在 PostgreSQL 数据库中有数据，我想获取它、处理它并将其保存到 HBase 数据库。是否可以以某种方式将 JDBC 操作分布在 Map 操作中？
最佳答案
是的，您可以通过DBInputFormat来做到这一点:
DBInputFormat 使用JDBC 连接到数据源。由于 JDBC 得到了广泛的实现，DBInputFormat 可以与 MySQL、PostgreSQL 和其他几个数据库系统配合使用。各个数据库供应商提供 JDBC 驱动程序，以允许第三方应用程序(例如 Hadoop)连接到其数据库。
DBInputFormat 是一个InputFormat 类，允许您从数据库读取数据。 InputFormat 是 Hadoop 对数据源的形式化；它可以表示以特定方式格式化的文件、从数据库读取的数据等。DBInputFormat 提供了一种从数据库扫描整个表的简单方法，以及从任意 读取数据的方法针对数据库执行的 SQL 查询。
关于hadoop - 有没有办法使用 JDBC 作为 Hadoop 的 MapReduce 的输入资源？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/17683924/