我正在考虑编写一个级联应用程序,向 MYSQL 数据库发出 SELECT 语句,其中每个查询可以返回数百万行。
每个数据库存在于 N 个从属和一个主控上,如下所示:http://dev.mysql.com/doc/refman/5.0/en/replication-solutions-scaleout.html#figure_replication-scaleout
在 JDBCTap 中,我看到我们只能传递一个主机名:这意味着我所有的映射器都会尝试连接到一个从属设备(而其他 (N-1) 个从属设备处于空闲状态)。
假设从属服务器前面没有负载均衡器,我可以使用一个 JAVA 包/模块/代理(或者更好的是自定义的 JDBCTap 实现)来将映射器的连接分散到 N 个从属服务器上吗?
此处详细介绍了使用硬件代理的示例脚本:http://blog.netoearth.com/html/201006/building-a-mysql-load-balancing-proxy-with-trafficscript.htm
如果这样的事情不存在,我将不得不使用以下算法创建我自己的 JDBCTap(将映射器的连接分散到 N 个从属设备上):
这听起来是个好主意吗?我上面提到的“很好地支持并发写入/更新”的外部数据库可能是什么? (Cassandra、VoltDB 等)
最佳答案
JDBC 通常不支持并行性,因此对于大规模负载来说是一个瓶颈。
在那种主备架构中,如何通过 MySQL 备份从备库中提取数据到 TSV,然后将它们并行加载到 HDFS 中?
关于mysql - 负载均衡级联 JDBCTap for MySQL,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12981500/