java - 使用 JDBC 设置高 maxPoolSize 时需要注意哪些风险/因素

标签 java mysql jdbc connection-pooling amazon-rds

我的申请是 Piwik Server从放置在数百个网站上的跟踪代码接收传入的跟踪数据。当这些跟踪请求进入时,大部分工作负载是每秒向数据库写入数百次。我使用的是带有 JDBC 和 Hibernate 的 MySQL 服务器。

我最近一直在逐渐增加我的应用程序的 maxPoolSize 设置以提高性能。看来我设置的配置越高,应用程序的响应速度越快,磁盘队列深度也越稳定。

我当前的配置:

jdbc.maxPoolSize=100
jdbc.minPoolSize=100
jdbc.maxStatements=1000 

基本上,我的问题是在增加 maxPoolSize 时应该注意哪些风险?是否有任何我应该注意的特定因素或指标来判断我是否将此设置配置得太高?显然,如果增加 maxPoolSize 是解决性能问题的 Elixir ,那么每个人都会希望将其设置得尽可能高。如果这是重复的,请提前致歉,但我找不到任何解决如何评估连接池是否太大的答案。

我在 AWS RDS 实例上运行 MySQL。这些是我对问题可能是什么的猜测:

  • 避免超过 RDS 实例类型允许的最大连接数

  • 过高的设置是否会耗尽服务器上的所有内存并影响性能?

  • 太多线程会导致表锁定并增加某些查询的排队时间吗?

如果您能协助我们了解需要注意的因素,我们将不胜感激。

最佳答案

我强烈建议设置 DropWizard metrics和/或 JMX monitoring .

在 JMX 的情况下,绘制“Activity 连接”随时间变化的图表,如果您的池从未超过(或很少超过)给定阈值,则将 maximumPoolSize 设置为高于该阈值只会浪费资源。

在 DropWizard 指标的情况下,“使用”测量——反射(reflect)连接离开池的时间——会给出一个“可比较的”供您在使用 maximumPoolSize 时检查.

如果当 maximumPoolSize50(例如)与 40 相比,连接离开池的时间更长,这表明数据库过饱和,40 更接近理想。

如果 30maximumPoolSize40 之间没有区别(同样,只是一个例子),它可以 意味着 40 只是不必要的高,这可能意味着收集这些指标的时间段只是低需求期和 40 可能仍然是正确的。

最重要的是将上述指标与 Web 请求服务总时间相结合,并将它们叠加在图表上或至少并排叠加。

指标是分析的关键!尽可能多地查找和跟踪相关信息;模式将会出现。 enter image description here 最后,您可以尝试将池设置为 minumumIdle=20maximumPoolSize=100 并查看池通常 稳定的位置,忽略偶尔的峰值。 RDS 与典型的数据库不同,在典型的数据库中,您可以控制运行数据库的硬件。对于 RDS,您真的不知道 Amazon 是如何分散负载的,所以它只需要进行试验。让每个实验运行足够长的时间(几个小时)以收集足够的数据,并截取显示器的屏幕截图以进行比较。

关于java - 使用 JDBC 设置高 maxPoolSize 时需要注意哪些风险/因素,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44079506/

相关文章:

java - 有没有办法在eclipse中运行netbeans开发的java程序?

java - 如何提高以下java方法从链表中删除元素的性能

mysql - 带有日志数据的复杂 SQL PIVOT

grails - 配置 Grails 应用程序以使用 JDBC 连接池

java.sql.SQLException : Column count doesn't match value count at row 1 异常

java - 为 eclipse ADT 开发安装正确的 Java 依赖项

java - 阻止IO方法在while循环中抛出NoSuchException-Java

PHP MySQL 注释

php - 使用一个大查询还是多个小查询更快?

java - 您如何正确关闭 JDBC 连接以供重用?