我的数据库有 300 000 行,我需要通过算法过滤一些行。
protected boolean validateMatch(DbMatch m) throws MatchException, NotSupportedSportException{
// expensive part
List<DbMatch> hh = sd.getMatches(DateService.beforeDay(m.getStart()), m.getHt(), m.getCountry(),m.getSportID());
List<DbMatch> ah = sd.getMatches(DateService.beforeDay(m.getStart()), m.getAt(), m.getCountry(),m.getSportID());
....
用于从 Mysql 加载数据的 hibernate dao 函数使用了初始化数组大小的 2 倍。
public List<DbMatch> getMatches(Date before,String team, String country,int sportID) throws NotSupportedSportException{
//Match_soccer where date between :start and :end
Criteria criteria = session.createCriteria(DbMatch.class);
criteria.add(Restrictions.le("start",before));
criteria.add(Restrictions.disjunction()
.add(Restrictions.eq("ht", team))
.add(Restrictions.eq("at", team)));
criteria.add(Restrictions.eq("country",country));
criteria.add(Restrictions.eq("sportID",sportID));
criteria.addOrder(Order.desc("start") );
return criteria.list();
}
我如何尝试过滤数据的示例
function List<DbMatch> filter(List<DbMatch> mSet){
List<DbMatch> filtred = new ArrayList<>();
for(DbMatch m:mSet){
if(validateMatch(DbMatch m))filtred.add(m);
}
}
(1)我尝试了不同的标准设置并用秒表计算了功能时间。我的结果是,当我使用 filter(matches)
matches size 1000 时,我的程序需要 3 分 21 秒 659 毫秒。
(2)我尝试删除 criteria.addOrder(Order.desc("start"));
,而不是在 3 分 12 秒 811 毫秒后过滤程序。
(3)但是如果我删除 criteria.addOrder(Order.desc("start"));
并添加 criteria.setMaxResults(1);
结果是 22秒 311 毫秒。
使用最后的配置,我可以按 22,3 * 300 = 22300 秒(约 6 小时)过滤所有 300 000 条记录,但如果使用第一个功能,我应该等待(约 60 小时)。
如果我想使用没有顺序和限制的条件,我必须确保我的表按数据库上的日期排序,因为获取最后一个匹配很重要。
所有数据都存储在matches
表中。
表索引:
表、Non_unique、Key_name、Seq_in_index、Column_name、排序规则、基数、Sub_part、打包、Null、Index_type、注释、Index_comment
匹配项, 0, PRIMARY, 1, mid, A, 220712, , , , BTREE, ,
匹配, 0, UK_kcenwf4m58fssuccpknl1v25v, 1, beid, A, 220712, , , YES, BTREE, ,
UPDATED
添加ALTER TABLE 匹配ADD INDEX(运动ID,国家/地区)后;
现在,1000 场比赛的程序时间缩短为 15 秒。但如果我不使用 order by 并添加 limit 只需等待 4 秒即可完成 1000 个数学运算。
针对这种情况我应该如何采取行动来提高程序执行速度?
最佳答案
您的首要任务是计算出每个组件处理请求所需的时间。
找出 ORM 生成的 SQL 查询,并在 MySQL Workbench 中手动运行该查询,看看需要多长时间(非缓存)。您还可以要求它解释索引的用法。
如果它足够快,那么就是你的 java 代码花费了更长的时间,你需要优化你的算法。您可以使用 JConsole 进一步深入研究。
如果您确定哪个组件花费了更长的时间,您可以在此处发布您的分析,我们可以相应地提出建议。
关于java - 如何加速程序? (很多慢mysql查询),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33142931/