java - 如何用 Java 编写正确的微基准测试?

标签 java jvm benchmarking jvm-hotspot microbenchmark

如何用 Java 编写(和运行)正确的微基准测试?

我正在寻找一些代码示例和注释来说明要考虑的各种事情。

示例:基准测试应该测量时间/迭代还是迭代/时间,为什么?

相关:Is stopwatch benchmarking acceptable?

最佳答案

关于编写微基准的技巧 from the creators of Java HotSpot :

规则 0:阅读关于 JVM 和微基准测试的著名论文。一个好的是 Brian Goetz, 2005 .不要对微基准测试抱有太大期望;它们仅测量有限范围的 JVM 性能特征。

规则 1:始终包含一个预热阶段,该阶段会一直运行您的测试内核,足以在计时阶段之前触发所有初始化和编译。 (在预热阶段较少的迭代是可以的。经验法则是几万次内循环迭代。)

规则 2: 始终使用 -XX:+PrintCompilation-verbose:gc 等运行,因此您可以验证编译器和 JVM 的其他部分不会在您的计时阶段执行意外工作。

规则 2.1:在计时和预热阶段的开始和结束时打印消息,因此您可以验证计时阶段没有规则 2 的输出。

规则 3:注意 -client-server 之间的区别,以及 OSR 和常规编译。 -XX:+PrintCompilation 标志使用 at 符号报告 OSR 编译,以表示非初始入口点,例如:Trouble$1::run @ 2(41 字节)。如果您追求最佳性能,则首选服务器而不是客户端,首选常规服务器而不是 OSR。

规则 4:注意初始化效果。不要在计时阶段第一次打印,因为打印会加载并初始化类。不要在预热阶段(或最终报告阶段)之外加载新类,除非您专门测试类加载(并且在这种情况下仅加载测试类)。规则 2 是您抵御此类影响的第一道防线。

规则 5:注意反优化和重新编译的影响。不要在计时阶段第一次采用任何代码路径,因为编译器可能会根据早先根本不会使用该路径的乐观假设来垃圾并重新编译代码。规则 2 是您抵御此类影响的第一道防线。

规则 6:使用适当的工具来读懂编译器的想法,并期望对它生成的代码感到惊讶。在形成关于什么使某事更快或更慢的理论之前,请亲自检查代码。

规则 7:减少测量中的噪音。在安静的机器上运行您的基准测试,并运行几次,丢弃异常值。使用-Xbatch 将编译器与应用程序序列化,并考虑设置-XX:CICompilerCount=1 以防止编译器与自身并行运行。尽量减少 GC 开销,设置 Xmx(足够大)等于 Xms 并使用 UseEpsilonGC如果可用的话。

规则 8:使用一个库作为您的基准测试,因为它可能更有效并且已经为这个唯一目的进行了调试。如JMH , CaliperBill and Paul's Excellent UCSD Benchmarks for Java .

关于java - 如何用 Java 编写正确的微基准测试?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51598682/

相关文章:

java - java开发的最佳操作系统?

java - YCSB JDBS 驱动程序 : java. lang.ClassNotFoundException

java - 错误 : <identifier> expected in java hadoop

java - 覆盖继承字段的 Gson 错误 "declares multiple JSON fields named"

java - 工作单元克隆中遇到空或零主键

java - JVM 有问题的框架 - EXCEPTION_ACCESS_VIOLATION 错误

java - 手动创建 Json 字符串

java - 我有什么方法可以覆盖 Java 中的系统属性吗?

perl - 我如何解释 Perl 的基准模块报告的基准时间?

c# - 访问 5 字节结构比 8 字节慢得多