java - 如何用 Java 编写正确的微基准测试?

标签 java jvm benchmarking jvm-hotspot microbenchmark

如何用 Java 编写(并运行)正确的微基准测试?

我正在寻找一些代码示例和注释来说明需要考虑的各种问题。

示例:基准测试应该测量时间/迭代还是迭代/时间,为什么?

相关:Is stopwatch benchmarking acceptable?

最佳答案

有关编写微基准测试的技巧 from the creators of Java HotSpot :

规则 0:阅读有关 JVM 和微基准测试的权威论文。一个好的是 Brian Goetz, 2005 。不要对微基准抱有太大期望;它们仅测量有限范围的 JVM 性能特征。

规则 1: 始终包含一个自始至终运行测试内核的预热阶段,足以在计时阶段之前触发所有初始化和编译。 (在预热阶段,较少的迭代是可以的。经验法则是内循环迭代数万次。)

规则 2:始终使用 -XX:+PrintCompilation-verbose:gc 等运行,以便您可以验证编译器和 JVM 的其他部分在计时阶段不会执行意外的工作。

规则 2.1:在计时和预热阶段的开始和结束时打印消息,以便您可以验证规则 2 在计时阶段没有输出。

规则 3: 请注意 -client-server 以及 OSR 和常规编译之间的区别。 -XX:+PrintCompilation 标志报告 OSR 编译,并使用 at 符号表示非初始入口点,例如:Trouble$1::run @ 2(41 字节).如果您追求最佳性能,则优先选择服务器而不是客户端,优先选择常规而不是 OSR。

规则 4:注意初始化效果。不要在计时阶段首次打印,因为打印会加载并初始化类。不要在预热阶段(或最终报告阶段)之外加载新类,除非您专门测试类加载(在这种情况下仅加载测试类)。规则 2 是抵御此类影响的第一道防线。

规则 5: 注意去优化和重新编译的影响。不要在计时阶段第一次采用任何代码路径,因为编译器可能会根据之前根本不会使用该路径的乐观假设,垃圾并重新编译代码。规则 2 是抵御此类影响的第一道防线。

规则 6: 使用适当的工具来了解编译器的想法,并期望对其生成的代码感到惊讶。在形成关于什么使某些东西更快或更慢的理论之前,请亲自检查代码。

规则 7:减少测量中的噪音。在安静的机器上运行基准测试,并运行几次,丢弃异常值。使用 -Xbatch 将编译器与应用程序序列化,并考虑设置 -XX:CICompilerCount=1 以防止编译器与其自身并行运行。尽量减少GC开销,设置Xmx(足够大)等于Xms并使用UseEpsilonGC如果有的话。

规则 8: 使用库进行基准测试,因为它可能更有效,并且已经为此唯一目的进行了调试。如JMH , CaliperBill and Paul's Excellent UCSD Benchmarks for Java .

关于java - 如何用 Java 编写正确的微基准测试?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59844448/

相关文章:

cordova - 运行cordova android build时Gradle使用错误的JAVA_HOME

Java 反射性能问题

spring - JMH Benchmark 在 Spring(使用 maven)项目中使用 Autowired 字段获取 NullPointerException

linux - 使用 ab 进行网站基准测试

java - Apache Spark RDD 和 Java 8 : Exception handling

java - 当从 WizardsPage1 导航到 2 直至下一页时,如果单击进度栏取消按钮,如何强制用户保持在同一页面上?

java - 使用 StringTokenizer 输入 5 个整数

java - 在 Linux 上从 Java 透明地使用 Windows 截取屏幕截图时出现问题

java - "java.lang.OutOfMemoryError"错误是否会导致任何安全问题?

java - java 8 中的编译代码与 java 11 中的编译代码