我们正在使用 VMWare 和 NUnit 开发自动回归测试。我们已将测试分为多个步骤,现在我希望看到每个步骤都经过性能回归检查。像 NUnit 那样简单地计时测试似乎并不可靠。我计算出的接受系数约为 15%,但我们的步骤有时可能会有所不同,超过 35%。在这样一个依赖资源的测试环境中,是否有一致的方法来测试性能? “智能”计时系统是我唯一的选择吗?
最佳答案
对于此类性能测试,没有任何系统可以为您提供简单的通过/失败结果。在现实生活中,改变你的系统可能会让某些事情变得更快,而另一些事情则变得更慢,所以这通常不是“更好”和“不是更好”之间的选择,而是不同类型更好之间的选择。 (当然,您希望避免情况变得更糟。)
我过去为此所做的只是随着时间的推移保留统计数据。每次运行测试时,将结果以及修订号和测试时间放入 SQL 数据库中。然后,您可以随时随地绘制它们(最好是在一个小网络小程序中,以便团队中的每个人都可以查看它们)并查看您的性能是否呈上升或下降趋势,或者自特定修订以来性能是否一直在下降。
这里的关键是,它必须是一个图。这样人眼就可以观察并发现趋势。您可以花一整周的时间尝试提出一种人工智能算法来对数据进行数值分析,但它永远无法击败人类的模式识别能力。
关于.net - 性能测试,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/77603/