testing - 基于规范或需求的测试的覆盖率指标是什么？

Question

我们使用哪些不同的指标来确保仅根据要求和规范编写的测试套件的质量 (black box)？

简单地说，给定一组需求和针对这些需求的测试套件，量化基于规范/需求的测试(测试套件)质量的不同指标是什么？

我通读了以下有关基于规范的测试和指标的文章以定义它们。这些主题过于抽象，难以消化。

http://link.springer.com/chapter/10.1007%2F978-3-642-21768-5_13#page-1 http://www.worldscientific.com/doi/abs/10.1142/S0218539301000530

能简单解释一下吗？

谢谢!

Answer 1

评估基于规范的测试的最简单方法是将每个规范跟踪到测试(无论是手动还是自动)，计算哪些规范经过测试，哪些未经过测试，然后计算覆盖率百分比。

与您链接到的文章相关的混淆是由于混淆了用于指代人工编写的、结构化但相对非正式的文档的“规范”和表示测试可以从中进行测试的正式计算机可读规范的“规范”自动派生。

还可以在基于规范的测试期间测量代码覆盖率。但是，如果不查看黑匣子内部，就很难提高覆盖率。此外，基于规范的测试速度很慢，即使是自动化的，因此仅使用基于规范的测试来实现代码覆盖率是很痛苦的。更好的方法是结合基于黑盒规范的测试和白盒单元测试，并考虑整体覆盖率。