python - 黑盒测试时的结果执行和呈现

Question

我在 Python 3.2 中开发了一个用于测试硬件的黑盒测试环境。在这个环境中，我有一个 TestExecution.py 模块，我可以在其中运行我的测试，如下所示:

while(True):
    TestWithRestart("Test122")
    TestWithRestart("Test123",keys="invalid_keys.dat")
    TestWithOneComPort("Test200", keys="invalid_keys.dat")
    TestWithTwoComPorts("Test200")
    TestWithTwoComPorts("Test200", ppc_simulation_script="Test200.pcc")
    TestWithNoComPort()
    TestTime("Test500")
    Test600()
    TestWithComPortNoise("Test600")
    TestWithComPortInteruption("Test601")

我测试的每个硬件版本在我的 PC 上都由其自己的测试环境文件夹表示。此文件夹包含日志、 key 和 TestExecution.py。每个测试用例都有自己的结果文件夹，在这个文件夹中我有每次测试执行的日志文件夹。

也有可能我需要为新的硬件版本设计新的测试。在这种情况下，我可能需要多次尝试才能让这个测试正常工作。

关于测试的通过/失败状态，我通过在我的日志文件中手动检查来做到这一点。下一个改进将是自动化确定测试是否通过的过程。我会为此编写单独的类。此过程将持续进行。

我想知道我是否可以将我的环境与持续集成软件集成，以便以漂亮的图形形式呈现测试执行和/或结果。选择我希望执行的测试也很好。你会推荐什么开源软件？

谢谢，

巴里

Answer 1

Jenkins .例如，您可以以 JUnit XML 格式和 Jenkins will automatically produce nice graphs 转储测试结果。 .

当然，插件取决于您的需要，但这里列出了基本插件和我最喜欢的插件(其中一些捆绑在基本包中):

• > Ant
• 版本控制集成插件(如 Subversion ，取决于您使用的是什么)
• > Parameterized Trigger Plugin
• > Build Timeout Plugin
• > Log Parser Plugin
• > Regex Email Plugin
• > Artifact Deployer Plugin
• > Extended e-mail Plugin

作为一名 Python 程序员，您还将从 Python Jenkins API Wrapper 中受益匪浅。 .

但是，一般来说，请小心使用插件:有时它们不稳定和/或无法正常运行。查看插件修订历史通常可以告诉您它是否维护良好。

您可以在您的机器上本地安装 Jenkins 并试用几天，然后再决定它是否满足您的需求。