python - pytest.mark.parametrize 似乎只能失败预期的异常

Question

当参数化引发预期异常的测试时，我一直使用以下形式:

import pytest

class SomeException(Exception):
    pass

class AnotherException(Exception):
    pass

@pytest.mark.parametrize(
    'error',
    [None,
     pytest.mark.raises(SomeException('the message'),
                        exception=SomeException),
     pytest.mark.raises(AnotherException('the message'),
                        exception=AnotherException),
     pytest.mark.raises(Exception('the message'),
                        exception=Exception),
     ])
def test_mark_raises(error):
    if error:
        raise error

请注意，我已经安装了 pytest-raises 包。好的，这可行，但我最近注意到它引发了弃用警告:

RemovedInPytest4Warning: Applying marks directly to parameters is deprecated, please use pytest.param(..., marks=...) instead.

好的，没问题。我们将更新参数列表。但这一直是有问题的。 pytest.param 有一个 'marks=' 参数，但传入 pytest.mark.raises 不起作用。我发现在 pytest.param 中使用异常处理的唯一方法(实际上似乎完全有效)如下:

import pytest

class SomeException(Exception):
    pass

class AnotherException(Exception):
    pass

@pytest.mark.parametrize(
    'error',
    [None,
     pytest.param(SomeException('the message'),
                  marks=pytest.mark.xfail(exception=SomeException)),
     pytest.param(AnotherException('the message'),
                  marks=pytest.mark.xfail(exception=AnotherException)),
     pytest.param(Exception('the message'),
                  marks=pytest.mark.xfail(exception=Exception)),
     ])
def test_mark_raises(error):
    if error:
        raise error

好吧，这似乎确实有效。但它并没有通过测试，而是让测试失败了。

我不喜欢这样。如果我期望测试能够提高 特定的异常，它实际上引发了异常， 那么我会认为测试已经通过，而不是“xfailed”。

如果我正在检查一堆 pytest 结果(在某些情况下超过 1500 个)， 识别哪些测试失败在视觉上需要更多工作 因为他们预计会出现某种故障情况，以及哪些故障情况 失败是因为它们还没有实现(或者其他一些原因) 这表明我们需要修复某些问题)。

我不喜欢收到一堆警告，但我也希望测试能够正确显示它们已通过。有谁知道在出现预期异常行为的情况下与 pytest.param 一起使用的正确构造吗？

Answer 1

如果要禁用输出中的警告，可以使用 --disable-warnings 标志。

当您不希望测试失败时，您正在使用 xfail 引发异常。您应该使用 pytest.raises 来引发异常 - link 。如果您想使用标记来引发异常，则应该使用自定义标记并编写自己的测试收集器。 conftest.py 示例:

import pytest

def pytest_runtest_setup(item):
    envmarker = item.get_marker("passwithex")
    if envmarker is not None:
        pytest.raises(ErrorName)

测试代码:

import pytest

class SomeException(Exception):
    pass

class AnotherException(Exception):
    pass

@pytest.mark.parametrize(
    'error',
    [None,
     pytest.param(SomeException('the message'),
                  marks=pytest.mark.passwithex),
     pytest.param(AnotherException('the message'),
                  marks=pytest.mark.xfail(exception=AnotherException)),
     pytest.param(Exception('the message'),
                  marks=pytest.mark.xfail(exception=Exception)),
     ])
def test_mark_raises(error):
    if error:
        raise error