c# - 检测 'dead' 测试和硬编码数据与受约束的非确定性

Question

对于那些不确定“受约束的非确定性”是什么意思的人，我推荐 Mark Seeman 的 post .

这个想法的本质是只对影响 SUT 行为的数据具有确定性值的测试。不“相关”的数据在某种程度上可以是“随机的”。

我喜欢这种方法。数据越抽象，期望就会变得越清晰、表达力越强，实际上就越难在不知不觉中使数据适合测试。

我正试图将这种方法(连同 AutoFixture)“推销”给我的同事，昨天我们就此进行了长时间的辩论。
他们提出了一个有趣的论点，即由于随机数据导致测试不稳定，难以调试。
起初这似乎有点奇怪，因为我们都同意影响数据的流一定不是随机的，而且这种行为是不可能的。尽管如此，我还是休息了一下，仔细考虑了这个问题。 我终于遇到了以下问题:

但首先我的一些假设:

1. 测试代码必须被视为生产代码。
2. 测试代码必须表达对系统行为的正确期望和规范。
3. 没有什么比损坏的构建更能警告您不一致了 (未编译或测试失败 - 门控 checkin )。

考虑同一测试的这两个变体:

[TestMethod]
public void DoSomethig_RetunrsValueIncreasedByTen()
{
    // Arrange
    ver input = 1;
    ver expectedOutput = input+10;

    var sut = new MyClass();

    // Act
    var actualOuptut = sut.DoeSomething(input);

    // Assert
    Assert.AreEqual(expectedOutput,actualOutput,"Unexpected return value.");
}

/// Here nothing is changed besides input now is random.
[TestMethod]
public void DoSomethig_RetunrsValueIncreasedByTen()
{
    // Arrange
    var fixture = new Fixture();
    ver input = fixture.Create<int>();
    ver expectedOutput = input+10;

    var sut = new MyClass();

    // Act
    var actualOuptut = sut.DoeSomething(input);

    // Assert
    Assert.AreEqual(expectedOutput,actualOutput,"Unexpected return value.");
}

到目前为止，上帝，一切正常，生活很美好，但随后需求发生变化，DoSomething 改变了它的行为:现在它仅在低于 10 时增加输入，否则乘以 10。 这里发生了什么？使用硬编码数据的测试通过(实际上是意外)，而第二个测试有时会失败。它们都是错误的欺骗测试:它们检查不存在的行为。

看起来数据是硬编码的还是随机的并不重要:它只是无关紧要。然而，我们没有可靠的方法来检测此类“死”测试。

那么问题是:

有没有人对如何以不出现这种情况的方式编写测试提出好的建议？

Answer 1

答案其实隐藏在这句话中:

[..] then requirements change and DoSomething changes its behavior [..]

如果你这样做会不会更容易:

• 首先更改expectedOutput，以满足新的要求。
• 观察失败的测试——看到它失败很重要。
• 只有这样才能根据新的要求修改DoSomething——使测试再次通过。

此方法与 AutoFixture 等特定工具无关，它只是测试驱动开发。

---

AutoFixture 在哪里真正有用？使用 AutoFixture，您可以最小化测试的 Arrange 部分。

这是原始测试，使用 AutoFixture.Xunit 编写而成:

[Theory, InlineAutoData]
public void DoSomethingWhenInputIsLowerThan10ReturnsCorrectResult(
    MyClass sut,
    [Range(int.MinValue, 9)]int input)
{
    Assert.True(input < 10);
    var expected = input + 1;

    var actual = sut.DoSomething(input);

    Assert.Equal(expected, actual);
}

[Theory, InlineAutoData]
public void DoSomethingWhenInputIsEqualsOrGreaterThan10ReturnsCorrectResult(
    MyClass sut,
    [Range(10, int.MaxValue)]int input)
{
    Assert.True(input >= 10);
    var expected = input * 10;

    var actual = sut.DoSomething(input);

    Assert.Equal(expected, actual);
}

另外，除了xUnit.net，还有support for NUnit 2 .

HTH