javascript - e2e测试是否应将数据持久保存在真实数据库中？

Question

我已经阅读了很多有关端到端测试的内容，而我无法理解的一件事就是端到端测试应该多么“真实”。

不管我用于e2e测试的工具是什么，我都看到它们大多数时候都在本地，开发或alpha环境中使用。

如果我的应用程序具有身份验证，是否应该在数据库中创建一个具有有效凭据的“测试”用户？我应该在Alpha甚至生产环境中这样做吗？该测试用户还如何登录我的应用程序？

说我有臭名昭著的TODO应用。我有一个用于登录用户的测试。登录后，我想测试用户是否可以创建TODO。该待办事项保存在数据库中。

运行测试之后，我是否应该运行一些操作来删除e2e测试期间创建的数据？还是应该在保存请求并模拟响应之前拦截该请求(这将是e2e测试的反模式)？

Answer 1

我目前在一家大型知名公司的测试工具和框架团队中工作。因此，尽管我不是专家，但这是我工作的一部分。我将专门讨论Web测试。对于iOS和Android等本机应用程序，测试有些不同，我对这些方面并不十分熟悉。

e2e(端到端)和集成测试之间的术语在某种程度上是可以互换的，而单元测试则具有更具体的定义。

通常，端到端/集成测试应可在开发和生产环境中运行。根据您的设置，您的开发环境可能正在使用生产数据库的一些半频繁更新的快照。在其他情况下，您的本地环境可能会达到实际的生产数据库。两种方法都有其优点/缺点，但这在很大程度上取决于您公司或项目的规模。例如，如果您在一家拥有专门团队的大公司中，则可以看到生产数据库每天发生的许多变化，而小型团队的产品数据库每周快照可能足以在本地进行测试。
一世
在基础级别上，所有集成测试都应视为真实测试。在处理Web应用程序时，我们还必须考虑许多其他因素，例如不同的Web浏览器，网络 Activity /可用性等。因此，为api调用模拟数据将允许进行超快速测试，但又增加了另一层次的复杂性确保模拟与最新数据库保持同步。

在本地运行集成测试应该或多或少地对开发服务器执行与对登台和生产进行的相同操作。除了让应用程序检测其是否在开发，登台或生产环境中运行以切换URL和各种凭据外，应期望该应用程序的行为完全相同。

关于您关于身份验证的问题，答案是肯定的。让我们看两个显示不同注意事项的示例。

假设您的项目很小。您在生产环境上创建了一些真实帐户，并且您的数据库每周都会快照一次，以供您在本地开发环境中使用。您只需要根据需要与一个或多个用户一起运行集成测试。由于本地测试仅影响本地数据库，因此您不必担心生成的数据，因为它不会影响生产。您团队中的其他工程师可以使用相同的用户，而不必担心。如果一位工程师对数据库模式，ORM等进行了一些更改，那么每个人都将获得数据库快照的新副本并继续工作。

现在换个极端。假设您的项目很大。每天都有数百万的用户和数百名员工共同对代码库和数据库进行更改。建立基础结构的方式有很多种，可以处理各种工程任务。数据太多，数据库更改太频繁，以致于无法使用本地快照。以这种规模，您可能正在进行持续集成，并在每次提交时运行测试。您想要这样做，以使传入的更改不会影响到生产并引起重大问题。您可能正在针对不断更新的登台数据库甚至是生产数据库本身运行本地开发环境。 (尝试规划登台数据库，因为它避免了很多其他问题。)

现在，只有一小部分专用测试用户开始成为一个问题。测试一直在自动运行，并且由数十名工程师共同完成自己的工作。由于登台数据库可能是共享的，因此您可以轻松地开始产生奇怪的冲突，因为同一测试用户正在做各种事情，并开始导致测试失败。我看到的一个很好的解决方案是一种测试帐户结帐服务器。您创建了100个或1000个(或更多)测试用户帐户。在运行集成测试时，它们实际上是从服务器中 checkout 测试用户帐户。测试完成后，集成测试将清除他们对该用户所做的任何更改，并告知结帐服务器该用户再次有空。然后它被某人/其他人随机 checkout ，并且该循环继续。

因此，与您的问题直接相关的要点:

您应该始终拥有专用的测试用户帐户，该帐户与常规用户帐户完全相同，仅用于测试。

根据团队和项目的规模，如果很小，可以使用一些专用帐户。如果工作规模更大，则需要更多专用的测试帐户，并且可能需要一种自动化服务，该服务允许单个测试运行以根据需要 checkout 用户。

测试应始终在清理之后进行。如果测试创建的TODO被存储在数据库中。当测试完成运行时，应从数据库中删除该TODO。如果您对此不太满意，最终将遇到错误和数据不一致的问题。上帝禁止这种情况在生产中发生。

只担心为单元测试模拟数据，除非您在一个非常好的，专用的工程环境中工作，在该环境中，有人致力于始终保持数据库模拟的最新状态。如果可以这样做，您的集成测试将非常快，并且您不必真正担心数据库方面的问题。但是，如果没有专门的支持，很难随着时间的推移保持这种状态。