java - Grails 测试应用程序在 CI 服务器上失败，但在开发人员机器上没有

Question

我有两台机器，一台 Continuus 集成服务器和一台开发机器。

两台机器都运行相同版本的 java、maven 和 grails，并且都运行 Ubuntu。 我能想到的唯一区别是 CI 处于虚拟化环境中。

一些证明:

CI java -version

java version "1.6.0_24"
Java(TM) SE Runtime Environment (build 1.6.0_24-b07)
Java HotSpot(TM) 64-Bit Server VM (build 19.1-b02, mixed mode) 

DEV java -version

java version "1.6.0_24"
Java(TM) SE Runtime Environment (build 1.6.0_24-b07)
Java HotSpot(TM) 64-Bit Server VM (build 19.1-b02, mixed mode) 

CI mvn -version

Apache Maven 2.2.1 (rdebian-1)
Java version: 1.6.0_24
Java home: /usr/lib/jvm/java-6-sun-1.6.0.24/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux" version: "2.6.32-31-server" arch: "amd64" Family: "unix" 

开发 mvn -version

Apache Maven 2.2.1 (rdebian-1)
Java version: 1.6.0_24
Java home: /usr/lib/jvm/java-6-sun-1.6.0.24/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux" version: "2.6.32-31-generic" arch: "amd64" Family: "unix" 

CI chalice

Welcome to Grails 1.3.7 - http://grails.org/
Licensed under Apache Standard License 2.0
Grails home is set to: /usr/local/lib/grails-1.3.7 

开发 chalice

Welcome to Grails 1.3.7 - http://grails.org/
Licensed under Apache Standard License 2.0
Grails home is set to: /home/netbrain/dev/apps/grails-1.3.7 

我从两台机器上的版本控制中进行了干净的检查，并删除了文件夹 ~/.m2 和 ~/.ivy2 以避免任何不一致。

当我在我的 CI 服务器上运行 grails test-app 时，6 个测试似乎失败了。当它们在我的 DEV 系统上都以相同的情况通过时。

CI grails 测试应用

Tests Completed in 28213ms ...
-------------------------------------------------------
Tests passed: 14
Tests failed: 6
------------------------------------------------------- 

开发 grails 测试应用

Tests Completed in 25889ms ...
-------------------------------------------------------
Tests passed: 20
Tests failed: 0
------------------------------------------------------- 

当我查看从测试输出中获取的错误消息时，我可以看到如下内容:

junit.framework.AssertionFailedError: expected:<1> but was:<0>
not-null property references a null or transient value

据我所知，测试在逻辑上是正确的，它们不应该出现这些错误，尤其是当出现“ transient 值”错误的多个测试未将任何内容存储到数据库时!

对我来说，问题似乎出在 hibernate/内存数据库/测试阶段的组合中。

导致此问题的环境之间必须存在一些差异。有没有人对我如何继续以进一步调试问题有任何提示？

再次感谢!

编辑

好的，这是我尝试过的:

1. 删除文件夹~/.m2、~/.ivy2、~/.grails
2. 干净地运行 grails
3. 运行 grails 测试应用

但我仍然在我的 CI 环境中看到失败的测试，但在开发机器上却没有。

编辑

一些新的发展..

我尝试只运行在 CI 上失败的测试，似乎在运行 grails test-app :integration path.to.failing.tests 时它们都通过!在运行 grails test-app 时导致这些测试失败! :(

我对这里发生的事情完全感到困惑和无能...

Answer 1

我几乎可以保证这是一个测试污染问题，不同的服务器以不同的顺序运行测试。

测试污染的最大线索总是当你自己运行测试成功，但是当你先运行其他测试时，它失败了。

我已经多次发生这种情况，我在一次测试中弄乱了类的元类或注入(inject)的 spring 单例(如服务 bean)，忘记清理它，并影响了其他测试.观察正在运行的测试的输出并比较它们以确保它们在两个盒子上以完全相同的顺序运行。如果不是，则为测试订购问题。

找出哪些测试交互不良的“最简单”方法是运行 grails test-app 并按照它们在失败框上发生的相同顺序传入每个测试名称(我通常使用文本编辑器从之前的运行中切出测试名称并将它们连接在一起，这样我就知道它们的顺序是一样的)。

另一个潜在的问题是，如果一台机器正在使用 mysql，并且您错误地将“myisam”配置为默认存储引擎，而不是“innodb”(或其他支持事务的引擎)。您可以键入“显示引擎；”在 mysql 实例上查看默认引擎。听起来您正在使用 hsqldb 或另一个内存数据库进行测试，所以这可能不是您的问题。