automation - 汇总多个规范文件的 Protractor 结果

标签 automation jasmine protractor summary

我有一个自动化框架,它使用 grunt 任务来运行多个规范文件。有些使用预定义的套件运行,有些使用文件命名约定。每个规范文件平均有一个“描述” block ,每个通常有多个“它” block 。

我目前正在使用 jasmine-spec-reporter,它在每个规范文件之后提供有用且详细的结果,如下所示:

------------------------------------
[chrome OS X 10.10 #1-78] PID: 1880
[chrome OS X 10.10 #1-78] Specs: /**/**/jenkins/workspace/Main Suites/tests/User_Management/smoke_student_does_something.js
[chrome OS X 10.10 #1-78] 
[chrome OS X 10.10 #1-78] Using SauceLabs selenium server at http://*******
[chrome OS X 10.10 #1-78] Spec started
[chrome OS X 10.10 #1-78] 
[chrome OS X 10.10 #1-78]   1 A student can link and unlink to another student account
[chrome OS X 10.10 #1-78]     ✓ can link to another student account (33 secs)
[chrome OS X 10.10 #1-78]     ✓ can unlink a student account (14 secs)
[chrome OS X 10.10 #1-78] 
[chrome OS X 10.10 #1-78] Executed 2 of 2 specs SUCCESS in 46 secs.
[chrome OS X 10.10 #1-78] SauceLabs results available at http://saucelabs.com/jobs/*****************

[launcher] 5 instance(s) of WebDriver still running

在所有引用 taskId 和列表通过 + 失败的 Jasmine 报告之后, Protractor 给了我一个相当无用的摘要控制台输出。这是 Protractor 摘要的样子:
....
[launcher] chrome #1-69 passed
[launcher] chrome #1-70 failed 1 test(s)
[launcher] chrome #1-73 passed
[launcher] chrome #1-71 passed
[launcher] chrome #1-75 passed
[launcher] chrome #1-72 passed
[launcher] chrome #1-79 passed
[launcher] chrome #1-74 passed
[launcher] chrome #1-80 passed
[launcher] chrome #1-81 passed
[launcher] chrome #1-82 passed
[launcher] chrome #1-84 passed
[launcher] chrome #1-83 passed
[launcher] chrome #1-85 passed
[launcher] chrome #1-88 passed
[launcher] chrome #1-87 passed
[launcher] chrome #1-86 passed
[launcher] chrome #1-76 passed
[launcher] chrome #1-89 passed
[launcher] chrome #1-90 passed
[launcher] chrome #1-91 passed
[launcher] chrome #1-92 passed
[launcher] chrome #1-78 passed
[launcher] chrome #1-93 passed
[launcher] chrome #1-95 passed
[launcher] chrome #1-77 passed
[launcher] chrome #1-96 passed
[launcher] chrome #1-94 failed 5 test(s)
[launcher] overall: 12 failed spec(s)
[launcher] Process exited with error code 1
>> 
Warning: Tests failed, protractor exited with code: 1 Use --force to continue.

我的问题是我想查看所有规范文件的摘要,而不是 taskIds,仅针对失败的规范,并且仅在它们全部运行完成之后。 MVP 将只是列表中失败的规范文件名,或者以易于阅读的格式(xml、html 等)写入文件。下一次迭代我将在每个故障旁边添加“describe”和“it” block 描述、错误代码和 saucelabs 链接,类似于 jasmine 报告器。

我通常在一个工作中拥有数百个规范文件,并且必须梳理所有单独的结果以追踪哪个规范文件失败是非常烦人的(因为我觉得自动生成的摘要应该包含这些信息)。我实际上必须在控制台输出上执行 ctrl+f 以查看“失败”,只是为了查看哪些规范失败了。由于我们的工作运行方式是通过 Jenkins 组织的,因此我想避免去 saucelabs 获取失败列表。一旦作业完成运行,控制台输出应该是故障列表的一个简单的第一个来源/引用。

每个第三方报告者的范围似乎只能达到规范文件级别。执行每个规范文件后,它会报告,然后继续下一个覆盖前一个报告的文件。我打开 HTML 或 XML 报告,它总是只有一个规范文件的结果。我似乎无法将任何信息带入多个规范文件的摘要中。我调整了“合并(全部)”设置,似乎没有一个为所有规范文件构建报告。他们似乎一次只考虑一个文件。

我对以下记者进行了实验:

Jasmine 记者

Jasmine 规范记者

Protractor -jasmine2-html-reporter

jasmine-json-test-reporter

我已经能够直接操纵 Protractor “reportSummary”代码来提供我想要的大部分内容(除了 saucelabs 链接),但这并不理想,因为我必须说服他们采用它。这是我的摘要的样子:
******************** 
*  FAILED SPEC(S)  * 
******************** 

/Playground/Test_Spec_2.js failed 2 test(s) 
    can log in once
        FAILURE: Expected false to be true, 'Didn't see home page'. 
        FAILURE: Expected false to be true, 'Didn't see link'. 
    can log in twice
        PASSED 
    can log in thrice
        FAILURE: Expected false to be true, 'Didn't see home page'. 

/Playground/Test_Spec_3.js failed 1 test(s) 
    can login
        FAILURE: Expected false to be true, 'Didn't see home page'.  

******************** 
*     SUMMARY      * 
******************** 
overall: 2/4 failed spec(s) 
******************** 

使用那些 Jasmine 记者我错过了什么吗?我的框架是不是没有按照我想要的方式与那些记者一起工作?我是否应该说服 Protractor 人员通过一些选项来加强他们的摘要记者?

最佳答案

在所有测试运行后,您可以加入所有报告。只需确保您在同一个文件夹中拥有所需的所有测试

  return browser.getCapabilities().then(function (caps) {
        var sessionId = caps.get('webdriver.remote.sessionid');
        var date = dateMethods.getCurrentDate();
        var folder = 'test-results/reports-' + date;
        jasmine.getEnv().addReporter(new yourReporter({
            savePath: folder + '/report' + '-' + sessionId.substr(0, 5)
        }));
    });

然后您可以加入他们并删除文件夹(使用“fs”模块或类似的东西)或重命名它,以便每次运行时创建一个新文件夹

关于automation - 汇总多个规范文件的 Protractor 结果,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32851873/

相关文章:

dialog - 如何单击弹出对话框窗口

javascript - BlanketJS + Jasmine + RequireJS 无代码覆盖率

javascript - 使用 Jasmine/Angular 测试异步函数

testing - 使用带有元素 by.id Protractor 测试错误的输入框

javascript - 我如何将 expect() 与 Protractor promise 链中的非 Protractor promise 混合使用?

linux - 将公网ip写入txt并自动上传到FTP? (Linux)

html - Rspec 和 Watir;在按钮元素中定位和更改 <span> 文本

linux - 适用于 Linux 的易于使用的 AutoHotkey/AutoIt 替代品

ionic-framework - 使用包含 [virtualScroll] 属性的 ion-list 对页面进行单元测试

javascript - Protractor 找不到任何元素,但元素在浏览器中呈现