Automated Test Framework (ATF)

Automated Test Framework (ATF)简介

什么是Automated Test Framework (ATF)           

自动化测试框架(ATF)使您能够创建和运行自动化测试，以确认您的实例在做出更改后能够正常工作。例如，在upgrade升级之后，在应用程序开发期间，或者在使用update set部署实例配置时。查看失败的测试结果，以确认导致失败的变更，以及应该确认的变更。(默认情况下，运行ATF的system property是禁用的，以防止您意外地在生产系统上运行它们。仅在开发、测试和其他非生产实例上运行测试，以避免数据损坏和中断。)

ATF为什么诞生

1. ATF应用以前平均而言，手动测试耗费了43%的升级时间和资源

2. 手工测试者之间一致的可重复性很难管理

3. 当ServiceNow用户界面改变时，由第三方工具创建的自动化测试中断

4. 当新的ServiceNow版本不是最新版本时，项目风险会增加

   ​

如何解决以上问题

1. 通过减少实例验证所需的时间，增加ServiceNow客户升级价值

2. 根据需要，以完全相同的方式执行实例验证，从而提高质量

3. 使框架用户界面独立且升级安全，同时不需要额外的许可成本

4. 通过提供更高效的升级来管理风险，让客户保持最新状态

   ​

ATF可以实施的测试类型

1. 功能业务逻辑测试（ functional business logic testing）

2. 回归测试（ regression testing）

3. 浏览器兼容测试（browser compatibility testing）

4. 服务器端Jasmine 测试（Sever-side Jasmine testing）

   ​

整合额外的测试工具

将ATF视为整体测试策略中的主要工具之一。ATF涵盖了实施ServiceNow所需的大部分测试案例。然而，仍然有一些领域需要手工测试或者使用第三方测试工具，比如Selenium。

• 负载测试(Load testing)

• 性能试验(Performance testing)

• 报告测试(Report testing)

• 电子邮件格式测试(Email format testing)

  ​

ATF测试的重要元素

• 测试套件（Test suites）：Test suites将通常同时执行的测试组合在一起。测试套件代表一个或多个Test或其他Test suite的分组。子测试套件的层次可以是任何级别。同一个测试可以包含在多个测试套件中。然而，一个测试套件只能被分配一个父测试套件。
  

• 测试（Tests）：一个ATF Test代表一组验证预期最终结果的操作和断言。测试中的一些测试步骤是在客户端用户界面上执行的，而其他步骤是在服务器上执行的。一个测试可以包括客户端和服务器端的动作和断言。
  
  ​

• 测试步骤（Test steps）：Test steps代表测试中的单个操作或断言，例如创建用户、打开表单或验证字段值。
  

ATF Roles

• 测试设计者(Test Designer):虽然编码技能不是强制性的，但是调试测试需要高级的ServiceNow和ATF知识。
  • Create, edit, and delete tests suites
  • Create, edit, and delete tests
  • Add test steps to tests using existing test step configurations (new test step configurations can only be created by a Test Administrator)
  • Run tests and test suites
  • View test results
  • View ATF system properties
• 测试管理员(Test Administrators) :测试管理员确保ATF系统属性设置正确，以控制ATF环境在实例中的操作方式。管理员还定义保留策略，以确定测试结果应保留多长时间。测试管理员所需要的大部分时间都涉及到创建新的测试步骤配置。一旦创建，任何ATF角色都可以重用测试步骤配置。项目需要的新测试步骤配置越多，对测试管理员的影响就越大。由于新的测试步骤配置是使用脚本创建的，测试管理员应该具有高级编码经验。
  • Edit ATF system properties
  • Create test step configurations
• Web服务测试人员(Web Service Testers)：web服务测试利用REST集成。然而，像SOAP这样的技术可以通过脚本来使用。所需的web服务测试人员的数量取决于实现的Web服务集成定制的数量。因为web服务集成可能需要使用脚本，所以Web服务测试人员应该具有高级编码经验。
  • Build web service tests

确定ATF开发的影响

• *测试详细程度(Level of test detail )

• *现有开发的质量(Quality of existing development)

• *客户端测试的数量(Number of client-side tests)

• *每个测试的独特性(Uniqueness of each test)

• 测试步骤的数量(Number of test steps)

• 测试用例的数量(Number of test cases)

  ​

通过quick start test加速开发

quick start tests由ServiceNow提供，重点关注客户最常要求的基本测试案例。quick start tests是inactive的readonly 模板。当使用相应的ServiceNow插件提供的演示数据运行时，它们只产生一个通过结果。要允许quick start tests针对您的实例数据成功运行，您必须首先创建快速启动测试的副本。复制quick start tests后，您可以应用任何所需的更改并运行测试。

quick start test配置链接