构建自动化前端样式回归测试——BackstopJS篇

在使用scss和less开发的时候,遇到过一件很有趣的事,因为网站需要支持响应式,就开了一个响应式样式框架,简单的几百行scss代码,居然生成了近100KB的css代码,因此决定重构这个样式库。而重构后的项目总是出现各种各样的问题,尤其在响应式方面,可能在一种分比率下页面显示正常,而在另一种分辨率下页面却变得面目全非,几次调整都有遗漏的地方,忙得测试人员(其实就是我自己了)不可开交。最后总结为样式开发也是需要做自动化回归测试的,尤其是开发具有响应式功能的复杂样式库的时候,自动化测试尤其重要。

 

如何做前端样式的自动化回归测试呢?

BackstopJS就是一个能够实现css自动化回归测试的工具,和Mocha这种依靠JavaScript判断断言语句正误和PhantomJS以模拟用户操作的测试工具不同,BackstopJS是一个基于比较网站快照的变化的回归测试工具,因此他更适给项目中的样式做回归测试,可以确保我们在重构网站样式的时候样式不发生变化,而且他支持设置多种浏览器尺寸,可以测试响应式布局。

 

BackstopJS具有以下特性:

  • 支持多页面、多测试用例测试
  • 可以使用脚本模拟出用户的交互动作
  • 提供命令行和浏览器两种形式报告
  • 支持PhantomJS或SlimerJS做浏览器引擎,事实上两种引擎也可以改造出基于快照对比的回归测试方案,但是BackstopJS使用更简单,并且做到了可以通过配置切换引擎。
  • 支持设置多种浏览器尺寸,方便实现响应式布局测试
  • 可以测试HTML5元素,比如网页字体和Flexbox
  • 提供了扩展接口,可供用户集成到其他测试系统中 

安装方法为:

npm install -g backstopjs

使用方法:

BackstopJS的具体工作流程可以分为3步:

1.配置:该步骤用户需要创建一个backstop.json文件,设置屏幕的尺寸、访问页面的url、测试区域的dom选择器、准备事件、用户交互等

2.准备测试样板:生成一系列页面快照,之后BackstopJS将根据这些快照作为页面是否存在bug的判断样板

3.测试:使用当前页面样式快照和之前的样板快照进行比较,如果出现不希望的变化就报告出来

 

BackstopJS提供了两种使用方式,cli和commonjs模块。cli可以提供命令行式的工具,而commonjs模块可以让我们在nodejs里面调用,方便继承其他测试系统中。

 

我们简单配置一个回归测试的dome:

1.配置

这是BackstopJS的核心,配置文件默认名为backstop.json,下面是测试配置的示例:

{
  //测试用例id,用于BackstopJS管理和为文件命名
  "id": “backstop_prod_test",
  //测试视口,就是配置各种分辨率
  "viewports": [
    {
      "name": "phone",
      "width": 320,
      "height": 480
    }],
  //在执行所有脚本前、页面加载后执行的脚本。通过他我们可以执行用express做一个静态服务器
  "onBeforeScript": "onBefore.js",
  "onReadyScript": “onReady.js",
  //测试用例
  "scenarios": [
    {
      //测试用例名称
      "label": “homepage",
      //测试的地址
      "url": “https://garris.github.io/BackstopJS/",
      //测试的区域,支持css选择器,然后BackstopJS会将选择器指定的地方截屏
      "selectors": [
        ".class",
        “#id"
      ],
      "selectorExpansion": true,
      "hideSelectors": [],
      "removeSelectors": [],
      "readyEvent": null,
      "delay": 500,
      "misMatchThreshold" : 0.1,
      //在各种的测试用例执行时、页面加载后前行,我们可以把我们对页面操作的模拟脚本放进onReady.js中
      "onBeforeScript": "onBefore.js",
      "onReadyScript": "onReady.js"
    }
  ],
  //测试图片的输出路径
  "paths": {
    "bitmaps_reference": "backstop_data/bitmaps_reference",
    "bitmaps_test": "backstop_data/bitmaps_test",
    "casper_scripts": "backstop_data/casper_scripts",
    "html_report": "backstop_data/html_report",
    "ci_report": "backstop_data/ci_report"
  },
  //测试用的浏览器或模拟器,这里用的是PhantomJS
  "engine": “phantomjs",
  //报告的形式,支持命令行和浏览器两种
  "report": [“browser"],
  //是否打印测试日志
  "debug": false
}

 

通过设置viewports我们可以配置多种屏幕尺寸,这样可以完成响应式布局的测试。

scenarios可以配置多个测试用例。url指定了需要测试页面的地址;selector指定要测试的区域,如果整个页面都是测试区域可以直接给document或者是body。

在测试用例的onReadyScript中我们可以设置模拟用户的操作的脚本,如:

module.exports = function(casper, scenario, vp) {
  
  // Example: setting cookies
  casper.echo("Setting cookies");
  casper.then(function(){
    casper.page.addCookie({some: 'cookie'});
  });
  // `casper.thenOpen()` demonstrates a redirect to the original page with your new cookie value.
  // this step is not required if used with _onBeforeScript_
  casper.thenOpen(scenario.url);

  // Example: Adding script delays to allow for things like CSS transitions to complete.
  casper.echo( 'Clicking button' );
  casper.click( '.toggle' );
  casper.wait( 250 );

  // Example: changing behavior based on config values
  if (vp.name === 'phone') {
    casper.echo( 'doing stuff for just phone viewport here' );
  }

  // ...do other cool stuff here, see Casperjs.org for a full API and many ideas.
}

这些脚本都是放在casper_scripts配置的目录中。

2.准备样板图

执行命令行:

 

backstop reference 

 

backstop会自动截取屏幕整个样板图,并会存在bitmaps_reference指定的路径下。

 

为了能够和服务器集成,我们使用commonjs模块的形式调用backstopjs,如:

var http = require('http');

var express = require('express');

var backstop = require('backstopjs');

var path = require('path');

var app = express();

app.use("/", express.static(path.join(__dirname ,'../html/')));


// 创建服务端var sever = http.createServer(app).listen('3000', function() {
   
    //执行backstop
    backstop('reference').then(function () {

        sever.close();

    });

});

在我们重构项目之前,可以运行这个脚本,这样就可以生成样板图,为重构后做测试使用。

生成的样板图格式如下图:

3.测试

在重构样式后执行命令行:

backstop test

同样为了能够和服务器集成,我们使用commonjs模块的形式调用backstopjs,如:

var http = require('http');

var express = require('express');

var backstop = require('backstopjs');

var path = require('path');

var app = express();

app.use("/", express.static(path.join(__dirname ,'../html/')));


// 创建服务端var sever = http.createServer(app).listen('3000', function() {
   
    //执行backstop
    backstop('test').then(function () {

        sever.close();

    });

});

如果新生成的图片和样板图不一样,就会报错。生成的报告有两种形式——命令行报告和浏览器报告,这里展示的是浏览器报告结果:

详细demo可以查看https://github.com/laden666666/BackstopJSDemo

 

这里展示了backstopjs做自动化回归测试的一个例子,backstopjs基本能够满足我们的需求,可以支持响应式布局测试、可以和服务器集成、可以切换浏览器引擎等。不过也有缺点,因为PhantomJS和SlimerJS分别是使用webkit(blink,chrome的内核)和 Gecko (Firefox内核)作为内核,因此无法模拟ie浏览器做测试,下一步准备继续研究测试ie的方法。

posted @ 2017-02-11 21:50  laden666666  阅读(5317)  评论(2编辑  收藏  举报