代码改变世界

使用“数据驱动测试”之前你应该知道的(二)

2018-08-05 19:28 by 虫师, ... 阅读, ... 评论, 收藏, 编辑

我们继续上期的话题,单纯读取数据文件来做自动化是有诸多问题的。那么我们借助单元测试框架来做自动化就爽多了,因为它解决了测试中的几问题。

  • 如何定义一条测试用例,我们知道编程的世界里并没“用例”的概念。它只有目录、文件、类、方法、函数...,而单元测试框架告诉我们如何定义一条用例。

  • 如何写断言,是的!当你做了一堆操作之后,如何判断这一系列操作是符合预期的,那么一定要拿实际结果与预期结果进行比较,而单元测试框架告诉我们如何写断言。

  • 测试结果统计,当执行了一系列的用例之后,总共运行了多少条用例,成功了多少条,失败了多少条,失败的用例错误在哪里?单元测试框架会帮我们统计和展示。

被测功能还是上一篇的功能。



这里以unittest 单元测试框架为例。

import unittest
from selenium import webdriver
from time import sleep

class LoginTest(unittest.TestCase):

    @classmethod
    def setUpClass(cls):
        cls.driver = webdriver.Chrome()
        cls.url = "http://127.0.0.1:8000/"
        cls.driver.implicitly_wait(10)

    @classmethod
    def tearDownClass(cls):
        cls.driver.quit()

    def user_login(self, username, password):
        driver = self.driver
        driver.get(self.url)
        driver.find_element_by_id("inputUsername").send_keys(username)
        driver.find_element_by_id("inputPassword").send_keys(password)
        driver.find_element_by_id("Login").click()

    def atest_login_01(self):
        self.user_login("", '123')
        tips = self.driver.find_element_by_id("tips").text
        self.assertEqual(tips, '请输入帐号')

    def atest_login_02(self):
        self.user_login("user", "")
        tips = self.driver.find_element_by_id("tips").text
        self.assertEqual(tips, '请输入密码')

    def atest_login_03(self):
        self.user_login("error", "error")
        tips = self.driver.find_element_by_id("tips").text
        self.assertEqual(tips, '帐号或密码错误')

    def atest_login_04(self):
        self.user_login("admin", "admin123456")
        sleep(2)
        tips = self.driver.find_element_by_id("user").text
        self.assertEqual(tips, 'admin你好')


if __name__ == '__main__':
    unittest.main()

看!测试代码是不是非常清晰。运行结果如下。

...F
======================================================================
FAIL: test_login_04 (__main__.LoginTest)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "test_login.py", line 43, in test_login_04
    self.assertEqual(tips, 'admin你好')
AssertionError: 'admin' != 'admin你好'
- admin
+ admin你好
?      ++

----------------------------------------------------------------------
Ran 4 tests in 12.977s

FAILED (failures=1)

结果告诉我们运行了4条测试,1条失败了,失败的原因是test_login_04用例断言预期结果为“admin你好”,实际结果为“admin”。

可是,这没有用到读取数据文件啊?不是,数据驱动啊? 我以为这么规范的编写测试用例,要啥自行车。

其实,我已经尽量的把登录操作做了封装,每条用例里面只关心登录的数据和结果的断言。谁告诉你“数据驱动”就必须要“读取数据文件”的?



我们继续引入unitest的参数化。

import unittest
from selenium import webdriver
from time import sleep
from parameterized import parameterized


class LoginTest(unittest.TestCase):

    @classmethod
    def setUpClass(cls):
        cls.driver = webdriver.Chrome()
        cls.url = "http://127.0.0.1:8000/"
        cls.driver.implicitly_wait(10)

    @classmethod
    def tearDownClass(cls):
        cls.driver.quit()

    def user_login(self, username, password):
        driver = self.driver
        driver.get(self.url)
        driver.find_element_by_id("inputUsername").send_keys(username)
        driver.find_element_by_id("inputPassword").send_keys(password)
        driver.find_element_by_id("Login").click()

    @parameterized.expand([
        ("user_null", '', "123", "请输入帐号"),
        ("pawd_null", "user", '', "请输入密码"),
        ("login_error", "error", "error", "帐号或密码错误"),
        ("login_success", "admin", "admin123456", "admin你好"),
    ])
    def test_login(self, name, username, password, assert_text):
        self.user_login(username, password)
        if name == "login_success":
            sleep(2)
            tips = self.driver.find_element_by_id("user").text
            self.assertEqual(tips, assert_text)
        else:
            tips = self.driver.find_element_by_id("tips").text
            self.assertEqual(tips, assert_text)


if __name__ == '__main__':
    unittest.main(verbosity=2)

反正都是定义测试数据,这里提供了规范的元组给你用来定义数据,而且测试数据与测试方法上下呼应,维护起来也比读取文件方便多了,这次还要啥自行车?

测试结果:

test_login_0_user_null (__main__.LoginTest) ... ok
test_login_1_pawd_null (__main__.LoginTest) ... ok
test_login_2_login_error (__main__.LoginTest) ... ok
test_login_3_login_success (__main__.LoginTest) ... FAIL

======================================================================
FAIL: test_login_3_login_success (__main__.LoginTest)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "C:\Python36\lib\site-packages\parameterized-0.6.1-py3.6.egg\parameterized\parameterized.py", line 392, in standalone_func
    return func(*(a + p.args), **p.kwargs)
  File "test_login.py", line 37, in test_login
    self.assertEqual(tips, assert_text)
AssertionError: 'admin' != '请输入密码'
- admin
+ 请输入密码

----------------------------------------------------------------------
Ran 4 tests in 12.363s

FAILED (failures=1)

测试结果依然清晰明白。

这个话题,本来到此就结束了,我其实是很鄙视读取数据文件的操作的,因为真get不到它的“方便”之处,做自动化测试写代码就老老实实的写代码,就你测试用的这点数据,真没必要读取文件,数据库就更谈不上了。但是,那么多人都在分享读取数据文件的demo(实际规模化之后就不得而知了),我也看了不少资料,找到一些勉强能接受的方法。

当然,这又是另一篇文章了。

Web Page Counters
Computer Desks