我在本次项目中负责的主要部分就是编写爬虫程序,然后将爬取到的程序传递给数据库。所以我本次的测试也是偏重在这方面的。

测试目的就主要是测试出程序依旧存在的不足之处,并以文档的形式记录下来,方便接下来的开发者了解项目历史。

因为没有找到关于爬虫程序的测试工具,所以这次的测试是以黑盒测试的方法,也就是直接运行爬虫程序,对比结果来测试的。

通过测试,我发现了爬虫程序依旧存在的两项不足。

1、爬虫虽然设计成了可以爬取大半的文本格式,但是因为网站文本格式太过繁杂的原因,还是有部分的文本无法爬取,这就导致了部分网页上的信息不能保存到数据库。

2、爬虫没有做词义识别,所以有些无用的信息也被爬取下来,保存 进了数据库。

 

通过这次的测试,除了发现了程序存在的不足之外,我还对我们的项目有了一个更加直观的了解。