摘要: 周末了解了scrapy框架,对上次使用requests+bs4+re进行股票爬虫(http://www.cnblogs.com/wyfighting/p/7497985.html)的代码,使用scrapy进行了重写。 目录结构: stocks.py文件代码 pipelines.py文件代码: set 阅读全文
posted @ 2017-09-18 08:52 wy820 阅读(315) 评论(0) 推荐(0)
摘要: 目标:获取股票上交所和深交所所有股票的名称和交易信息,保存在文件中 使用到的技术:requests+bs4+re 网站的选择(选取原则:股票信息静态存在HTML页面,非js代码生成没哟robot协议限制) 1. 获取股票列表:http://quote.eastmoney.com/stocklist. 阅读全文
posted @ 2017-09-09 14:20 wy820 阅读(2008) 评论(0) 推荐(0)
摘要: 目标:获取淘宝搜索页面的信息,提取其中的商品名称和价格 程序的设计结构: 步骤1:提交商品获取请求,循环获取页面 步骤2:对于每个页面,提取商品名称和价格信息 步骤3:将信息输到屏幕上 在淘宝网站的搜索框中输入关键词 如“书包”,点击搜索,查看结果首页的url为: https://s.taobao. 阅读全文
posted @ 2017-09-09 11:42 wy820 阅读(1406) 评论(0) 推荐(0)
摘要: 今天学了Python中面向对象的知识——类 感觉与Java的很相似但也有不同之处。比如Java中只有静态的属性才能直接用类名访问,非静态属性必须用实例来访问;而Python中,在类中定义的属性是类的属性,直接用类名访问。而__init__初始化的属性是实例的属性。其次Java中的继承和多态是不同的, 阅读全文
posted @ 2017-09-08 14:32 wy820 阅读(326) 评论(0) 推荐(0)
摘要: 把接口测试的代码分别封装到了不同的模块中,只是简单的写入了类,类和属性等的使用还在学习中。impTestcase.py sendreq.py outputResult.py main.py 下一步的计划是:1. 学习模块、类、实例等OOP的知识; 2. 运用所学知识进一步优化代码; 3. 使用pyc 阅读全文
posted @ 2017-09-06 09:01 wy820 阅读(175) 评论(0) 推荐(0)
摘要: 爬取的是 ‘’最好大学网‘’,提取2017年排名前20名大学的名称和分数 结果: 阅读全文
posted @ 2017-09-03 11:56 wy820 阅读(217) 评论(0) 推荐(0)
摘要: 优化了上次的代码,请求方式可接收get和post两种,代码中对两种方式做了判断。 测试结果中提取了测试用例的名称、请求返回的状态、请求的时间。 测试用例 测试结果 之后的计划: 1. 优化导入用例以及封装请求的代码 2. 优化测试结果,展示位更友好的页面 3. 由于这短时间学习的过程中使用的都是no 阅读全文
posted @ 2017-09-03 11:36 wy820 阅读(217) 评论(0) 推荐(0)
摘要: 尝试写了一个简单的接口测试,基于Python3.4,主要用到了Python读取excel以及requests库的知识,也算是对这段时间Python基础知识学习的一个巩固吧。 因为还没有学习到Python中类、对象等相关知识,所以代码看起来很散,没有封装,也没有优化。如有问题,希望大家能帮忙指出。 【 阅读全文
posted @ 2017-08-31 17:17 wy820 阅读(228) 评论(0) 推荐(0)