2017年8月18日
python 自建爬虫复用简单框架(gevent异步)
摘要： 一般爬虫可以分为以下几个步骤： 一、打开指定网页 二、解析网页 三、处理/存储数据，新增任务网页 另外异步的话，需要调度器。 简单爬虫的话，不需要搞复杂验证码，requests/urllib修改cookie,header就能访问的话，写一个打开，一个解析就够了，处理数据和新任务，直接写在解析类就下， 阅读全文
posted @ 2017-08-18 19:03 willowj 阅读(895) 评论(0) 推荐(0)