2017年11月28日
爬虫的一般步骤
摘要： 希望下次写代码的时候可以严格按照这个步骤进行调试，写可维护的代码 1. 创建一个项目 scrapy startproject demo 1. 根据需要设计字段 items.py *************** 2. 数据提取 spiders.py 根据网站的规则： 设置相应的策略 1）针对没有ban 阅读全文
posted @ 2017-11-28 16:41 人微言轻1 阅读(397) 评论(0) 推荐(0)
微风轻轻起
摘要： 明明有直路可以走，偏偏要走弯路！，也许这就是我的路 阅读全文
posted @ 2017-11-28 13:36 人微言轻1 阅读(123) 评论(0) 推荐(0)
解决网站需要cookies登录和内容需要动态加载问题
摘要： phantomjsMiddleware 阅读全文
posted @ 2017-11-28 11:37 人微言轻1 阅读(735) 评论(0) 推荐(0)