魔仙小丽丽

摘要： 1.创建爬虫： scrapy genspider爬虫名 域名 注意：爬虫的名字不能和项目名相同 2. scrapy list --展示爬虫应用列表 scrapy crawl爬虫应用名称 运行单独爬虫应用 使用scrapy框架爬取糗事百科段子： 使用命令创建一个爬虫： scrapy gensipder 阅读全文

摘要： 1.写一个爬虫，需要做很多事情。比如：发送网络请求，数据解析，数据存储，反扒虫虫机制（更换IP代理，设置请求头等），异步请求等。这些工作如果每次都要从零开始写的话，比较浪费时间。因此scrapy吧一些基础的东西封装好了，在他上面写爬虫可以变的更加高效（爬去效率和开发效率）。因此真正在公司里，一些上了 阅读全文