2018年5月12日
Scrapy框架——CrawlSpider爬取某招聘信息网站
摘要： CrawlSpider Scrapy框架中分两类爬虫，Spider类和CrawlSpider类。 它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页， 而CrawlSpider类定义了一些规则(rule)来提供跟进link的方便的机制，从爬取的网页中获取link 阅读全文
posted @ 2018-05-12 10:50 一只小小的寄居蟹 阅读(379) 评论(0) 推荐(0)