2020年4月6日
Scrapy框架——CrawlSpider爬取某热线网站
摘要： CrawlSpider Scrapy框架中分两类爬虫，Spider类和CrawlSpider类。 它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页， 而CrawlSpider类定义了一些规则(rule)来提供跟进link的方便的机制，从爬取的网页中获取link 阅读全文
posted @ 2020-04-06 01:11 一只小小的寄居蟹 阅读(340) 评论(0) 推荐(0)