摘要：由于这段时间需要有关学校的三级联动插件，找了很久没有找到合适的，所以去教育部官网下载了一份全国普通高校名单(2019年)， 这里附上解析该xls文件的代码 全国普通高校json包 1.格式A 可以去该网站解析一下，有助于熟悉该结构形式 2.格式B(文件) 好了， 记录一下， 继续学习可 阅读全文

摘要：在这里我们使用CrawlSpider爬虫模板， 通过其过滤规则进行抓取， 并将抓取后的结果存入mysql中，下面直接上代码： jianshu_spider.py items.py pipelines.py model.py 阅读全文

摘要：1. scrapy.CrawlSpider scrapy框架提供了多种类型的spider，大致分为两类，一类为基本spider（scrapy.Spider），另一类为通用spider（scrapy.spiders.CrawlSpider、scrapy.spiders.XMLFeedSpider、sc 阅读全文

摘要：1. 什么是scrapy？ 其官网是这样简述的，“A Fast & Powerful Scraping &Crawling Framework ”, 并且其底层以twisted作为网络架构( Python实现的基于事件驱动的网络引擎框架)，所以爬取效率及性能出色。 定义·：Scrapy是一个为了爬取 阅读全文

摘要：1.selenium Selenium 本是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。而这一特性为爬虫开发提供了一个选择及方向，由于其本身依赖于浏览器，所以使用Python的selenium库的前提是：需要下载相应的浏览器驱动程序，这里附上C 阅读全文