随笔分类 -  Python爬虫

摘要：1. Scrapy框架 Scrapy是python下实现爬虫功能的框架，能够将数据解析、数据处理、数据存储合为一体功能的爬虫框架。 2. Scrapy安装 1. 安装依赖包 2. 安装scrapy 注意事项：scrapy和twisted存在兼容性问题，如果安装twisted版本过高，运行scrapy 阅读全文

摘要：1. 异步加载爬虫 对于静态页面爬虫很容易获取到站点的数据内容，然而静态页面需要全量加载站点的所有数据，对于网站的访问和带宽是巨大的挑战，对于高并发和大访问访问量的站点来说，需要使用AJAX相关的技术来实现异步加载，即根据需要来获取数据，以pexels网站为例，按F12，切换到Network的XHR 阅读全文

摘要：1. 多进程爬虫 对于数据量较大的爬虫，对数据的处理要求较高时，可以采用python多进程或多线程的机制完成，多进程是指分配多个CPU处理程序，同一时刻只有一个CPU在工作，多线程是指进程内部有多个类似"子进程"同时在协同工作。python中有多种多个模块可完成多进程和多线程的工作，此处此用mult 阅读全文

摘要：1. 爬虫设计的技术 1）数据获取，通过http获取网站的数据，如urllib,urllib2,requests等模块； 2）数据提取，将web站点所获取的数据进行处理，获取所需要的数据，常使用的技术有：正则re，BeautifulSoup,xpath； 3）数据存储，将获取的数据有效的存储，常见的 阅读全文