随笔分类 -  爬虫

分布式爬虫
摘要：一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul 阅读全文
posted @ 2018-03-28 15:20 East~L 阅读(122) 评论(0) 推荐(0)
爬虫
摘要：待更新... 阅读全文
posted @ 2018-01-25 15:10 East~L 阅读(84) 评论(0) 推荐(0)
Scrapy框架
摘要：Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Ser 阅读全文
posted @ 2018-01-24 15:46 East~L 阅读(224) 评论(0) 推荐(0)
爬虫提高性能：串行、线程进程、异步非阻塞
摘要：阅读目录 一 背景知识 二 同步、异步、回调机制 三 高性能 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等 阅读全文
posted @ 2018-01-24 15:39 East~L 阅读(267) 评论(0) 推荐(0)
Beautifulsoup模块
摘要：一 简介 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautifu 阅读全文
posted @ 2018-01-19 16:21 East~L 阅读(153) 评论(0) 推荐(0)
请求库之selenium
摘要：一 介绍 二 安装 安装：selenium+chromedriver pip3 install selenium 下载chromdriver.exe放到python安装路径的scripts目录中即可，注意最新版本是2.29，并非2.9 国内镜像网站地址：http://npm.taobao.org/m 阅读全文
posted @ 2018-01-17 19:27 East~L 阅读(191) 评论(0) 推荐(0)
请求库之requests
摘要：一 介绍 二 基于GET请求 1、基本请求 2、带参数的GET请求->params #在请求头内将自己伪装成浏览器，否则百度不会正常返回页面内容 import requests response=requests.get('https://www.baidu.com/s?wd=python&pn=1 阅读全文
posted @ 2018-01-15 21:37 East~L 阅读(186) 评论(0) 推荐(0)
爬虫基本原理
摘要：一 什么是爬虫 二 爬虫的基本流程 三 请求与响应 四 Request 五 Response 六 总结 import requests import re import time import hashlib def get_page(url): print('GET %s' %url) try: 阅读全文
posted @ 2018-01-15 20:02 East~L 阅读(266) 评论(0) 推荐(0)