随笔分类 -  爬虫

python爬虫之Scrapy分布式
摘要：Scrapy单机架构 上图的架构师一种单机架构, 只在本机维护一个爬取队列, Scheduler进行调度, 而要实现多态服务器共同爬去数据关键就是共享爬取队列. Scrapy不可以自己实现分布式 : 1. 多台机器上部署的scrapy灰鸽子拥有各自的调度器, 这样就使得多态机器无法分配start_u 阅读全文
posted @ 2019-01-24 18:21 唯你如我心 阅读(484) 评论(0) 推荐(0)
python爬虫之Cookie和Session
摘要：什么是Cookie 简单来说就是当用户通过http协议访问一个服务器的时候, 这个服务器会将一些Name/Value兼职对返回给客户端浏览器, 并将这些数据加上一些限制条件. 在条件符合时, 这个用户下次再访问服务器的时候, 数据又被完整的带给服务器. 因为http是一种无状态协议, 用户首次访问w 阅读全文
posted @ 2019-01-24 15:50 唯你如我心 阅读(1009) 评论(0) 推荐(0)
python爬虫之Scrapy框架的中间件
摘要：Downloader Middleware处理的过程主要在调度器发送requests请求的时候以及网页将response结果返回给spider的时候, 所以说下载中间件是结余Scrapy的request/response处理的钩子, 用于修改Scrapy request和response. 编写自己 阅读全文
posted @ 2019-01-23 20:02 唯你如我心 阅读(637) 评论(0) 推荐(0)
python爬虫之Scrapy框架中的Item Pipeline用法
摘要：当Item在Spider中被收集之后, 就会被传递到Item Pipeline中进行处理. 每个item pipeline组件是实现了简单的方法的python类, 负责接收到item并通过它执行一些行为, 同时也决定此item是否继续通过pipeline, 或者被丢弃而不再进行处理. item pi 阅读全文
posted @ 2019-01-23 19:44 唯你如我心 阅读(2743) 评论(0) 推荐(0)
python爬虫之spider用法
摘要：Spider类定义了如何爬取某个网站, 包括爬取的动作以及如何从网页内容中提取结构化的数据, 总的来说spider就是定义爬取的动作以及分析某个网页. 工作流程分析 : 1. 以初始的URLRequest, 并设置回调函数, 当该requeset下载完毕并返回时, 将生成response, 并作为参 阅读全文
posted @ 2019-01-22 20:59 唯你如我心 阅读(15178) 评论(0) 推荐(0)
python爬虫之Scrapy框架中的选择器
摘要：选择器 Scrapy提取数据有自己的一套机制, 被称作为选择器(selectors), 通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分 Xpath是专门在XML文件中选择节点的语言, 也可由用在HTML. CSS是一门将HTML文档样式化语言, 选择器由它定义, 并与特定的HTML 阅读全文
posted @ 2019-01-22 18:17 唯你如我心 阅读(707) 评论(0) 推荐(0)
python爬虫之Scrapy框架的架构原理和基本命令
摘要：Scrapy框架 Scrapy使用了Twisted作为框架,Twisted有些特殊的地方是它是事件驱动的, 并且比较适合异步的代码, 对于会阻塞线程的操作包含访问文件, 数据库或者Web, 产生新的进程并需要处理新进程的输出(如运行shell命令), 执行系统层次操作的代码(冗余等待系统队列), T 阅读全文
posted @ 2019-01-22 17:29 唯你如我心 阅读(672) 评论(0) 推荐(0)
python爬虫之Selenium
摘要：什么是Selenium : selenium是一套完整的web应用程序测试系统, 包含了测试的录制(selenium IDE), 编写以及运行(Selenium Remote Control) 和测试的并行处理(Selenium Grid). Selenium的核心Selenium Core基于Js 阅读全文
posted @ 2019-01-17 20:49 唯你如我心 阅读(405) 评论(0) 推荐(0)
python爬虫之Requests库
摘要：requests功能展示 : 很多情况下的网站直接使用response.text可能会出现乱码的问题, 所以就需要使用response.content, 此方法返回的数据格式其实是二进制格式,然后通过decode()转换为utf-8, 这样就解决了通过response.text直接返回显示乱码的问题 阅读全文
posted @ 2019-01-17 17:55 唯你如我心 阅读(283) 评论(0) 推荐(0)
python爬虫常识
摘要：什么是爬虫? 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据 爬 阅读全文
posted @ 2019-01-10 22:07 唯你如我心 阅读(399) 评论(0) 推荐(0)