唯你如我心

摘要： Downloader Middleware处理的过程主要在调度器发送requests请求的时候以及网页将response结果返回给spider的时候, 所以说下载中间件是结余Scrapy的request/response处理的钩子, 用于修改Scrapy request和response. 编写自己 阅读全文

摘要： 当Item在Spider中被收集之后, 就会被传递到Item Pipeline中进行处理. 每个item pipeline组件是实现了简单的方法的python类, 负责接收到item并通过它执行一些行为, 同时也决定此item是否继续通过pipeline, 或者被丢弃而不再进行处理. item pi 阅读全文

摘要： Spider类定义了如何爬取某个网站, 包括爬取的动作以及如何从网页内容中提取结构化的数据, 总的来说spider就是定义爬取的动作以及分析某个网页. 工作流程分析 : 1. 以初始的URLRequest, 并设置回调函数, 当该requeset下载完毕并返回时, 将生成response, 并作为参 阅读全文

摘要： 选择器 Scrapy提取数据有自己的一套机制, 被称作为选择器(selectors), 通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分 Xpath是专门在XML文件中选择节点的语言, 也可由用在HTML. CSS是一门将HTML文档样式化语言, 选择器由它定义, 并与特定的HTML 阅读全文

摘要： Scrapy框架 Scrapy使用了Twisted作为框架,Twisted有些特殊的地方是它是事件驱动的, 并且比较适合异步的代码, 对于会阻塞线程的操作包含访问文件, 数据库或者Web, 产生新的进程并需要处理新进程的输出(如运行shell命令), 执行系统层次操作的代码(冗余等待系统队列), T 阅读全文

摘要： 什么是Selenium : selenium是一套完整的web应用程序测试系统, 包含了测试的录制(selenium IDE), 编写以及运行(Selenium Remote Control) 和测试的并行处理(Selenium Grid). Selenium的核心Selenium Core基于Js 阅读全文

摘要： requests功能展示 : 很多情况下的网站直接使用response.text可能会出现乱码的问题, 所以就需要使用response.content, 此方法返回的数据格式其实是二进制格式,然后通过decode()转换为utf-8, 这样就解决了通过response.text直接返回显示乱码的问题 阅读全文

摘要： 什么是爬虫? 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据 爬 阅读全文

摘要： MongoDB修改器 在mongodb中通常文档只会有一部分要更新，利用原子的更新修改器，可以做到只更新文档的一部分键值，而且更新极为高效，更新修改器是种特殊的键，用来指定复杂的更新操作，比如调整、增加、或者删除键，还可以操作数组和内嵌文档。增加、修改或删除键的时候，应该使用$修改器 1. $set 阅读全文

摘要： MongoDB操作 创建数据库 : 如果数据库不存在就创建数据库, 存在就切换到指定的数据库. 查看所有的数据库 : 查看当前所在数据库 : 然而 : 上图中查看当前所在的数据库是: test, 但是show dbs时却没有test库. 这是因为test库是空的. 注意 : 在MongoDB中, 集 阅读全文