2019年1月22日
python爬虫之spider用法
摘要： Spider类定义了如何爬取某个网站, 包括爬取的动作以及如何从网页内容中提取结构化的数据, 总的来说spider就是定义爬取的动作以及分析某个网页. 工作流程分析 : 1. 以初始的URLRequest, 并设置回调函数, 当该requeset下载完毕并返回时, 将生成response, 并作为参 阅读全文
posted @ 2019-01-22 20:59 唯你如我心 阅读(15177) 评论(0) 推荐(0)
python爬虫之Scrapy框架中的选择器
摘要： 选择器 Scrapy提取数据有自己的一套机制, 被称作为选择器(selectors), 通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分 Xpath是专门在XML文件中选择节点的语言, 也可由用在HTML. CSS是一门将HTML文档样式化语言, 选择器由它定义, 并与特定的HTML 阅读全文
posted @ 2019-01-22 18:17 唯你如我心 阅读(707) 评论(0) 推荐(0)
python爬虫之Scrapy框架的架构原理和基本命令
摘要： Scrapy框架 Scrapy使用了Twisted作为框架,Twisted有些特殊的地方是它是事件驱动的, 并且比较适合异步的代码, 对于会阻塞线程的操作包含访问文件, 数据库或者Web, 产生新的进程并需要处理新进程的输出(如运行shell命令), 执行系统层次操作的代码(冗余等待系统队列), T 阅读全文
posted @ 2019-01-22 17:29 唯你如我心 阅读(672) 评论(0) 推荐(0)