2015年1月5日
Spider实例详解
摘要： 1 # -*- coding: utf-8 -*- 2 3 import scrapy 4 from scrapy import Spider, Request, log 5 from scrapy.selector import Selector 6 import sys 7 s... 阅读全文
posted @ 2015-01-05 12:54 薛晓东 阅读(786) 评论(0) 推荐(0)
Scrapy框架原理
摘要： Scrapy使用了Twisted异步网络库来处理网络通讯。整体架构大致如下（注：图片来自互联网）：1、Scrapy Engine（Scrapy引擎）Scrapy引擎是用来控制整个系统的数据处理流程，并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。2、Scheduler（调度）调度程序从... 阅读全文
posted @ 2015-01-05 10:30 薛晓东 阅读(6256) 评论(4) 推荐(1)