摘要: Scrapy架构概述 1, 从最初自己编写的spiders,获取到start_url,并且封装成Request对象。 2,通过engine(引擎)调度给SCHEDULER(Requests管理调度器)。 3,SCHEDULER管理ENGINE传递过来的所有Requests,通过优先级,传递给ENGI 阅读全文
posted @ 2017-08-09 22:21 若鸟 阅读(279) 评论(0) 推荐(0) 编辑
摘要: Redis数据库概述 Redis是什么 redis是一个高性能的key-value存储系统。支持的value类型相对更多,包括string,list,set,zset(sorted set --有序集合)和hash(哈希)。 Redis 安装 Linux: sudo apt-get install 阅读全文
posted @ 2017-08-09 00:23 若鸟 阅读(232) 评论(0) 推荐(0) 编辑