摘要： 事务 执行一组命令,按顺序地串行执行而不会被其它命令插入 事务作用 一个队列中,一次性、顺序性、排他性的执行一系列命令 事务相关命令以及操作 事务的正常操作、放弃操作、全体连坐、冤头债主 watch监控 悲观锁：认为一定有人改 整张表锁定 并发性差，一致性好 乐观锁：我认为数据不会被修改 不锁表 保 阅读全文

摘要： 1 # 1k => 1000 bytes 2 # 1kb => 1024 bytes 3 # 1m => 1000000 bytes 4 # 1mb => 1024*1024 bytes 5 # 1g => 1000000000 bytes 6 # 1gb => 1024*1024*1024 bytes 7 # 8 # units are case... 阅读全文

摘要： Redis持久化 大白话定义 时间间隔内将内存中的数据写入磁盘 Snapshot快照 它恢复时候是将快照文件直接读到内存中 fork 简单的说就是备份（复制一个与当前进程一样的进程）Redis本身是单进程单线程底层用的epoll模型，所以快 两种模式 RDB Redis DataBase 优势： 适 阅读全文

摘要： Redis数据类型 Redis支持五种数据类型：String（字符串），Hash（哈希），List（列表），Set（集合）及Zset(sorted set：有序集合)。 五种数据类型使用场景 连接redis-server Redis的key 常规操作（更多操作https://www.runoob.c 阅读全文

摘要： scrapy-redis去重应用 自定义中间件，过滤重复URL的爬虫，并且保存redis中 配置文件 Scrapy-redis的队列 包括：先进先出队列，后进先出队列，优先队列 1.先进先出队列 2.后进先出队列 3.优先队列 Scheduler源码分析（我在Notepad++写了直接贴过来的） s 阅读全文

摘要： 定制命令 在项目目录下创建一个脚本 在spiders同级目录创建文件夹commands 配置文件 信号开发框架的大佬给我们预留的位置自由发挥 配置 内置信号 阅读全文

摘要： 执行流程 1.引擎找到要执行的爬虫，并执行爬虫的start_requests方法，并得到一个迭代器 2.迭代器循环时候会获取到Request对象，而request对象中封装了要访问的url和回调函数 3.将所有的request对象(任务)放到调度器中，用于以后被下载器下载 4.下载器去调度器中获取要 阅读全文

该文被密码保护。 阅读全文

摘要： scrapy框架(内部去下载内容就是使用twisted异步非租塞模块) 1.依赖twisted 内部基于事件循环的机制实现爬虫的并发 非租塞：不等待 发起连接请求，不等待连接再去连接下一个，发送一个之后马上发送下一个 异步：回调 体现就是通知 只要发送成功回来就自动通知 事件循环：循环socket任 阅读全文

摘要： start_urls内部原理 步骤 编写 用到的知识 可迭代对象或者生成器直接iter方法变成迭代器，以后定制start_urls的时候可以自己直接发post请求，内置默认用的get方法，拿url也可以到缓存redis中拿。 源码部分： 深度、优先级 源码流程分析 结合我的这篇博文深度https:/ 阅读全文