摘要: >>> Python >>> Mysql >>> 前端 >>> Django >>> vue >>> rest_framework >>> 爬虫 >>> Linux >>> git使用指南 >>> redis >>> Flask >>> 文档,不正规的那种 >>> 那些年,我踩过的坑阅读全文
posted @ 2018-03-05 15:59 人生不如戏 阅读(286) 评论(0) 编辑
摘要: 简介 Scrapy-Redis则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于爬取的请求(Requests)进行存储和调度(Schedule), 并对爬取产生的项目(items)存储以供后续处理使用。scrapy-redi重写了scrapy一些比较关键的代码, 将scrapy变阅读全文
posted @ 2018-07-03 19:54 人生不如戏 阅读(160) 评论(0) 编辑
摘要: 整体流程 具体流程阅读全文
posted @ 2018-07-03 19:39 人生不如戏 阅读(89) 评论(0) 编辑
摘要: 简介 Django、Flask、scrapy都包含了一个“信号分配器”,使得当一些动作在框架的其他地方发生的时候,解耦的应用可以得到提醒。 通俗来讲,就是一些动作发生的时候,信号允许特定的发送者去提醒一些接受者,这是特别有用的设计因为有些代码对某些事件是特别感兴趣的,比如删除动作。 下面,分别介绍一阅读全文
posted @ 2018-07-03 19:30 人生不如戏 阅读(33) 评论(0) 编辑
摘要: 单爬虫运行 然后右键运行py文件即可运行名为‘chouti‘的爬虫 同时运行多个爬虫 步骤如下: 代码如下:阅读全文
posted @ 2018-07-03 17:26 人生不如戏 阅读(31) 评论(0) 编辑
摘要: 中间件的简介 1.中间件的作用 在scrapy运行的整个过程中,对scrapy框架运行的某些步骤做一些适配自己项目的动作. 例如scrapy内置的HttpErrorMiddleware,可以在http请求出错时做一些处理. 2.中间件的使用方法 配置settings.py.详见scrapy文档 ht阅读全文
posted @ 2018-07-03 16:40 人生不如戏 阅读(65) 评论(0) 编辑
摘要: 1、Sentinel 哨兵 Sentinel(哨兵)是Redis 的高可用性解决方案:由一个或多个Sentinel 实例 组成的Sentinel 系统可以监视任意多个主服务器,以及这些主服务器属下的所有从服务器,并在被监视的主服务器进入下线状态时,自动将下线主服务器属下的某个从服务器升级为新的主服务阅读全文
posted @ 2018-07-02 11:00 人生不如戏 阅读(113) 评论(0) 编辑
摘要: 什么是算法? 算法(Algorithm)是指解题方案的准确而完整的描述,是一系列解决问题的清晰指令,算法代表着用系统的方法描述解决问题的策略机制。也就是说,能够对一定规范的输入,在有限时间内获得所要求的输出。如果一个算法有缺陷,或不适合于某个问题,执行这个算法将不会解决这个问题。不同的算法可能用不同阅读全文
posted @ 2018-07-01 23:39 人生不如戏 阅读(47) 评论(1) 编辑
摘要: 转自:http://www.cnblogs.com/EzrealLiu/p/5559255.html 1. 摘要 SSO这一概念由来已久,网络上对应不同场景的成熟SSO解决方案比比皆是,从简单到复杂,各式各样应有尽有!开源的有OpenSSO、CAS ,微软的AD SSO,及基于kerberos 的S阅读全文
posted @ 2018-06-30 17:03 人生不如戏 阅读(25) 评论(0) 编辑
摘要: 安装 官方文档 https://docs.saltstack.com/en/latest/topics/ssh/index.html 配置 管理/etc/salt/roster文件,配置需要管理的所有主机 如何通过证书认证? 1)执行 salt-ssh '*' test.ping -i,提示输入密码阅读全文
posted @ 2018-06-30 16:58 人生不如戏 阅读(15) 评论(0) 编辑
摘要: XPath介绍 XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。 XPath 是 W3C XSLT 标准的主要元素,并且 XQuery 和 XPointer 都构建于 XPath 表达之上。 因此,对 XPath 的理解是很多高级 XML阅读全文
posted @ 2018-06-29 20:05 人生不如戏 阅读(38) 评论(0) 编辑