07 2018 档案
摘要：Memcached Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon ）是用C写的，但
阅读全文
摘要：项目开发完毕后，需要将代码放到服务器上，这样用户才能访问。接下来我们一步一步来进行一波部署操作。 1. 简单粗暴 项目开发完毕，在部署之前需要再配置文件中将 ALLOWED_HOSTS配置设置为：当前服务器IP或*，如： ALLOWED_HOSTS = ["*",] 示例源码：猛击下载 然后将源码上
阅读全文
摘要：Celery是由Python开发的一个简单、灵活、可靠的处理大量任务的分发系统，它不仅支持实时处理也支持任务调度。 user：用户程序，用于告知celery去执行一个任务。 broker: 存放任务（依赖RabbitMQ或Redis，进行存储） worker：执行任务 celery需要rabbitM
阅读全文
摘要：WebSocket协议是基于TCP的一种新的协议。WebSocket最初在HTML5规范中被引用为TCP连接，作为基于TCP的套接字API的占位符。它实现了浏览器与服务器全双工(full-duplex)通信。其本质是保持TCP连接，在浏览器和服务端通过Socket进行通信。 本文将使用Python编
阅读全文
摘要：上一篇《白话tornado源码之请求来了》介绍了客户端请求在tornado框架中的生命周期，其本质就是利用epoll和socket来获取并处理请求。在上一篇的内容中，我们只是给客户端返回了简单的字符串，如：“Hello World”，而在实际开发中，需要使用html文件的内容作为模板，然后将被处理后
阅读全文
摘要：加班程序员最辛苦，来张图醒醒脑吧！ ... ... ... 好了，醒醒吧，回归现实看代码了！！ 执行字符串表示的函数，并为该函数提供全局变量 本篇的内容从题目中就可以看出来，就是为之后剖析tornado模板做准备，也是由于该知识点使用的巧妙，所有就单独用一篇来介绍了。废话不多说，直接上代码： #!u
阅读全文
摘要：上一篇《白话tornado源码之待请求阶段》中介绍了tornado框架在客户端请求之前所做的准备（下图1、2部分），本质上就是创建了一个socket服务端，并进行了IP和端口的绑定，但是未执行 socket的accept方法，也就是未获取客户端请求信息。 概述 本篇就来详细介绍tornado服务器（
阅读全文
摘要：上篇《白话tornado源码之一个脚本引发的血案》用上帝视角多整个框架做了一个概述，同时也看清了web框架的的本质，下面我们从tornado程序的起始来分析其源码。 概述 上图是tornado程序启动以及接收到客户端请求后的整个过程，对于整个过程可以分为两大部分： 启动程序阶段，又称为待请求阶段（上
阅读全文
摘要：本系列博文计划： 1、剖析基于Python的Web框架Tornado的源码 2、为Python开发一个完善的MVC框架 首先将带着大家一起来剖析基于python编写的Web框架 tornado ，本着易读易懂的目标来写这一系列，寄希让小白也能zeng明白其中的道理，与其说剖析还不如说是白话，因为本系
阅读全文
摘要：第一篇：白话tornado源码之一个脚本引发的血案 第二篇：白话tornado源码之待请求阶段 第三篇：白话tornado源码之请求来了 第四篇：白话tornado源码之褪去模板外衣的前戏 第五篇：白话tornado源码之褪去模板的外衣 第一篇：白话tornado源码之一个脚本引发的血案 第二篇：白
阅读全文
摘要：简介 Scrapy-Redis则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于爬取的请求(Requests)进行存储和调度(Schedule)， 并对爬取产生的项目(items)存储以供后续处理使用。scrapy-redi重写了scrapy一些比较关键的代码， 将scrapy变
阅读全文
摘要：整体流程 - 引擎找到要执行的爬虫，并执行爬虫的 start_requests 方法，并的到一个 迭代器。- 迭代器循环时会获取Request对象，而request对象中封装了要访问的URL和回调函数。- 将所有的request对象(任务)放到调度器中，用于以后被下载器下载。- 下载器去调度器中获取
阅读全文
摘要：简介 Django、Flask、scrapy都包含了一个“信号分配器”，使得当一些动作在框架的其他地方发生的时候，解耦的应用可以得到提醒。 通俗来讲，就是一些动作发生的时候，信号允许特定的发送者去提醒一些接受者，这是特别有用的设计因为有些代码对某些事件是特别感兴趣的，比如删除动作。 下面，分别介绍一
阅读全文
摘要：单爬虫运行 import sys from scrapy.cmdline import execute if __name__ == '__main__': execute(["scrapy","crawl","chouti","--nolog"]) 然后右键运行py文件即可运行名为‘chouti‘
阅读全文
摘要：中间件的简介 1.中间件的作用 在scrapy运行的整个过程中,对scrapy框架运行的某些步骤做一些适配自己项目的动作. 例如scrapy内置的HttpErrorMiddleware,可以在http请求出错时做一些处理. 2.中间件的使用方法 配置settings.py.详见scrapy文档 ht
阅读全文
摘要：转自：http://www.cnblogs.com/EzrealLiu/p/5559255.html 1. 摘要 SSO这一概念由来已久，网络上对应不同场景的成熟SSO解决方案比比皆是，从简单到复杂，各式各样应有尽有！开源的有OpenSSO、CAS ，微软的AD SSO，及基于kerberos 的S
阅读全文
摘要：什么是算法? 算法（Algorithm）是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，算法代表着用系统的方法描述解决问题的策略机制。也就是说，能够对一定规范的输入，在有限时间内获得所要求的输出。如果一个算法有缺陷，或不适合于某个问题，执行这个算法将不会解决这个问题。不同的算法可能用不同
阅读全文
摘要：1、Sentinel 哨兵 Sentinel（哨兵）是Redis 的高可用性解决方案：由一个或多个Sentinel 实例 组成的Sentinel 系统可以监视任意多个主服务器，以及这些主服务器属下的所有从服务器，并在被监视的主服务器进入下线状态时，自动将下线主服务器属下的某个从服务器升级为新的主服务
阅读全文
摘要：安装 yum install -y salt-ssh 官方文档 https://docs.saltstack.com/en/latest/topics/ssh/index.html 配置 vi /etc/salt/roster linux-node1.example.com: host: 192.1
阅读全文
浙公网安备 33010602011771号