redis的持久化方式RDB和AOF的区别
摘要：1、前言 最近在项目中使用到Redis做缓存，方便多个业务进程之间共享数据。由于Redis的数据都存放在内存中，如果没有配置持久化，redis重启后数据就全丢失了，于是需要开启redis的持久化功能，将数据保存到磁盘上，当redis重启后，可以从磁盘中恢复数据。redis提供两种方式进行持久化，一种
阅读全文
posted @ 2018-12-29 17:38
12 2018 档案
关于redis，学会这8点就够了
摘要：1，redis是什么 redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存，事件发布或订阅，高速队列等场景。该数据库使用ANSI C语言编写，支持网络，提供字符串，哈希，列表，队列，集合结构直接存取，基于内存，可持久化。 2，支持的语言 3，redis的应用场景有哪些 1，会话
阅读全文
posted @ 2018-12-29 16:20
Flask-SQLAlchemy配置
摘要：下面是 Flask-SQLAlchemy 中存在的配置值。Flask-SQLAlchemy 从您的 Flask 主配置中加载这些值。 注意其中的一些在引擎创建后不能修改，所以确保尽早配置且不在运行时修改它们。 配置键 Flask-SQLAlchemy 扩展能够识别的配置键的清单: SQLALCHEM
阅读全文
posted @ 2018-12-29 15:42
flask logger
摘要：Flask uses standard Python logging. All Flask-related messages are logged under the 'flask' logger namespace. Flask.loggerreturns the logger named 'fl
阅读全文
posted @ 2018-12-29 12:13
如何在Flask的构架中传递logger给子模块
摘要：Logger的传递 作为一个新手，如何将主函数的logger传入子模块是一件棘手的事情。某些情况下可以直接将logger作为参数传入子模块的构造函数中，但倘若子模块与主模块存在相互依赖的关系则容易出现互相初始化的死循环。尤其是在还不熟悉Flask的时候，如果将Flask的app.logger传给蓝图
阅读全文
posted @ 2018-12-29 11:44
Golang学习笔记
摘要：一、基础 1. Hello World程序 demo： 执行：go run demo.go 编译成可执行文件go build demo.go 2. 声明和赋值 变量的类型在变量名后面，所以不能同时声明和赋值 在2.4后，支持a:=1这种类型，类似于动态类型的声明了，这时会自动识别变量的类型 可以在v
阅读全文
posted @ 2018-12-28 19:08
Python LOGGING使用方法
摘要：Python LOGGING使用方法 1. 简介 使用场景 日志的严重程度 由高到低| Level|| : || CRITICAL|| ERROR|| WARNING|| INFO|| DEBUG|logging默认的严重程度是WARNING，即在这个严重程度或以上的日志才会被记录。 有两种常用的记
阅读全文
posted @ 2018-12-27 21:56
Mysql元数据分析
摘要：Mysql元数据分析 一、information_schema库 information_schema库中的表，保存的是Mysql的元数据。官网元数据表介绍InnoDB相关的表介绍库中有表： 1. CHARACTER_SETS 保存所有Mysql可用的字符集。相当于命令：SHOW CHARACTER
阅读全文
posted @ 2018-12-27 21:55
python编码encode和decode
摘要：计算机里面，编码方法有很多种，英文的一般用ascii,而中文有unicode，utf-8,gbk,utf-16等等。 unicode是 utf-8,gbk,utf-16这些的父编码，这些子编码都能转换成unicode编码，然后转化成子编码，例如utf8可以转成unicode，再转gbk，但不能直接从
阅读全文
posted @ 2018-12-27 21:54
自己写的Python数据库连接类和sql语句拼接方法
摘要：这个工具类十分简单和简洁。 sql拼接方法 数据库连接类 self.conn= DBpool.pool.connection()中，我用的是连接池连接，这里可以改成普通的数据库连接 查询结果解析方法 使用方法： 例如要执行sql语句：select username,pwd,type,age,birt
阅读全文
posted @ 2018-12-27 21:53
Python中docstring文档的写法
摘要：该写法根据Python的PEP 257文档总结。类的函数称为方法（method），模块里的函数称为函数（function） 单行例子： 多行例子： 未经许可请不要转载。
阅读全文
posted @ 2018-12-27 21:52
Nginx+uWSGI+Django原理
摘要：Python的Web开发中，如果使用Django框架，那么较为成熟稳定的服务器架构一般是Nginx+uWSGI+Django。而为什么一定要三个结合在一起呢？直接使用Django的runserver来启动服务器进程，或者uWSGI+Django可不可以呢？为什么？ 概念说明： APP（应用程序），就
阅读全文
posted @ 2018-12-27 21:51
Python垃圾回收机制详解
摘要：一.垃圾回收机制 Python中的垃圾回收是以引用计数为主，分代收集为辅。引用计数的缺陷是循环引用的问题。在Python中，如果一个对象的引用数为0，Python虚拟机就会回收这个对象的内存。 执行f1()会循环输出这样的结果，而且进程占用的内存基本不会变动 c1=ClassA()会创建一个对象，放
阅读全文
posted @ 2018-12-27 21:50
Python数据库连接池实例——PooledDB
摘要：不用连接池的MySQL连接方法 用连接池后的连接方法 DBUtils下载地址：https://pypi.python.org/pypi/DBUtils/
阅读全文
posted @ 2018-12-27 21:48
构建高可用服务端
摘要：一. 什么是高可用性 服务端，顾名思义就是为用户提供服务的。停工时间，就是不能向用户提供服务的时间。高可用，就是系统具有高度可用性，尽量减少停工时间。 停工的原因一般有： 停工的原因，可以理解为灾难，所以系统的高可用性就是容灾，即应对灾难的能力，系统有较好的容灾能力，也就是即使灾难出现，系统依然可以
阅读全文
posted @ 2018-12-27 21:46
Python使用multiprocessing实现一个最简单的分布式作业调度系统
摘要：Python使用multiprocessing实现一个最简单的分布式作业调度系统介绍Python的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者，将任务分布到其他多个机器的多个进程中，依靠网络通信。 想到这，就在
阅读全文
posted @ 2018-12-27 21:44
python3 分布式进程(跨机器)BaseManager(multiprocessing.managers)
摘要：A机器负责发送任务和接受结果： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 #task_master.py import random,time,queue from multipr
阅读全文
posted @ 2018-12-27 21:43
python BaseManager分布式学习
摘要：如果我们已经有一个通过Queue通信的多进程程序在同一台机器上运行，现在，由于处理任务的进程任务繁重，希望把发送任务的进程和处理任务的进程分布到两台机器上。怎么用分布式进程实现？原有的Queue可以继续使用，但是，通过managers模块把Queue通过网络暴露出去，就可以让其他机器的进程访问Que
阅读全文
posted @ 2018-12-27 21:42
简单的异步任务工具——rq 的使用教程
摘要：rq是一个简单的，轻量级的异步任务工具。如果在网站中用户发起一个用时很久（大于2分钟）的请求，如果用同步的方式，服务器就会返回超时。这时候就需要用异步请求，用户发起请求后，服务端把作业扔给另一个进程去执行，然后立刻返回给用户，用户再通过轮询或者其他方式来获取作业的执行进度和执行结果。rq的作用就相当
阅读全文
posted @ 2018-12-27 21:41
Python通过Manager方式实现多个无关联进程共享数据
摘要：Python实现多进程间通信的方式有很多种，例如队列，管道等。但是这些方式只适用于多个进程都是源于同一个父进程的情况。如果多个进程不是源于同一个父进程，只能用共享内存，信号量等方式，但是这些方式对于复杂的数据结构，例如Queue，dict，list等，使用起来比较麻烦，不够灵活。Manager是一种
阅读全文
posted @ 2018-12-27 21:40
Awesome Flask Awesome
摘要：A curated list of awesome Flask resources and plugins Awesome Flask Framework Admin interface Authentication Authorization Database Database Migration
阅读全文
posted @ 2018-12-25 16:58
python进程池：multiprocessing.pool
摘要：阅读目录 例1：使用进程池 例2：使用进程池（阻塞） 例3：使用进程池，并关注结果 例4：使用多个进程池 在利用Python进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。当被操作对象数目不大时，可以直接利用multiprocessing中的Proc
阅读全文
posted @ 2018-12-25 16:45
Flask中'endpoint'（端点）的理解
摘要：Flask路由是如何工作的 整个flask框架（及以Werkzeug类库为基础构建的应用）的程序理念是把URL地址映射到你想要运行的业务逻辑上（最典型的就是视图函数），例如： 1 2 3 注意，add_url_rule函数实现了同样的目的，只不过没有使用装饰器，因此，下面的程序是等价的： 1 2 3
阅读全文
posted @ 2018-12-24 22:05
Python带参数的装饰器
摘要：在装饰器函数里传入参数 在Python里方法和函数几乎一样.唯一的区别就是方法的第一个参数是一个当前对象的(self) 也就是说你可以用同样的方式来装饰方法!只要记得把self加进去: 如果你想造一个更通用的可以同时满足方法和函数的装饰器,用*args,**kwargs就可以了 把参数传递给装饰器
阅读全文
posted @ 2018-12-24 21:38
python 装饰器
摘要：1. python 装饰器 1） 2层装饰器 2) 3层装饰器 此处a,b可为任意指定参数，但不可以更改。 3） 类装饰器， python中类本身是不可调用的， 需要实现__call__方法， 将类变为callable。 python装饰器使用闭包的方式提供aop的概念。不过需要注意，装饰器装饰的函
阅读全文
posted @ 2018-12-24 21:31
python装饰器执行顺序
摘要：. python 装饰器 1） 2层装饰器 2) 3层装饰器 此处a,b可为任意指定参数，但不可以更改。 3） 类装饰器， python中类本身是不可调用的， 需要实现__call__方法， 将类变为callable。 python装饰器使用闭包的方式提供aop的概念。不过需要注意，装饰器装饰的函数
阅读全文
posted @ 2018-12-24 21:25
Django (2006, 'MySQL server has gone away') 本地重现与解决
摘要：最近我们的Django项目供Java Sofa应用进行tr调用时, 经常会出现一个异常: django.db.utils.OperationalError: (2006, 'MySQL server has gone away'). 本文记录了分析, 本地重现与解决此问题的全过程. 原因分析: Dj
阅读全文
posted @ 2018-12-24 21:21
查看mysql连接情况，以及连接超时时间设置
摘要：查看连接： show processlist; 只展示100个连接 show full processlist; 展示所有连接 查看超时时间： show variables like '%timeout%'; 闲置连接的超时时间由wait_timeout控制、默认8小时。 作者：purple尘 来源
阅读全文
posted @ 2018-12-24 20:53
Persistent connections CONN_MAX_AGE django
摘要：Persistent connections¶ Persistent connections avoid the overhead of re-establishing a connection to the database in each request. They’re controlled
阅读全文
posted @ 2018-12-24 20:40
震惊！Django ORM 和 Celery 竟然背着开发者做出这种事！
该文被密码保护。
posted @ 2018-12-24 18:28
Python框架下django 的并发和多线程
摘要：django 的并发能力真的是令人担忧，django本身框架下只有一个线程在处理请求，任何一个请求阻塞，就会影响另一个情感求的响应，尤其是涉及到IO操作时，基于框架下开发的视图的响应并没有对应的开启多线程，再者Python的多线程对于多核CPU有效利用率非常低，参照 这里就使用 nginx + uw
阅读全文
posted @ 2018-12-24 18:05
Python状况：为什么PyPy是Python的未来？
摘要：Python 现在已经不仅仅是胶水脚本语言了. 不信？看看下面使用Python的成功案例: YouTube - 主要由 Python编写 NASA Industrial Light & Magic Runs - 电影公司 OpenStack Sage - 科学软件及其他 (SciPy, Python
阅读全文
posted @ 2018-12-23 22:05
python程序的pypy加速
摘要：我们知道，python作为一种几乎是脚本语言的语言，其优点固然有，但是其有一个最大的缺点，就是运行速度没有办法和c，c++，java比。最近在些一些代码的时候也是碰到了这样的问题。 具体而言，python想提速度，基本思路是两个，有个就jit技术，在python中比较好用的就是pypy；另外一种就是
阅读全文
posted @ 2018-12-23 22:04
采用Psyco实现python执行速度提高到与编译语言一样的水平
摘要：本文实例讲述了采用Psyco实现python执行速度提高到与编译语言一样的水平的方法，分享给大家供大家参考。具体实现方法如下： 一、安装Psyco很简单，它有两种安装方式，一种是源码方式，一种是二进制码方式： 如果用源码方式安装，你需在源码的目录中调用python setup.py install命
阅读全文
posted @ 2018-12-23 22:01
如何使用Psyco为你的Python程序提速
摘要：psyco加速Python执行速度的方法：要求： 版本对照：File name Python versions Well-tested withpsyco-x.y-win32-py2.2.2.exe 2.2.2 and up 2.2.2 and 2.2.3psyco-x.y-win32-py2.3.
阅读全文
posted @ 2018-12-23 22:00
python 常库介绍及安装方法
摘要：adodb：我们领导推荐的数据库连接组件bsddb3：BerkeleyDB的连接组件Cheetah-1.0：我比较喜欢这个版本的cheetahcherrypy：一个WEB frameworkctypes：用来调用动态链接库DBUtils：数据库连接池django：一个WEB frameworkdoc
阅读全文
posted @ 2018-12-23 21:59
Python下使用Psyco模块优化运行速度
摘要：今天介绍下Psyco模块，Psyco模块可以使你的Python程序运行的像C语言一样快。都说Python语言易用易学，但性能上跟一些编译语言（如C语言）比较要差不少，这里可以用C语言和Python语言各编写斐波纳契数列计算程序，并计算运行时间： C语言程序 复制代码代码如下: int fib(int
阅读全文
posted @ 2018-12-23 21:57
Numpy 小结
摘要：Python 真火来学习一下，先来看一个库 NumPy。NumPy是Python语言的一个扩充程序库。支持高级大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。 1. 读取文件 numpy.genfromtxt() 用于读取 txt 文件，其中传入的参数依次为： help(numpy
阅读全文
posted @ 2018-12-23 21:53
Python之Numpy详细教程
摘要：NumPy - 简介 NumPy 是一个 Python 包。 它代表 “Numeric Python”。 它是一个由多维数组对象和用于处理数组的例程集合组成的库。 Numeric，即 NumPy 的前身，是由 Jim Hugunin 开发的。 也开发了另一个包 Numarray ，它拥有一些额外的功
阅读全文
posted @ 2018-12-23 21:52
windows下多进程加协程并发模式
摘要：好久没更新博客了。正好最近要整理一下最近这段时间做过的项目以及学习python的一些心得。如标题所示，今天就来说说windows下多进程加协程并发模式。其实网上还是蛮多在linux下的多进程加协程并发模式，本身linux对python的支持更好吧。但是由于本人的开发环境是windows的，而且网上关
阅读全文
posted @ 2018-12-23 21:34
python与c#的交互模块pythonnet
摘要：今天总结一下python与c#的交互模块pythonnet，其实微软也是有相应的解释器的，就是Ironpython，可是毕竟Ironpython还有很多东西没有从python那边继承过来，所以有时候用起来并不是那么爽。但是好在强大的社区总会给我们惊喜，pythonnet就是其中一个让我惊喜的模块，它
阅读全文
posted @ 2018-12-23 21:33
利用PyCharm的Profile工具进行Python性能分析
摘要：Profile：PyCharm提供了性能分析工具Run-》Profile，如下图所示。利用Profile工具可以对代码进行性能分析，找出瓶颈所在。 测试：下面以一段测试代码来说明如何使用pycharm的Profile功能。 测试代码见下文，文件命名为Test.py, 一共有5个函数，每个函数都调用了
阅读全文
posted @ 2018-12-23 21:12
python程序之profile分析
摘要：操作系统 ： CentOS7.3.1611_x64 python版本：2.7.5 问题描述 1、Python开发的程序在使用过程中很慢，想确定下是哪段代码比较慢； 2、Python开发的程序在使用过程中占用内存很大，想确定下是哪段代码引起的； 解决方案 使用profile分析分析cpu使用情况 pr
阅读全文
posted @ 2018-12-23 21:10
使用 profile 进行python代码性能分析
摘要：定位程序性能瓶颈 对代码优化的前提是需要了解性能瓶颈在什么地方，程序运行的主要时间是消耗在哪里，对于比较复杂的代码可以借助一些工具来定位，python 内置了丰富的性能分析工具，如 profile,cProfile 与 hotshot 等。其中 Profiler 是 python 自带的一组程序，能
阅读全文
posted @ 2018-12-23 21:08
如何使用python timeit模块使用实践
摘要：其实平时使用测试应用运行时间的情况 细算一下还真的很少。很久没有做性能优化的工作，不管是cProfile还是timeit模块都已经生疏了很久没有使用，我在以前的文章里面有提到过cPfile的性能测试使用，但是一直没有使用过这个更轻量级的运行时间测量库进行过仔细实践总结，今天就来总结一下。 从最简单的
阅读全文
posted @ 2018-12-23 21:05
unittest参数化
摘要：我们在写case的时候，如果用例的操作是一样的，就是参数不同，比如说要测一个登陆的接口，要测正常登陆的、黑名单用户登陆的、账号密码错误的等等，在unittest里面就要写多个case来测试。 这样的情况只是调用接口的时候参数不一样而已，再写多个case的话就有点多余了，那怎么办呢，就得把这些参数都写
阅读全文
posted @ 2018-12-23 20:50
Python单元测试unittest
摘要：Python中有一个自带的单元测试框架是unittest模块，用它来做单元测试，它里面封装好了一些校验返回的结果方法和一些用例执行前的初始化操作。 在说unittest之前，先说几个概念： TestCase 也就是测试用例 TestSuite 多个测试用例集合在一起，就是TestSuite Test
阅读全文
posted @ 2018-12-23 20:50
python单元测试之unittest框架使用总结
摘要：一、什么是单元测试 单元测试是用来对一个模块、一个函数或者一个类来进行正确性检验的测试工作。 比如对于函数abs()，我们可以编写的测试用例为： （1）输入正数，比如1、1.2、0.99，期待返回值与输入相同 （2）输入复数，比如-1、-1.2、-0.99，期待返回值与输入相反 （3）输入0，期待返
阅读全文
posted @ 2018-12-23 20:49
Python的单元测试工具——doctest
摘要：doctest是一个python标准库自带的轻量单元测试工具，适合实现一些简单的单元测试。它可以在docstring中寻找测试用例并执行，比较输出结果与期望值是否符合。 基本用法使用doctest需要先在python的交互解释器中创建测试用例，并复制粘贴到docstring中即可。比如a.py内容如
阅读全文
posted @ 2018-12-23 20:38
Python测试框架doctest
摘要：doctest是python自带的一个模块。本博客将介绍doctest的两种使用方式：一种是嵌入到python源码中，另外一种是放到一个独立文件。 doctest 的概念模型 在python的官方文档中，对doctest是这样介绍的： doctest模块会搜索那些看起来像是python交互式会话中的
阅读全文
posted @ 2018-12-23 20:26
python中的协程
摘要：协程是啥 协程和线程差异 简单实现协程 greenlet 安装方式 gevent 安装 1. gevent的使用 2. gevent切换执行 3. 给程序打补丁 进程、线程、协程对比 请仔细理解如下的通俗描述 简单总结 安装方式 安装 1. gevent的使用 2. gevent切换执行 3. 给程
阅读全文
posted @ 2018-12-23 15:31
Flask log配置，实现按照日期自动生成日志文件
摘要：Flask自带了logger模块，用来方便程序员群众记录日志，这里粘贴出来的是一段代码，用来初始化日志各项配置参数，并根据日期自动生成日志文件。 #log配置，实现日志自动按日期生成日志文件def make_dir(make_dir_path): path = make_dir_path.strip
阅读全文
posted @ 2018-12-22 22:19
flask logging 最佳实践
摘要：flask项目中, 你可以使用python 的 logging模块实现记录日志. 也可以使用 flask 基于logging模块封装过的app.logger实现. 直接上代码 config.py import osimport logging basedir = os.path.abspath(os
阅读全文
posted @ 2018-12-22 22:05
Flask-SQLAlchemy基本操作
摘要：db.session.rollback() 回滚"""Role.query.get(2) get查询接收的参数为主键，如果不存在，返回空 >>> User.query.filter() 返回的基础的查询对象<flask_sqlalchemy.BaseQuery object at 0x10958fb
阅读全文
posted @ 2018-12-22 21:30
使用 Flask-Cache 缓存给Flask提速
摘要：Django里面可以很方便的应用缓存，那Flask里面没准备这么周全怎么办？自己造轮子么？不用的，前人种树后人乘凉，我们有Flask-Cache，用起来和Django里面一样方便哦！ 1.安装pip install Flask-Cache12.配置以我的zhihu项目（源码）为例： 在config.
阅读全文
posted @ 2018-12-22 19:24
flask的config配置和给实例化传入参数
摘要：灵活性主要体现在配置上，需要什么就配置什么 只要开启调试模式，如果发生改动,程序就会自动重启 (app.run) Flask的配置就是在 app.config 中添加一个键值对,但是你存进去的键必须是config中应该存在的,如果不再存在的话,它会默认无用,就这么放着 config中有多少有用的ke
阅读全文
posted @ 2018-12-22 18:18
flask中manage.py的用法
摘要：flask中manage.py的用法#!/usr/bin/env pythonimport osfrom app import create_app, dbfrom app.models import DBNSZone, DBNSDevice, DBNSLink, DBNSNSIPAssign, D
阅读全文
posted @ 2018-12-22 18:08
Flask app.config 的配置
摘要：原理如下： image.png 1、通过调用自定义config.py文件中config字典，可以得到一个类， 这个类里面定义的都是类变量，这些变量就是自定义的一些配置项。 如下config.py : ： import os BASEDIR = os.path.abspath(os.path.dirn
阅读全文
posted @ 2018-12-22 17:38
python虚拟环境--virtualenv
摘要：virtualenv 是一个创建隔绝的Python环境的工具。virtualenv创建一个包含所有必要的可执行文件的文件夹，用来使用Python工程所需的包。 安装 基本使用 $ cd my_project_dir $ virtualenv venv #venv为虚拟环境目录名，目录名自定义 $ c
阅读全文
posted @ 2018-12-21 17:52
高性能框架gevent和gunicorn在web上的应用及性能测试
摘要：WSGI Server有哪些： 比如 Flask，webpy，Django、CherryPy 都带着 WSGI server 。当然性能都不好，自带的web server 更多的是测试用途, 发布时则使用生产环境的 WSGI server或者是联合nginx做uwsgi 。 诚如那个WSGI的定义所
阅读全文
posted @ 2018-12-20 21:41
python 高性能web框架 gunicorn+gevent
摘要：参考链接： http://rfyiamcool.blog.51cto.com/1030776/1276364/ http://www.cnblogs.com/nanrou/p/7026789.html 前言 gunicorn 是支持wsgi协议的http服务器，gevent只是它支持的模式之一，是为
阅读全文
posted @ 2018-12-20 21:40
python WSGI框架详解
摘要：1.web应用的本质1)浏览器发送一个HTTP请求2)服务器收到请求，生成一个HTML文档3)服务器把HTML文档作为HTTP响应的body发个浏览器4)浏览器收到HTTP响应，从HTTP Body取出HTML文档并显示 2.什么是WSGI,为什么需要WSGI上面的web应用过程，如果由我们自己来实
阅读全文
posted @ 2018-12-20 21:37
Python Web开发最难懂的WSGI协议，到底包含哪些内容？
摘要：原文出处： PythonScientists 我想大部分Python开发者最先接触到的方向是WEB方向（因为总是有开发者希望马上给自己做个博客出来，例如我），既然是WEB，免不了接触到一些WEB框架，例如Django,Flask,Torando等等，在开发过程中，看过一些文档总会介绍生产环境和开发环
阅读全文
posted @ 2018-12-20 21:35
mysql导出 数据库字典
摘要：mysql查询数据字典的功能主要依靠其自带的一个数据库information_schema库实现，该数据库提供了访问数据库元数据的方式。元数据是关于数据的数据，如数据库名、表名、列的数据类型、访问权限等等。正因为如此也可以将其称为“数据词典”和“系统目录”。 SCHEMATA表：提供了当前mysql
阅读全文
posted @ 2018-12-20 17:46
初识中间件Kafka
摘要：Author：SimplelWu 非底层操作系统软件，非业务应用软件，不是直接给最终用户使用的，不能直接给客户带来价值的软件统称为中间件 关注于数据的发送和接收，利用高效可靠的异步消息传递机制集成分布式系统。 Kafka是一种高吞吐量的分布式发布订阅消息系统，是一个分布式的、分区的、可靠的分布式日志
阅读全文
posted @ 2018-12-20 14:36
Linux下查看磁盘与目录的容量——df、du
摘要：df：列出文件系统的整体磁盘使用量； du：评估文件系统的磁盘使用量（常用于评估目录所占容量） df参数： -a：列出所有的文件系统，包括系统特有的/proc等文件系统 -k：以KB的容量显示各文件系统 -m：以MB的容量显示各文件系统 -h：以人们较易阅读的GB,MB,KB等格式自行显示 -H：以
阅读全文
posted @ 2018-12-20 11:50
Top的VIRT是什么
摘要：Top命令监控某个进程的资源占有情况 下面是各种内存： VIRT：virtual memory usage 1、进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据等 2、假如进程申请100m的内存，但实际只使用了10m，那么它会增长100m，而不是实际的使用量 RES：resident mem
阅读全文
posted @ 2018-12-19 21:25
python的日志logging模块性能以及多进程
摘要：写在前面： 日志是记录操作的一种好方式。但是日志，基本都是基于文件的，也就是要写到磁盘上的。这时候，磁盘将会成为一个性能瓶颈。对于普通的服务器硬盘（机械磁盘，非固态硬盘），python日志的性能瓶颈是多少呢？今天我们就来测一下。 测试代码如下： #! /usr/bin/env python#codi
阅读全文
posted @ 2018-12-19 17:23
Python的多进程锁的使用
摘要：很多时候，我们需要在多个进程中同时写一个文件，如果不加锁机制，就会导致写文件错乱 这个时候，我们可以使用multiprocessing.Lock() 我一开始是这样使用的： import multiprocessinglock = multiprocessing.Lock()class MatchP
阅读全文
posted @ 2018-12-19 17:04
为什么python2.7中用Process创建子进程的语句之前必须加#if
摘要：from multiprocessing import Process import os def run(name): print 'The child process '%s' (pid %d) is running' % (name, os.getpid()) return print 'Th
阅读全文
posted @ 2018-12-19 15:55
python中为什么需要使用“if __name__ == '__main__'”语句
摘要：首先用最简洁的语言来说明一下 if __name__ == '__main__': 的作用：防止在被其他文件导入时显示多余的程序主体部分。 先举个例子，如果不用 if __name__ == '__main__': 会发生什么事： 首先在yy.py中调用cs.py #yy.pyimport cspr
阅读全文
posted @ 2018-12-19 15:51
Python mutilprocess模块之第二种创建进程方法--继承Process类
摘要：'''创建新的进程的第二种方法： 使用类的方式，可以自己定义一个类，继承Process类，每次实例化这个类的时候， 就等于实例化一个进程对象 '''from multiprocessing import Processimport os, time # 定义一个类，继承Process类class D
阅读全文
posted @ 2018-12-19 15:47
python 使用multiprocessing需要注意的问题
摘要：我们在编写程序的时候经常喜欢这样写代码 import MySQLdb import time from multiprocessing import Process conn = MySQLdb.connect(‘localhost‘, ‘vearne‘, ‘xx‘, ‘test‘) def f(n
阅读全文
posted @ 2018-12-19 14:27
fasttext(1) -- 认识 fasttext 和 初步使用
摘要：fastText 的 Python接口：https://github.com/salestock/fastText.py (1) fasttext 简介：FastText是Facebook开发的一款快速文本分类器，提供简单而高效的文本分类和表征学习的方法，性能比肩深度学习而且速度更快。 fastTe
阅读全文
posted @ 2018-12-19 12:23
fastText(三)：微博短文本下fastText的应用（二）
摘要：上一篇讲到，fastText在训练数据中过拟合的问题。接下来将介绍一些提高fastText泛化能力的尝试。 模型泛化使用过fastText的人，往往会被它的很多特性征服，例如训练速度、兼具word embedding和分类等。但是正如一个硬币有正反两面，fastText也并非完美，fastText的
阅读全文
posted @ 2018-12-19 12:22
fastText(二)：微博短文本下fastText的应用（一）
摘要：众所周知，微博中的内容以短文本居多，文本内容随意性极强，这给建模增加了很大的难度。针对这一问题，这里分享一下fastText在微博短文本的应用。 任务目标简单介绍一下整个任务的目标：给微博内容打上标签，例如美妆、宠物用品等。这类问题可以转化为经典的多分类问题。然而微博内容较短，并且文字随意性极强，这
阅读全文
posted @ 2018-12-19 12:21
fastText入门
摘要：简介fastText是Facebook AI Research在2016年提出的文本分类和词训练的工具。它最大的特点：模型非常简单，训练速度快，并且能够达到与深度学习旗鼓相当的精度。 最近在做一个给微博内容分类的项目，主要目的是给微博打上商业标签。这个项目是一个经典的多分类任务，传统的方法包括：SV
阅读全文
posted @ 2018-12-19 12:19
python(一)：multiprocessing——死锁
摘要：前言近年来，使用python的人越来越多，这得益于其清晰的语法、低廉的入门代价等因素。尽管python受到的关注日益增多，但python并非完美，例如被人诟病最多的GIL（值得注意的是，GIL并非python特性，它是在实现Python解析器(CPython)时所引入的一个概念，而CPython是大
阅读全文
posted @ 2018-12-19 12:18
python（二）：使用multiprocessing中的常见问题
摘要：简介在python的解释器中，CPython是应用范围最广的一种，其具有丰富的扩展包，方便了开发者的使用。当然CPython也不是完美的，由于全局解释锁（GIL）的存在，python的多线程可以近似看作单线程。为此，开发者推出了multiprocessing，这里介绍一下使用中的常见问题。 环境>>
阅读全文
posted @ 2018-12-19 12:16
Process类，Thread类，Pool类，gevent类，ProcessPoolExecutor,ThreadPoolExecutor的用法比较
摘要：一 Process类 multiprocessing模块下的一个类 创建子进程。 有两种方法 方法一 输出： 方法二 输出： 二 Thread类 threading模块下的类 创建线程 有两种方法 与Process类一样。 三 Pool类 Pool类的方法: p=Pool() p.apply_asy
阅读全文
posted @ 2018-12-18 18:10
python并发之concurrent.futures
摘要：concurrent：并发 Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码。从Python3.2开始，标准库为我们提供了concurrent.futures模块，它提供了ThreadPoolExecutor和ProcessPoolEx
阅读全文
posted @ 2018-12-18 18:07
单线程实现并发——协程，gevent模块
摘要：一 并发的本质 1 切换 2 保存状态 二 协程的概念 协程，又称微线程，纤程。英文名Coroutine。单线程下实现并发，用户从应用程序级别控制单线程下任务的切换，注意一定是遇到I/O才切。 协程的特点在于是一个线程执行，那和多线程比，协程有何优势？ 最大的优势就是协程极高的执行效率。因为子程序切
阅读全文
posted @ 2018-12-18 18:07
Twisted 简介
摘要：Twisted是用Python实现的基于事件驱动的网络引擎框架，Twisted支持许多常见的传输及应用层协议，包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。就像Python一样，Twisted也具有“内置电池”（batteries-included）的特点。Twi
阅读全文
posted @ 2018-12-18 18:05
Python进程、线程、协程的对比
摘要：1. 执行过程 每个线程有一个程序运行的入口、顺序执行序列和程序的出口。但是线程不能够独立执行，必须依存在进程中，由进程提供多个线程执行控制。每个线程都有他自己的一组CPU寄存器，称为线程的上下文，该上下文反映了线程上次运行该线程的CPU寄存器的状态。 协程，又称微线程，Coroutine。执行过程
阅读全文
posted @ 2018-12-18 18:04
协程的优点（Python）
摘要：协程的优点： 协程是进程和线程的升级版,进程和线程都面临着内核态和用户态的切换问题而耗费许多切换时间, 而协程就是用户自己控制切换的时机,不再需要陷入系统的内核态。协程的执行效率非常高。因为子程序切换不是线程切换，而是由程序自身控制。因此，没有线程切换的开销，和多线程相比，线程数量越多，相同数量的协
阅读全文
posted @ 2018-12-18 18:01
python concurrent.futures
摘要：python因为其全局解释器锁GIL而无法通过线程实现真正的平行计算。这个论断我们不展开，但是有个概念我们要说明，IO密集型 vs. 计算密集型。 IO密集型：读取文件，读取网络套接字频繁。 计算密集型：大量消耗CPU的数学与逻辑运算，也就是我们这里说的平行计算。 而concurrent.futur
阅读全文
posted @ 2018-12-18 17:52
gevent 协程 使用
摘要：Python通过yield提供了对协程的基本支持，但是不完全。而第三方的gevent为Python提供了比较完善的协程支持。 gevent是第三方库，通过greenlet实现协程，其基本思想是： 当一个greenlet遇到IO操作时，比如访问网络，就自动切换到其他的greenlet，等到IO操作完成
阅读全文
posted @ 2018-12-18 17:46
python高性能代码之多线程优化
摘要：以常见的端口扫描器为实例 端口扫描器的原理很简单，操作socket来判断连接状态确定主机端口的开放情况。 这是一个socket扫描器的基本代码。 但是如果直接运行会等待很长时间都没有反应，这是因为socket是阻塞的，到等待每个连接超时后才会进入下一个连接。 给这段代码加一个超时 完整的代码如下 本
阅读全文
posted @ 2018-12-18 17:38
python并发编程之多进程、多线程、异步和协程
摘要：一、多线程 多线程就是允许一个进程内存在多个控制权，以便让多个函数同时处于激活状态，从而让多个函数的操作同时运行。即使是单CPU的计算机，也可以通过不停地在不同线程的指令间切换，从而造成多线程同时运行的效果。 多线程相当于一个并发(concunrrency)系统。并发系统一般同时执行多个任务。如果多
阅读全文
posted @ 2018-12-18 17:28
Python进程间通信Queue
摘要：1.Queue使用方法： Queue.qsize()：返回当前队列包含的消息数量； Queue.empty()：如果队列为空，返回True，反之False ； Queue.full()：如果队列满了，返回True,反之False； Queue.get():获取队列中的一条消息，然后将其从列队中移除，
阅读全文
posted @ 2018-12-18 17:19
提高你的Python: 解释‘yield’和‘Generators（生成器）’
摘要：在开始课程之前，我要求学生们填写一份调查表，这个调查表反映了它们对Python中一些概念的理解情况。一些话题("if/else控制流" 或者 "定义和使用函数")对于大多数学生是没有问题的。但是有一些话题，大多数学生只有很少，或者完全没有任何接触，尤其是“生成器和yield关键字”。我猜这对大多数新
阅读全文
posted @ 2018-12-18 16:28
尴尬的事情又发生Newtonsoft.Json vs Protobuf.net
摘要：写程序做下性能测试都是例行的事情了，一般在普通电脑上测试一下如果比较理想那基本不出什么意外！但世事难料,代码写得不好经常担心CPU不够用，其实写得好但不能完全发挥出CPU资源的优势更是一件悲剧的事情！这次事件已经发生了两回，其实还真的很折磨人的。话不多说回到今天的正题Newtonsoft.Json
阅读全文
posted @ 2018-12-18 14:43
python的多线程到底有没有用？
摘要：在群里经常听到这样的争执，有人是虚心请教问题，有人就大放厥词因为这个说python辣鸡。而争论的核心无非就是，python的多线程在同一时刻只会有一条线程跑在CPU里面，其他线程都在睡觉。这是真的吗？ 是真的。这个就是因为传说中的GIL（全局解释锁）的存在。不明白这个词的可以去百度一下，我解释不好（
阅读全文
posted @ 2018-12-18 12:20
Python中单线程、多线程和多进程的效率对比实验
摘要：Python是运行在解释器中的语言，查找资料知道，python中有一个全局锁（GIL），在使用多进程(Thread)的情况下，不能发挥多核的优势。而使用多进程(Multiprocess)，则可以发挥多核的优势真正地提高效率。 对比实验 资料显示，如果多线程的进程是CPU密集型的，那多线程并不能有多少
阅读全文
posted @ 2018-12-18 12:19
Python 一篇学会多线程
摘要：多线程和多进程是什么自行google补脑，廖雪峰官网也有，但是不够简洁，有点晕，所以就整个简单的范例。 对于python 多线程的理解，我花了很长时间，搜索的大部份文章都不够通俗易懂。所以，这里力图用简单的例子，让你对多线程有个初步的认识。 单线程 在好些年前的MS-DOS时代，操作系统处理问题都是
阅读全文
posted @ 2018-12-18 12:08
Python中threading的join和setDaemon的区别及用法
摘要：Python多线程编程时，经常会用到join()和setDaemon()方法，今天特地研究了一下两者的区别。 1、join ()方法：主线程A中，创建了子线程B，并且在主线程A中调用了B.join()，那么，主线程A会在调用的地方等待，直到子线程B完成操作后，才可以接着往下执行，那么在调用这个线程时
阅读全文
posted @ 2018-12-18 11:47
Python 函数定义以及参数传递
摘要：Python 函数定义以及参数传递1.函数定义#形如def func(args...): doSomething123以关键字def 开头，后面是函数名和参数下面是函数处理过程。 举例： def add( a, b ): return a+b12参数可以设定默认值，如： def add( a, b=
阅读全文
posted @ 2018-12-18 11:33
python的thread和threading区别
摘要：python提供了多种模块用来支持多线程编程， thread（在python3中改名为_thread）,threading,和 queue模块。 通过加入queue模块，用户可以创建多个线程共享数据的队列数据结构。 thread和threading模块都可以用来创建和管理线程，而thread模块提供
阅读全文
posted @ 2018-12-18 11:21
mod_python
摘要：mod_python的确是一个让python程序员能够apache2写一些网站的工具。它是一个接口。过去一些python写的整站系统需要通过mod_python作为连接枢纽，将apache2与它们连接成web+app这样的结构。 不过mod_python也可以自己直接的独立写网站。学一学没有坏处。
阅读全文
posted @ 2018-12-17 01:12
python调用window dll和linux so例子
摘要：#!/usr/bin/python# -*- coding: UTF-8 -*-#python dll.pyimport win32api# 打开记事本程序，在后台运行，即显示记事本程序的窗口win32api.ShellExecute(0, 'open', 'notepad.exe', '','',
阅读全文
posted @ 2018-12-14 17:39
Linux文件目录结构详解
摘要：整理自《鸟哥的私房菜》 对于每一个Linux学习者来说，了解Linux文件系统的目录结构，是学好Linux的至关重要的一步.，深入了解linux文件目录结构的标准和每个目录的详细功能，对于我们用好linux系统只管重要，下面我们就开始了解一下linux目录结构的相关知识。 当在使用Linux的时候，
阅读全文
posted @ 2018-12-11 17:29
Windows7下安装golang语言开发环境和revel框架
摘要：1.下载先去下载32位或64 golang window 安装包 并安装下载地址：https://www.golangtc.com/download 本人更改了安装地址为 D:\GO\Go 2. golang的环境配置Go 语言需要配置 GOROOT 和 Path 两个环境变量：GOROOT 和 G
阅读全文
posted @ 2018-12-11 00:45
Go实战--通过gin-gonic框架搭建restful api服务(github.com/gin-gonic/gin)
摘要：生命不止，继续 go go go !!! 先插播一条广告，给你坚持学习golang的理由： 《2017 软件开发薪酬调查：Go 和 Scala 是最赚钱的语言》 言归正传！ 之前写过使用golang实现简单的restful api相关的博客： Go实战–实现简单的restful api(The wa
阅读全文
posted @ 2018-12-11 00:23
Go语言web框架 gin
摘要：Go语言web框架 GIN 1 1. 安装gin 1 2. 使用方法 <1> 一种最简单的使用GET/POST方法 gin服务端代码是: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 客户端代码是: 1 2 3 4 5 6 7 8 9 在服务端, 实
阅读全文
posted @ 2018-12-11 00:21
最好的6个Go语言Web框架
摘要：原文：Top 6 web frameworks for Go as of 2017 作者：Edward Marinescu 译者：roy 译者注：本文介绍截至目前(2017年)最好的6个Go语言Web框架。以下为译文： GO 语言爱好者的最佳Web框架 如果你是自己写一个小应用程序，那你可能不需要W
阅读全文
posted @ 2018-12-11 00:15
mac：Go安装和配置+GoLand安装和使用之完整教程
摘要：前言作为一个go语言程序员，觉得自己有义务为go新手开一条更简单便捷的上手之路。纵使网上教程很多，但总不尽人意。go的入门门槛还是非常低的，无论是安装还是使用。 go安装go 语言支持以下系统： Linux Mac OS X（也称为 Darwin） Window FreeBSD 本文将介绍mac下的
阅读全文
posted @ 2018-12-11 00:14
Goland软件使用教程（二）
摘要：Goland软件使用教程（二）一、编码辅助功能 1. 智能补全 IDE通过自动补全语句来帮助您来编写代码。快捷键“Ctrl+shift+空格”将会给你一个在当前上下文中最相关符号的列表，当您选择一个建议时，它会相应的将有关包导入到你的当前文件中。 2 检查和快速修复 IDE提供内置的检查功能，在输入
阅读全文
posted @ 2018-12-10 21:45
Goland软件使用教程（一）
摘要：Goland软件使用教程（一） Goland是由JetBrains公司旨在为go开发者提供的一个符合人体工程学的新的商业IDE。这个IDE整合了IntelliJ平台的有关go语言的编码辅助功能和工具集成特点。它具有以下特点： 1. 编码辅助功能 IDE会分析你的代码，然后在符号之间寻找连接。提供代码
阅读全文
posted @ 2018-12-10 21:44
http_load常见问题及解决方案
摘要：1.错误信息：byte count wronghttp_load在处理时会去关注每次访问同一个URL返回结果（即字节数）是否一致，若不一致就会抛出byte count wrong所以动态页面可以忽略这个错误信息。或者可以对代码做修改http_load.c【原来的】“stderr, "%s: byte
阅读全文
posted @ 2018-12-10 16:31
ab压力测试-突破最大线程数
摘要：ab压力测试中，发现你一次最多只能启动1024个线程 默认情况下，一个线程的栈要预留1M的内存空间 而一个进程中可用的内存空间只有2G，所以理论上一个进程中最多可以开2048个线程 但是内存当然不可能完全拿来作线程的栈，所以实际数目要比这个值要小。你也可以通过连接时修改默认栈大小，将其改的比较小，这
阅读全文
posted @ 2018-12-10 16:26
apache-ab并发负载压力测试 不错
摘要：ab -n 3000 -c 3000 http://www.test.com/ c 100 即：每次并发3000 个 n 10000 即： 共发送3000 个请求 ab -t 60 -c 100 http://192.168.0.10/ 在60秒内发请求，一次100个请求。 带参数的的请求 ab -
阅读全文
posted @ 2018-12-10 16:23
yum: Cannot find a valid baseurl for repo: migsrv解决方法
摘要：yum安装程序报错： Loaded plugins: fastestmirror Setting up Update Process Determining fastest mirrors Could not retrieve mirrorlist http://yum.wsd.com/index.
阅读全文
posted @ 2018-12-10 15:23
Error: rpmdb open failed
摘要：Error: rpmdb open failed 1、在centos系统上，在使用yum命令安装软件包时候报错： [root@srv213 yum.repos.d]# yum install https://repo.saltstack.com/yum/redhat/salt-repo-latest
阅读全文
posted @ 2018-12-10 15:15
Web性能压力测试之Webbench使用详解
摘要：Webbench是知名的网站压力测试工具，它是由Lionbridge公司（http://www.lionbridge.com）开发。Webbench能测试处在相同硬件上，不同服务的性能以及不同硬件上同一个服务的运行状况。webbench的标准测试可以向我们展示服务器的两项内容：每秒钟相应请求数和每秒
阅读全文
posted @ 2018-12-10 15:01
几款Web服务器性能压力测试工具
摘要：一、http_load 程序非常小，解压后也不到100Khttp_load以并行复用的方式运行，用以测试web服务器的吞吐量与负载。但是它不同于大多数压力测试工具，它可以以一个单一的进程运行，一般不会把客户机搞死。还可以测试HTTPS类的网站请求。下载地址：http_load-12mar2006.t
阅读全文
posted @ 2018-12-10 14:27
利用http_load测试Web引擎性能
摘要：http_load是基于linux平台的性能测试工具，它体积非常小，仅100KB。它以并行复用的方式运行，可以测试web服务器的吞吐量与负载。 一、获得http_load httpd_load的官方站是：http://www.acme.com/software/http_load/，LinuxVPS
阅读全文
posted @ 2018-12-06 22:37
gunicorn部署Flask服务
摘要：作为一个Python选手，工作中需要的一些服务接口一般会用Flask来开发。 Flask非常容易上手，它自带的app.run(host="0.0.0.0", port=7001)用来调试非常方便，但是用于生产环境无论是处理高并发还是鲁棒性都有所欠缺，一般会配合WGSI容器来进行[生产环境的部署][1
阅读全文
posted @ 2018-12-05 20:44
Python Web 框架：Tornado
摘要：版权声明：如需转载本文章，请保留出处！ https://blog.csdn.net/xc_zhou/article/details/806377141.TornadoTornado：python编写的web服务器兼web应用框架1.1.Tornado的优势轻量级web框架异步非阻塞IO处理方式出色的
阅读全文
posted @ 2018-12-05 14:54
python requests 调用restful api
摘要：#!/usr/bin/python# -*- coding: utf-8 -*- import jsonimport requestsfrom urlparse import urljoin BASE_URL = 'http://192.168.26.67:8000'AUTH = ('admin',
阅读全文
posted @ 2018-12-05 10:51
前后端分离，如何防止接口被其他人调用或恶意重发
摘要：前后端分离，如何防止接口被其他人调用或恶意重发？ 首先，http协议的无状态特性决定了是无法彻底避免第三方调用你的后台服务。我们可以通过crsf、接口调用频率、用户行为分析(来源等)等各个方面来增加第三方调用的难度，也可以通过添加一个中间层比如node.js来实现；1. 非法访问通常使用认证来解决，
阅读全文
posted @ 2018-12-05 10:31
浙公网安备 33010602011771号