2018年12月27日

Python LOGGING使用方法

摘要： Python LOGGING使用方法 1. 简介 使用场景 日志的严重程度 由高到低| Level|| : || CRITICAL|| ERROR|| WARNING|| INFO|| DEBUG|logging默认的严重程度是WARNING，即在这个严重程度或以上的日志才会被记录。 有两种常用的记 阅读全文

posted @ 2018-12-27 21:56 ExplorerMan 阅读(283) 评论(0) 推荐(0)

Mysql元数据分析

摘要： Mysql元数据分析 一、information_schema库 information_schema库中的表，保存的是Mysql的元数据。官网元数据表介绍InnoDB相关的表介绍库中有表： 1. CHARACTER_SETS 保存所有Mysql可用的字符集。相当于命令：SHOW CHARACTER 阅读全文

posted @ 2018-12-27 21:55 ExplorerMan 阅读(382) 评论(0) 推荐(0)

python编码encode和decode

摘要： 计算机里面，编码方法有很多种，英文的一般用ascii,而中文有unicode，utf-8,gbk,utf-16等等。 unicode是 utf-8,gbk,utf-16这些的父编码，这些子编码都能转换成unicode编码，然后转化成子编码，例如utf8可以转成unicode，再转gbk，但不能直接从 阅读全文

posted @ 2018-12-27 21:54 ExplorerMan 阅读(398) 评论(0) 推荐(0)

自己写的Python数据库连接类和sql语句拼接方法

摘要： 这个工具类十分简单和简洁。 sql拼接方法 数据库连接类 self.conn= DBpool.pool.connection()中，我用的是连接池连接，这里可以改成普通的数据库连接 查询结果解析方法 使用方法： 例如要执行sql语句：select username,pwd,type,age,birt 阅读全文

posted @ 2018-12-27 21:53 ExplorerMan 阅读(1005) 评论(0) 推荐(0)

Python中docstring文档的写法

摘要： 该写法根据Python的PEP 257文档总结。类的函数称为方法（method），模块里的函数称为函数（function） 单行例子： 多行例子： 未经许可请不要转载。 阅读全文

posted @ 2018-12-27 21:52 ExplorerMan 阅读(3292) 评论(1) 推荐(0)

Nginx+uWSGI+Django原理

摘要： Python的Web开发中，如果使用Django框架，那么较为成熟稳定的服务器架构一般是Nginx+uWSGI+Django。而为什么一定要三个结合在一起呢？直接使用Django的runserver来启动服务器进程，或者uWSGI+Django可不可以呢？为什么？ 概念说明： APP（应用程序），就 阅读全文

posted @ 2018-12-27 21:51 ExplorerMan 阅读(264) 评论(0) 推荐(0)

Python垃圾回收机制详解

摘要： 一.垃圾回收机制 Python中的垃圾回收是以引用计数为主，分代收集为辅。引用计数的缺陷是循环引用的问题。在Python中，如果一个对象的引用数为0，Python虚拟机就会回收这个对象的内存。 执行f1()会循环输出这样的结果，而且进程占用的内存基本不会变动 c1=ClassA()会创建一个对象，放 阅读全文

posted @ 2018-12-27 21:50 ExplorerMan 阅读(194) 评论(0) 推荐(0)

Python数据库连接池实例——PooledDB

摘要： 不用连接池的MySQL连接方法 用连接池后的连接方法 DBUtils下载地址：https://pypi.python.org/pypi/DBUtils/ 阅读全文

posted @ 2018-12-27 21:48 ExplorerMan 阅读(448) 评论(0) 推荐(0)

构建高可用服务端

摘要： 一. 什么是高可用性 服务端，顾名思义就是为用户提供服务的。停工时间，就是不能向用户提供服务的时间。高可用，就是系统具有高度可用性，尽量减少停工时间。 停工的原因一般有： 停工的原因，可以理解为灾难，所以系统的高可用性就是容灾，即应对灾难的能力，系统有较好的容灾能力，也就是即使灾难出现，系统依然可以 阅读全文

posted @ 2018-12-27 21:46 ExplorerMan 阅读(266) 评论(0) 推荐(0)

Python使用multiprocessing实现一个最简单的分布式作业调度系统

摘要： Python使用multiprocessing实现一个最简单的分布式作业调度系统介绍Python的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者，将任务分布到其他多个机器的多个进程中，依靠网络通信。 想到这，就在 阅读全文

posted @ 2018-12-27 21:44 ExplorerMan 阅读(1019) 评论(0) 推荐(0)

python3 分布式进程(跨机器)BaseManager(multiprocessing.managers)

摘要： A机器负责发送任务和接受结果： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 #task_master.py import random,time,queue from multipr 阅读全文

posted @ 2018-12-27 21:43 ExplorerMan 阅读(682) 评论(0) 推荐(0)

python BaseManager分布式学习

摘要： 如果我们已经有一个通过Queue通信的多进程程序在同一台机器上运行，现在，由于处理任务的进程任务繁重，希望把发送任务的进程和处理任务的进程分布到两台机器上。怎么用分布式进程实现？原有的Queue可以继续使用，但是，通过managers模块把Queue通过网络暴露出去，就可以让其他机器的进程访问Que 阅读全文

posted @ 2018-12-27 21:42 ExplorerMan 阅读(2265) 评论(0) 推荐(0)

简单的异步任务工具——rq 的使用教程

摘要： rq是一个简单的，轻量级的异步任务工具。如果在网站中用户发起一个用时很久（大于2分钟）的请求，如果用同步的方式，服务器就会返回超时。这时候就需要用异步请求，用户发起请求后，服务端把作业扔给另一个进程去执行，然后立刻返回给用户，用户再通过轮询或者其他方式来获取作业的执行进度和执行结果。rq的作用就相当 阅读全文

posted @ 2018-12-27 21:41 ExplorerMan 阅读(1369) 评论(0) 推荐(0)

Python通过Manager方式实现多个无关联进程共享数据

摘要： Python实现多进程间通信的方式有很多种，例如队列，管道等。但是这些方式只适用于多个进程都是源于同一个父进程的情况。如果多个进程不是源于同一个父进程，只能用共享内存，信号量等方式，但是这些方式对于复杂的数据结构，例如Queue，dict，list等，使用起来比较麻烦，不够灵活。Manager是一种 阅读全文

posted @ 2018-12-27 21:40 ExplorerMan 阅读(759) 评论(0) 推荐(0)

Python LOGGING使用方法

摘要： Python LOGGING使用方法 1. 简介 使用场景 日志的严重程度 由高到低| Level|| : || CRITICAL|| ERROR|| WARNING|| INFO|| DEBUG|logging默认的严重程度是WARNING，即在这个严重程度或以上的日志才会被记录。 有两种常用的记 阅读全文

posted @ 2018-12-27 21:56 ExplorerMan 阅读(283) 评论(0) 推荐(0)

Mysql元数据分析

摘要： Mysql元数据分析 一、information_schema库 information_schema库中的表，保存的是Mysql的元数据。官网元数据表介绍InnoDB相关的表介绍库中有表： 1. CHARACTER_SETS 保存所有Mysql可用的字符集。相当于命令：SHOW CHARACTER 阅读全文

posted @ 2018-12-27 21:55 ExplorerMan 阅读(382) 评论(0) 推荐(0)

python编码encode和decode

摘要： 计算机里面，编码方法有很多种，英文的一般用ascii,而中文有unicode，utf-8,gbk,utf-16等等。 unicode是 utf-8,gbk,utf-16这些的父编码，这些子编码都能转换成unicode编码，然后转化成子编码，例如utf8可以转成unicode，再转gbk，但不能直接从 阅读全文

posted @ 2018-12-27 21:54 ExplorerMan 阅读(398) 评论(0) 推荐(0)

自己写的Python数据库连接类和sql语句拼接方法

摘要： 这个工具类十分简单和简洁。 sql拼接方法 数据库连接类 self.conn= DBpool.pool.connection()中，我用的是连接池连接，这里可以改成普通的数据库连接 查询结果解析方法 使用方法： 例如要执行sql语句：select username,pwd,type,age,birt 阅读全文

posted @ 2018-12-27 21:53 ExplorerMan 阅读(1005) 评论(0) 推荐(0)

Python中docstring文档的写法

摘要： 该写法根据Python的PEP 257文档总结。类的函数称为方法（method），模块里的函数称为函数（function） 单行例子： 多行例子： 未经许可请不要转载。 阅读全文

posted @ 2018-12-27 21:52 ExplorerMan 阅读(3292) 评论(1) 推荐(0)

Nginx+uWSGI+Django原理

摘要： Python的Web开发中，如果使用Django框架，那么较为成熟稳定的服务器架构一般是Nginx+uWSGI+Django。而为什么一定要三个结合在一起呢？直接使用Django的runserver来启动服务器进程，或者uWSGI+Django可不可以呢？为什么？ 概念说明： APP（应用程序），就 阅读全文

posted @ 2018-12-27 21:51 ExplorerMan 阅读(264) 评论(0) 推荐(0)

Python垃圾回收机制详解

摘要： 一.垃圾回收机制 Python中的垃圾回收是以引用计数为主，分代收集为辅。引用计数的缺陷是循环引用的问题。在Python中，如果一个对象的引用数为0，Python虚拟机就会回收这个对象的内存。 执行f1()会循环输出这样的结果，而且进程占用的内存基本不会变动 c1=ClassA()会创建一个对象，放 阅读全文

posted @ 2018-12-27 21:50 ExplorerMan 阅读(194) 评论(0) 推荐(0)

Python数据库连接池实例——PooledDB

摘要： 不用连接池的MySQL连接方法 用连接池后的连接方法 DBUtils下载地址：https://pypi.python.org/pypi/DBUtils/ 阅读全文

posted @ 2018-12-27 21:48 ExplorerMan 阅读(448) 评论(0) 推荐(0)

构建高可用服务端

摘要： 一. 什么是高可用性 服务端，顾名思义就是为用户提供服务的。停工时间，就是不能向用户提供服务的时间。高可用，就是系统具有高度可用性，尽量减少停工时间。 停工的原因一般有： 停工的原因，可以理解为灾难，所以系统的高可用性就是容灾，即应对灾难的能力，系统有较好的容灾能力，也就是即使灾难出现，系统依然可以 阅读全文

posted @ 2018-12-27 21:46 ExplorerMan 阅读(266) 评论(0) 推荐(0)

Python使用multiprocessing实现一个最简单的分布式作业调度系统

摘要： Python使用multiprocessing实现一个最简单的分布式作业调度系统介绍Python的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者，将任务分布到其他多个机器的多个进程中，依靠网络通信。 想到这，就在 阅读全文

posted @ 2018-12-27 21:44 ExplorerMan 阅读(1019) 评论(0) 推荐(0)

python3 分布式进程(跨机器)BaseManager(multiprocessing.managers)

摘要： A机器负责发送任务和接受结果： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 #task_master.py import random,time,queue from multipr 阅读全文

posted @ 2018-12-27 21:43 ExplorerMan 阅读(682) 评论(0) 推荐(0)

python BaseManager分布式学习

摘要： 如果我们已经有一个通过Queue通信的多进程程序在同一台机器上运行，现在，由于处理任务的进程任务繁重，希望把发送任务的进程和处理任务的进程分布到两台机器上。怎么用分布式进程实现？原有的Queue可以继续使用，但是，通过managers模块把Queue通过网络暴露出去，就可以让其他机器的进程访问Que 阅读全文

posted @ 2018-12-27 21:42 ExplorerMan 阅读(2265) 评论(0) 推荐(0)

简单的异步任务工具——rq 的使用教程

摘要： rq是一个简单的，轻量级的异步任务工具。如果在网站中用户发起一个用时很久（大于2分钟）的请求，如果用同步的方式，服务器就会返回超时。这时候就需要用异步请求，用户发起请求后，服务端把作业扔给另一个进程去执行，然后立刻返回给用户，用户再通过轮询或者其他方式来获取作业的执行进度和执行结果。rq的作用就相当 阅读全文

posted @ 2018-12-27 21:41 ExplorerMan 阅读(1369) 评论(0) 推荐(0)

Python通过Manager方式实现多个无关联进程共享数据

摘要： Python实现多进程间通信的方式有很多种，例如队列，管道等。但是这些方式只适用于多个进程都是源于同一个父进程的情况。如果多个进程不是源于同一个父进程，只能用共享内存，信号量等方式，但是这些方式对于复杂的数据结构，例如Queue，dict，list等，使用起来比较麻烦，不够灵活。Manager是一种 阅读全文

posted @ 2018-12-27 21:40 ExplorerMan 阅读(759) 评论(0) 推荐(0)

导航