随笔分类 - python
摘要：一、为什么使用rpc。 1）相比uwsgi，使用rpc的长连接可以不需要频繁创建连接，提高传输效率。 2）rpc支持同步和异步，对于不需要等待返回的消息可以不等待返回继续运行，减少客户端等待时间。 3）使用rpc入口是我们自己定义的，可以根据不同消息类型定制不同的策略。 二、设计思路 使用统一入口，
阅读全文
摘要：1、memory_profiler可以监控代码的内存消耗及增长量，以下面的代码为例。 发现在for循环里增加了0.3MB，这个工具可以帮助我们定位内存泄露的问题。 2、profile与cProfile可以监控代码的CPU占用，看下下面的代码。 结果如下，ncalls是调用次数，cumtime可以看到
阅读全文
摘要：1、uwsgi_response_write_body_do(): Broken pipe 出现这种情况一般是由于客户端无法等到服务端的回应而关闭了连接，常出现与nginx + uwsgi的情况，当uwsgi做完准备给nginx回应时，发现连接已经关闭了，这时候就会报这个错，需要检查服务端的处理逻辑
阅读全文
摘要：Celery启动的入口： 文件：Celery/bin/celery.py 看下main函数做了什么事 可以看到主要做了几个事根据-P参数判断是否需要打patch，如果是gevent或者eventlet则要打对应的补丁。 然后执行命令行逻辑 可以看到，这边取出系统参数 然后执行基类Command的ex
阅读全文
摘要：一、概念 线性回归（Linear Regression）是回归算法中比较简单的一种，是一种监督学习算法，类似于逻辑回归，但是线性回归不需要Sigmoid函数处理。 线性回归会拟合出一条直线，这条线可以某种程度上代表这些点的发展趋势和分布，拟合出线后，就可以推测后续点的分布，从而实现预测。 二、计算
阅读全文
摘要：一、概念 DBSCAN是一种基于密度的聚类算法，DBSCAN需要两个参数，一个是以P为中心的邻域半径；另一个是以P为中心的邻域内的最低门限点的数量，即密度。 优点： 1、不需要提前设定分类簇数量，分类结果更合理； 2、可以有效的过滤干扰。 缺点： 1、对高维数据处理效果较差； 2、算法复杂度较高，资
阅读全文
摘要：一、概念 K-means是一种典型的聚类算法，它是基于距离的，是一种无监督的机器学习算法。 K-means需要提前设置聚类数量，我们称之为簇，还要为之设置初始质心。 缺点： 1、循环计算点到质心的距离，复杂度较高。 2、对噪声不敏感，即使是噪声也会被聚类。 3、质心数量及初始位置的选定对结果有一定的
阅读全文
摘要：一、概念 随机森林（Random Forest）是一种由多个决策树组成的分类器，是一种监督学习算法，大部分时候是用bagging方法训练的。 bagging(bootstrap aggregating)，训练多轮，每轮的样本由原始样本中随机可放回取出n个样本组成，最终的预测函数对分类问题采用投票方式
阅读全文
摘要：一、概念 逻辑回归(Logistic Regression,LR)是一种广义的线性回归分析模型,属于监督学习算法，需要打标数据，可以用在回归、二分类和多分类等问题上,最常用的是二分类。 线性回归就是通过一条曲线区分不同的数据集，在二分类问题上会有一条直线对其进行区分，如下： 逻辑回归需要每组数据都是
阅读全文
摘要：一、概念 朴素贝叶斯模型（Naive Bayesian Model，NBM）是以条件概率为基础的分类器，是一种监督算法，常被用于文本分类和垃圾邮件过滤。贝叶斯理论解决的是逆向概率问题，即通过已经发生的已知的概率来推测未发生的事将会发生的概率。 二、计算 朴素贝叶斯各个事件发生的概率是彼此独立的，即m
阅读全文
摘要：一、概念 KNN主要用来解决分类问题，是监督分类算法，它通过判断最近K个点的类别来决定自身类别，所以K值对结果影响很大，虽然它实现比较简单，但在目标数据集比例分配不平衡时，会造成结果的不准确。而且KNN对资源开销较大。 二、计算 通过K近邻进行计算，需要： 1、加载打标好的数据集，然后设定一个K值；
阅读全文
摘要：一、特征抽象 特征抽象是指将数据源抽象算法可以理解的数据，我们期望的数据是一组可以表达数据某种特性的数字。 下面对几种数据类型抽象举例： （1）时间戳 以某一天为基准值，采用算法算出某数值，其他的采用和该基准值的差距。 （2）二值类问题 文本或其他描述的二值问题，可以量化为0和1表示。 （3）多值有
阅读全文
摘要：http1.1支持长链接，而http1.0不支持，所以，在切换http版本号或者升级服务端版本时候，尤其要注意这个造成的影响。 当客户端以http1.1长链接方式连接服务端时，服务端如果不支持1.1，客户端会进行协议降级，用1.0通信，即使用短连接，此时服务端可以正常提供服务； 一旦服务端http版
阅读全文
摘要：#celery_app.py #!/usr/bin/env python # -*- coding: utf-8 -*- from __future__ import absolute_import import os from celery import Celery, platforms from django.conf import settings os.environ.setdef...
阅读全文
摘要：[uwsgi] socket = 0.0.0.0:8080 protocol = http master = true hara-kiri = 60 chdir = /home/test/project manage-script-name = true mount = /home/test/project/project/wsgi.py processes = 4 threads = 40 p...
阅读全文
摘要：1 # coding=utf-8 2 import os 3 import commands 4 import re 5 from pyExcelerator import * 6 7 8 def execute(cmd): 9 status, output = commands.getstatusoutput(cmd) 10 if status != 0:...
阅读全文
摘要：1 # coding=utf-8 2 import re 3 import os 4 import commands 5 import json 6 import psutil 7 from pyExcelerator import * 8 9 10 def execute(cmd): 11 status, output = commands....
阅读全文
摘要：uWSGI是实现了WSGI，uwsgi的一个web server，WSGI是一种规范。要实现WSGI协议，必须同时实现web server和web application，web server由uwsgi提供，app很多python的web框架都支持，比如django，flask等，基本模型如下。
阅读全文
摘要：在python中一切皆对象，这是个用python的人都知道的概念，以int举例，比如a=2，type下： 发现他的type是int，在python中type就是类，所以a是类int的一个对象，实例是类的对象，这个很好理解，那么类呢，类是对象吗？那是肯定的 可以看到，int是type的一个对象，再往上
阅读全文
摘要：1、wsgi将web server参数python化，封装为request对象传递给apllication命名的func对象并接受其传出的response参数，这个application在wsgi.py里： 2、加载django的配置，LOGGING，INSTALL_APP等，并调用每个app下的A
阅读全文
浙公网安备 33010602011771号