Small_office

摘要： 一、概念 随机森林（Random Forest）是一种由多个决策树组成的分类器，是一种监督学习算法，大部分时候是用bagging方法训练的。 bagging(bootstrap aggregating)，训练多轮，每轮的样本由原始样本中随机可放回取出n个样本组成，最终的预测函数对分类问题采用投票方式 阅读全文

摘要： 一、概念 逻辑回归(Logistic Regression,LR)是一种广义的线性回归分析模型,属于监督学习算法，需要打标数据，可以用在回归、二分类和多分类等问题上,最常用的是二分类。 线性回归就是通过一条曲线区分不同的数据集，在二分类问题上会有一条直线对其进行区分，如下： 逻辑回归需要每组数据都是 阅读全文

摘要： 一、概念 朴素贝叶斯模型（Naive Bayesian Model，NBM）是以条件概率为基础的分类器，是一种监督算法，常被用于文本分类和垃圾邮件过滤。贝叶斯理论解决的是逆向概率问题，即通过已经发生的已知的概率来推测未发生的事将会发生的概率。 二、计算 朴素贝叶斯各个事件发生的概率是彼此独立的，即m 阅读全文

摘要： 一、概念 KNN主要用来解决分类问题，是监督分类算法，它通过判断最近K个点的类别来决定自身类别，所以K值对结果影响很大，虽然它实现比较简单，但在目标数据集比例分配不平衡时，会造成结果的不准确。而且KNN对资源开销较大。 二、计算 通过K近邻进行计算，需要： 1、加载打标好的数据集，然后设定一个K值； 阅读全文

摘要： 一、特征抽象 特征抽象是指将数据源抽象算法可以理解的数据，我们期望的数据是一组可以表达数据某种特性的数字。 下面对几种数据类型抽象举例： （1）时间戳 以某一天为基准值，采用算法算出某数值，其他的采用和该基准值的差距。 （2）二值类问题 文本或其他描述的二值问题，可以量化为0和1表示。 （3）多值有 阅读全文

摘要： http1.1支持长链接，而http1.0不支持，所以，在切换http版本号或者升级服务端版本时候，尤其要注意这个造成的影响。 当客户端以http1.1长链接方式连接服务端时，服务端如果不支持1.1，客户端会进行协议降级，用1.0通信，即使用短连接，此时服务端可以正常提供服务； 一旦服务端http版 阅读全文

摘要： 一、采样 1、随机采样 随机从样本中抽取特定数量的样本，取完放回再取叫放回采样，取完不放回叫无放回采样。 2、系统采样 一般采样无放回采样，将数据样本按一定规则分为n等份，再从每等份随机抽取m个样本 3、分层采样 将数据分为若干个类别，每层抽取一定量的样本，再将样本组合起来 二、归一化 是指将数据经 阅读全文

摘要： 一、数据探查 1、数据量大小，足够的数据对学习效果有直接影响； 2、数据缺失或乱码，缺失和乱码影响数据质量，这种情况多的话需要进行数据清洗； 3、字段类型，不同算法对数据类型要求不一致，必要时需要进行转换； 4、是否含有目标队列，决定采用监督或无监督算法，若无目标队列可以考虑用ETL（抽取（extr 阅读全文

摘要： 一、六个步骤 1、场景解析，即进行业务场景抽象，匹配业务和算法； 2、数据预处理，即进行数据清洗，对数据进行拆分，采样，去噪等，也可以进行数据归一化或标准化； 3、特征工程，即提取数据特征； 4、模型训练，通过算法进行训练，并生成模型； 5、模型评估，评估模型成熟度； 6、服务，根据每天数据生成新模 阅读全文

摘要： #celery_app.py #!/usr/bin/env python # -*- coding: utf-8 -*- from __future__ import absolute_import import os from celery import Celery, platforms from django.conf import settings os.environ.setdef... 阅读全文