摘要：内容包括：机器学习常规项目流程+建模注意事项 机器学习常规项目流程： 1、理解实际业务问题，抽象成数学问题 明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情，深入理解要处理的问题，能避免走很多弯路。这里的抽象成数学问题，指的我们明确我们可以获得什么样的数据，目标是一个分类 阅读全文

摘要：定义：异常值，即在数据集中存在不合理的值，又称离群点。比如年龄为-1，笔记本电脑重量为1吨等，都属于异常值的范围。从集合角度来看，异常值即离群点。 如下图所示： 判别方法： 1.简单统计分析 对属性值进行一个描述性的统计，从而查看哪些值是不合理的。比如对年龄这个属性进行规约：年龄的区间在[0:200 阅读全文

摘要：对于分类模型，常用的指标有混淆矩阵、ROC曲线，AUC值，KS曲线以及KS值、Lift图，Gain图等： 1. 混淆矩阵 确定截断点后，评价学习器性能 假设训练之初以及预测后，一个样本是正例还是反例是已经确定的，这个时候，样本应该有两个类别值，一个是真实的0/1，一个是预测的0/1 TP（实际为正预 阅读全文

摘要：这几年来，机器学习和数据挖掘非常火热，它们逐渐为世界带来实际价值。与此同时，越来越多的机器学习算法从学术界走向工业界，而在这个过程中会有很多困难。数据不平衡问题虽然不是最难的，但绝对是最重要的问题之一。 一、数据不平衡 在学术研究与教学中，很多算法都有一个基本假设，那就是数据分布是均匀的。当我们把这 阅读全文

摘要：原作者：张洋 PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原 阅读全文