摘要： 个人及社会的全部财富,可以分为三部分:消费财富,固定资本和流动财富,消费财富不产生利润(满足基本需求),固定资本不经流动或者易主就能产生利润,流动资本只有经过流通易主才能产生利润;如果一个人的财富仅能维持生活,那他就不会选择投资,并谨慎的消费这笔财富,没有流动财富,只能是个穷人,留给世界的只能是背影 阅读全文

摘要： 数据清洗 对于缺失值的处理,我们分为3类:删除数据,数据插补,不处理.数据的插值是取前后相邻几个数据的平均值作为插值,有拉格朗日插值法,牛顿插值法等. 数据规范化 数据规范化对于基于距离的挖掘算法很重要,将数据映射到0-1之间,或者-1-1之间.主要的方法有:最小-最大规范化,零-均值规范化,小数定 阅读全文

摘要： 经过5000次的训练,该模型的错误率已经很低了,可以使用该模型进行分类预测了 用第一段代码训练好的模型,进行数据的分类,场景如:是否是垃圾邮件等 阅读全文

摘要： 读完python数据分析与挖掘实战，对于监督学习、非监督学习这两个概念算是明白了，这里总结下三个方向算法的优缺和使用场景 1、回归算法 回归算法是对一种数值型连续变量进行预测和建模的监督学习算法，运用在股票走势，房价走势预测上，每一个样本都有标注真值进行监督算法 1.1 线性回归 适用条件：线性回归 阅读全文

摘要： 读取完csv文件，进行运算，重新复制弹出A value is trying to be set on a copy of a slice from a DataFrame. 解决方法如下： 个人理解是这里的变量引用是直接寻址，不允许改变原变量的值，要将原变量的值复制出来，进行运算。个人理解，有错误还 阅读全文

摘要： 处理Series(还是觉得叫一维数组顺)，dropna(),返回非空数据和索引值的series 处理DataFrame(二维数组)，dropna()函数同样会丢掉所有含有空元素的数据（行内有一个空值，整行去除），默认how='any'，可以指定how='all',行里数据全为空才会删除。如果相以同样 阅读全文

摘要： 上次的随机逻辑回归模型是发掘自变量和因变量的线型相关,决策树和神经网络是非线型关系变量的筛选. 用的是决策树算法中的ID3算法(基于信息熵),最终使分类后的数据集的熵最小,C4.5决策树算法利用信息增益率划分数据集,CART决策树算法是利用Gini(基尼)指数划分数据集 阅读全文

摘要： 适用因变量一般有1和0(是否)两种取值,表示取值为1的概率. 采用随机逻辑回归剔除自变量(剔除false),逻辑回归的本质还是一种线型模型,被筛选掉的变量不一定就跟结果没关系,可能存在非线型相关. 阅读全文

摘要： 捕捉mysql性能问题最常用的就是打开慢查询,定位查询效率低下的sql语句. 编辑/etc/my.ini 打开刚设置好路径下的日志文件,查看效率低的SQL语句 EXPLAIN命令是查看优化器如何决定执行查询的主要方法: 1.id:包含一组数字，表示查询中执行select子句或操作表的顺序 id相同， 阅读全文

摘要： 箱线图大于上界(上四分位数,Qu+1.5IQR)小于下界(下四分位数,Ql-1.5IQR)都是异常值,IQR是上四分位数据Qu和下四分位数据Ql的差距,包含一半数据,具有一定的鲁棒性,不受异常值的影响 阅读全文