导航

随笔分类 -  机器学习

机器学习算法学习

F1

摘要：Precision定义为预测正确的真正样本占所有被预测为正样本的比例，Recall定义为预测正确的真正样本占所有真正样本的比例，而F1值定义为Precision和Recall的调和平均值： 可以看到F1值会更接近P和R中较小的值，我们也可以自己设置Precision和Recall的重要性： >1的时 阅读全文

posted @ 2018-12-12 14:48 wzd321 阅读(153) 评论(0) 推荐(0)

深度森林DeepForest

摘要：级联森林（Cascade Forest） 级联森林结构的图示。级联的每个级别包括两个随机森林（蓝色字体标出）和两个完全随机树木森林（黑色）。 假设有三个类要预测，因此，每个森林将输出三维类向量，然后将其连接以重新表示原始输入。注意，要将前一级的特征和这一级的特征连接在一起——在最后会有一个例子，到时 阅读全文

posted @ 2018-12-09 21:48 wzd321 阅读(2698) 评论(1) 推荐(0)

随机森林RandomForest

摘要：ID3，C4.5决策树的生成： 输入：训练集D，特征集A，阈值eps， 输出：决策树T CART决策树的生成： 这里只简单介绍下CART与ID3和C4.5的区别 阅读全文

posted @ 2018-12-09 20:00 wzd321 阅读(196) 评论(0) 推荐(0)

Bagging和Boosting 概念及区别

摘要：转载：http://www.cnblogs.com/liuwu265/p/4690486.html Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。 1、Baggin 阅读全文

posted @ 2018-12-09 16:32 wzd321 阅读(156) 评论(0) 推荐(0)

L1正则化

摘要：正则化项本质上是一种先验信息，整个最优化问题从贝叶斯观点来看是一种贝叶斯最大后验估计，其中正则化项对应后验估计中的先验信息，损失函数对应后验估计中的似然函数，两者的乘积即对应贝叶斯最大后验估计的形式，如果你将这个贝叶斯最大后验估计的形式取对数，即进行极大似然估计，你就会发现问题立马变成了损失函数+正 阅读全文

posted @ 2018-11-16 11:34 wzd321 阅读(234) 评论(0) 推荐(0)

经验风险和结构化风险

摘要： 阅读全文

posted @ 2018-11-06 17:27 wzd321 阅读(671) 评论(0) 推荐(0)

kappa系数

摘要：kappa计算结果为-1~1，通常kappa是落在 0~1 间，可分为五组来表示不同级别的一致性： 计算公式： po是每一类正确分类的样本数量之和除以总样本数. 假设每一类的真实样本个数分别为a1,a2,...,aC，预测出来的每一类的样本个数分别为b1,b2,...,bC，总样本个数为n，则有：p 阅读全文

posted @ 2018-11-01 10:02 wzd321 阅读(1866) 评论(0) 推荐(0)

Gini系数的原理

摘要：转载：https://blog.csdn.net/u010665216/article/details/78528261 首先，我们直接构造赛题结果：真实数据与预测数据： 我们将预测值从小到大排列： 我们对排序后的真实值累计求和： 我们将数据Normalization到0，1之间，并画出45度线： 阅读全文

posted @ 2018-10-20 15:15 wzd321 阅读(1830) 评论(0) 推荐(0)

转载一份分类、回归、排序的评价指标

摘要：模型评估主要分为离线评估和在线评估。针对分类、排序、回归、序列预测等不同类型的机器学习问题，模型评估指标的选择也有所不同。要评估模型的效果，就需要将模型预测结果f(X)和真实标注Y进行比较，评估指标定义为f(X)和Y的函数：score = metric(f(X),Y)。模型的好坏是相对的，在对比不同 阅读全文

posted @ 2018-10-11 11:27 wzd321 阅读(1441) 评论(0) 推荐(0)

Logistic回归的两种形式y=0/1,y=+1/-1

摘要：第一种形式：y=0/1 第二种形式：y=+1/-1 第一种形式的损失函数可由极大似然估计推出: 第二种形式的损失函数： ， 参考：https://en.wikipedia.org/wiki/Loss_functions_for_classification 阅读全文

posted @ 2018-10-07 23:30 wzd321 阅读(1351) 评论(0) 推荐(1)

因式分解机FM的理论与代码实现

该文被密码保护。

posted @ 2018-10-03 11:03 wzd321 阅读(8) 评论(0) 推荐(0)

机器学习、自然语言处理、可视化、爬虫常用库

摘要： 阅读全文

posted @ 2018-10-01 10:22 wzd321 阅读(157) 评论(0) 推荐(0)

机器学习的应用领域和知识点

摘要： 阅读全文

posted @ 2018-09-28 22:05 wzd321 阅读(318) 评论(0) 推荐(0)

KL散度

摘要：KL散度是两个概率分布P与Q差异的一种方法： 1.离散概率分布KL散度计算公式 2.连续概率分布KL散度计算公式 KL散度可以很好地度量两个分布之间的距离，两个分布越接近，KL散度越小，两个分布越远，KL散度越大。 参考：https://blog.csdn.net/ericcchen/article 阅读全文

posted @ 2018-09-28 15:44 wzd321 阅读(268) 评论(0) 推荐(0)

蒙特卡洛采样、重要性采样

摘要：有一个概率密度函数p(x)，求解随机变量x基于此概率下某个函数f(x)的期望，表示如下： 如果概率分布形式比较简单的话，我们可以采用解析的方法： 如果f(x)过于复杂的话，直接求解就非常复杂，我们采用蒙特卡洛的方法。根据大数定理，当采样数量足够大的话，采样样本可以无限近似地表示原分布，我们可以得到： 阅读全文

posted @ 2018-09-28 12:08 wzd321 阅读(5108) 评论(0) 推荐(0)

伯努利分布和高斯分布下的最大似然估计、交叉熵

摘要：伯努利分布是一个离散型机率分布。试验成功，随机变量取值为1；试验失败，随机变量取值为0。成功机率为p，失败机率为q =1-p，N次试验后，成功期望为N*p，方差为N*p*(1-p) ，所以伯努利分布又称两点分布。 观察到的数据为D1，D2，D3，...，DN，极大似然的目标： 联合分布难计算，我们因 阅读全文

posted @ 2018-09-27 22:13 wzd321 阅读(3463) 评论(0) 推荐(0)

判定是否过拟合、欠拟合的一种方式

摘要：train loss 与 test loss 结果分析: train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题 阅读全文

posted @ 2018-09-22 15:05 wzd321 阅读(3215) 评论(0) 推荐(0)

支持向量机（SVM）算法分析——周志华的西瓜书学习

摘要：1.线性可分 对于一个数据集： 如果存在一个超平面X能够将D中的正负样本精确地划分到S的两侧，超平面如下： 那么数据集D就是线性可分的，否则，不可分。 w称为法向量，决定了超平面的方向；b为位移量，决定了超平面与原点的距离。 样本空间中的任意点x到超平面X的距离（不太熟悉的可以复习高数中空间几何那一 阅读全文

posted @ 2018-09-03 10:12 wzd321 阅读(2017) 评论(0) 推荐(0)