导航

随笔分类 -  机器学习

机器学习算法学习
摘要:Precision定义为预测正确的真正样本占所有被预测为正样本的比例,Recall定义为预测正确的真正样本占所有真正样本的比例,而F1值定义为Precision和Recall的调和平均值: 可以看到F1值会更接近P和R中较小的值,我们也可以自己设置Precision和Recall的重要性: >1的时 阅读全文

posted @ 2018-12-12 14:48 wzd321 阅读(153) 评论(0) 推荐(0)

摘要:级联森林(Cascade Forest) 级联森林结构的图示。级联的每个级别包括两个随机森林(蓝色字体标出)和两个完全随机树木森林(黑色)。 假设有三个类要预测,因此,每个森林将输出三维类向量,然后将其连接以重新表示原始输入。注意,要将前一级的特征和这一级的特征连接在一起——在最后会有一个例子,到时 阅读全文

posted @ 2018-12-09 21:48 wzd321 阅读(2698) 评论(1) 推荐(0)

摘要:ID3,C4.5决策树的生成: 输入:训练集D,特征集A,阈值eps, 输出:决策树T CART决策树的生成: 这里只简单介绍下CART与ID3和C4.5的区别 阅读全文

posted @ 2018-12-09 20:00 wzd321 阅读(196) 评论(0) 推荐(0)

摘要:转载:http://www.cnblogs.com/liuwu265/p/4690486.html Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。 1、Baggin 阅读全文

posted @ 2018-12-09 16:32 wzd321 阅读(156) 评论(0) 推荐(0)

摘要:正则化项本质上是一种先验信息,整个最优化问题从贝叶斯观点来看是一种贝叶斯最大后验估计,其中正则化项对应后验估计中的先验信息,损失函数对应后验估计中的似然函数,两者的乘积即对应贝叶斯最大后验估计的形式,如果你将这个贝叶斯最大后验估计的形式取对数,即进行极大似然估计,你就会发现问题立马变成了损失函数+正 阅读全文

posted @ 2018-11-16 11:34 wzd321 阅读(234) 评论(0) 推荐(0)

摘要: 阅读全文

posted @ 2018-11-06 17:27 wzd321 阅读(671) 评论(0) 推荐(0)

摘要:kappa计算结果为-1~1,通常kappa是落在 0~1 间,可分为五组来表示不同级别的一致性: 计算公式: po是每一类正确分类的样本数量之和除以总样本数. 假设每一类的真实样本个数分别为a1,a2,...,aC,预测出来的每一类的样本个数分别为b1,b2,...,bC,总样本个数为n,则有:p 阅读全文

posted @ 2018-11-01 10:02 wzd321 阅读(1866) 评论(0) 推荐(0)

摘要:转载:https://blog.csdn.net/u010665216/article/details/78528261 首先,我们直接构造赛题结果:真实数据与预测数据: 我们将预测值从小到大排列: 我们对排序后的真实值累计求和: 我们将数据Normalization到0,1之间,并画出45度线: 阅读全文

posted @ 2018-10-20 15:15 wzd321 阅读(1830) 评论(0) 推荐(0)

摘要:模型评估主要分为离线评估和在线评估。针对分类、排序、回归、序列预测等不同类型的机器学习问题,模型评估指标的选择也有所不同。要评估模型的效果,就需要将模型预测结果f(X)和真实标注Y进行比较,评估指标定义为f(X)和Y的函数:score = metric(f(X),Y)。模型的好坏是相对的,在对比不同 阅读全文

posted @ 2018-10-11 11:27 wzd321 阅读(1441) 评论(0) 推荐(0)

摘要:第一种形式:y=0/1 第二种形式:y=+1/-1 第一种形式的损失函数可由极大似然估计推出: 第二种形式的损失函数: , 参考:https://en.wikipedia.org/wiki/Loss_functions_for_classification 阅读全文

posted @ 2018-10-07 23:30 wzd321 阅读(1351) 评论(0) 推荐(1)

该文被密码保护。

posted @ 2018-10-03 11:03 wzd321 阅读(8) 评论(0) 推荐(0)

摘要: 阅读全文

posted @ 2018-10-01 10:22 wzd321 阅读(157) 评论(0) 推荐(0)

摘要: 阅读全文

posted @ 2018-09-28 22:05 wzd321 阅读(318) 评论(0) 推荐(0)

摘要:KL散度是两个概率分布P与Q差异的一种方法: 1.离散概率分布KL散度计算公式 2.连续概率分布KL散度计算公式 KL散度可以很好地度量两个分布之间的距离,两个分布越接近,KL散度越小,两个分布越远,KL散度越大。 参考:https://blog.csdn.net/ericcchen/article 阅读全文

posted @ 2018-09-28 15:44 wzd321 阅读(268) 评论(0) 推荐(0)

摘要:有一个概率密度函数p(x),求解随机变量x基于此概率下某个函数f(x)的期望,表示如下: 如果概率分布形式比较简单的话,我们可以采用解析的方法: 如果f(x)过于复杂的话,直接求解就非常复杂,我们采用蒙特卡洛的方法。根据大数定理,当采样数量足够大的话,采样样本可以无限近似地表示原分布,我们可以得到: 阅读全文

posted @ 2018-09-28 12:08 wzd321 阅读(5108) 评论(0) 推荐(0)

摘要:伯努利分布是一个离散型机率分布。试验成功,随机变量取值为1;试验失败,随机变量取值为0。成功机率为p,失败机率为q =1-p,N次试验后,成功期望为N*p,方差为N*p*(1-p) ,所以伯努利分布又称两点分布。 观察到的数据为D1,D2,D3,...,DN,极大似然的目标: 联合分布难计算,我们因 阅读全文

posted @ 2018-09-27 22:13 wzd321 阅读(3463) 评论(0) 推荐(0)

摘要:train loss 与 test loss 结果分析: train loss 不断下降,test loss不断下降,说明网络仍在学习; train loss 不断下降,test loss趋于不变,说明网络过拟合; train loss 趋于不变,test loss不断下降,说明数据集100%有问题 阅读全文

posted @ 2018-09-22 15:05 wzd321 阅读(3215) 评论(0) 推荐(0)

摘要:1.线性可分 对于一个数据集: 如果存在一个超平面X能够将D中的正负样本精确地划分到S的两侧,超平面如下: 那么数据集D就是线性可分的,否则,不可分。 w称为法向量,决定了超平面的方向;b为位移量,决定了超平面与原点的距离。 样本空间中的任意点x到超平面X的距离(不太熟悉的可以复习高数中空间几何那一 阅读全文

posted @ 2018-09-03 10:12 wzd321 阅读(2017) 评论(0) 推荐(0)