影醉阏轩窗

衣带渐宽终不悔,为伊消得人憔悴。
扩大
缩小

随笔分类 - 基础数学

偏差、方差和噪声的权衡关系
摘要:我们先定义几个概念: x:数据集 y:真实标签(实际值) yd: 当前标签(标签值,有可能是错误的,因为收集过程可能出错) f(x;D):在D模型中X的预测值 f(x)拔:x在某个模型中的期望值(可以说是概率也可以说是平均值,比如硬币正反面的期望是0.5,不用管怎么来的,就看作平均值即可) 求取平均 阅读全文

posted @ 2017-12-30 10:02 寂寞的小乞丐 阅读 (353) | 评论 (0) 编辑

信息熵的概念
摘要:注释:《机器学习实战》这本书说到香农熵,查了两个小时弄明白了。 信息熵有两种通俗解释: 1.代表信息的有用程度,越有用信息熵越大,负数是不可能的,我说句话不影响别人也可以影响我自己啊。 2.代表信息的压缩大小,一段话里面有重复的,把重复的去掉就等于压缩,这个压缩的极限就是信息熵。 看下面两个链接就明 阅读全文

posted @ 2017-11-18 21:38 寂寞的小乞丐 阅读 (164) | 评论 (0) 编辑

凸优化&非凸优化问题
摘要:转载知乎大神的回答:Robin Shen 参考:https://www.zhihu.com/question/20343349 阅读全文

posted @ 2017-11-04 18:55 寂寞的小乞丐 阅读 (99) | 评论 (0) 编辑

一些误差的概念
摘要:训练误差 训练得出的的误差,比如训练1000个样本得出的误差是0.01,训练500个样本得出的误差是0.02。一般在程序里当做训练终止的条件,例如do while(|R1-R2|<0.01){ do something } 泛化误差 训练好模型之后测试的误差,比如训练一个y=kx+b的模型了,现在去 阅读全文

posted @ 2017-11-04 02:11 寂寞的小乞丐 阅读 (61) | 评论 (0) 编辑

大数定律和中心极限定律
摘要:看了《概率论与数理统计》上面说了大数定律和中心极限定律的推到。。。。没时间去弄公式推到,现在大概了解,之后用到再去一步步推到。 中心极限定理: 设随机变量X1,X2,......Xn,......独立同分布,并且具有有限的数学期望和方差:E(Xi)=μ,D(Xi)=σ20(k=1,2....),则对 阅读全文

posted @ 2017-11-01 22:30 寂寞的小乞丐 阅读 (818) | 评论 (0) 编辑

先验概率、后验概率、似然函数的理解
摘要:注释:最近一直看到先验后验的说法,一直不懂,这次查了资料记录一下。 1.先验和后验的区别: A.简单的了解两个概率的含义 先验概率可理解为统计概率,后验概率可理解为条件概率。 设定背景:酒至半酣,忽阴云漠漠,骤雨将至。 情景一: “天不会下雨的,历史上这里下雨的概率是20%” 先验概率 “但阴云漠漠 阅读全文

posted @ 2017-11-01 21:49 寂寞的小乞丐 阅读 (1539) | 评论 (0) 编辑

概率密度函数、概率分布函数、概率质量函数
摘要:1.概率密度函数 1.1. 定义 如果对于随机变量X的分布函数F(x),存在非负函数f(x),使得对于任意实数有 则称X为连续型随机变量,其中F(x)称为X的概率密度函数,简称概率密度。(f(x)>=0,若f(x)在点x处连续则F(x)求导可得)f(x)并没有很特殊的意义,但是通过其值得相对大小得知 阅读全文

posted @ 2017-11-01 17:58 寂寞的小乞丐 阅读 (4407) | 评论 (0) 编辑

高维高斯分布的简述
摘要:标准的一元高斯分布概率密度函数是: 如果有另外一个随机变量,它和是相互独立的,那么,它们的联合概率密度函数是: 那么,如果用和组成一个随机向量,形如: 那么,的密度函数就是: 为了让形式更一般化,设: 概率密度函数关系里可知: 注释:这里笔误||A|| >>>|A| 是指A的矩阵 概率密度函数间的关 阅读全文

posted @ 2017-11-01 17:25 寂寞的小乞丐 阅读 (153) | 评论 (0) 编辑

协方差和相关系数的概念和含义
摘要:1.协方差: 在概率论中,两个随机变量 X 与 Y 之间相互关系,大致有下列3种情况: 当 X, Y 的联合分布像上图那样时,我们可以看出,大致上有: X 越大 Y 也越大, X 越小 Y 也越小,这种情况,我们称为“正相关”。 当X, Y 的联合分布像上图那样时,我们可以看出,大致上有:X 越大Y 阅读全文

posted @ 2017-11-01 15:36 寂寞的小乞丐 阅读 (125) | 评论 (0) 编辑

从最大似然函数 到 EM算法详解
摘要:极大似然算法 本来打算把别人讲的好的博文放在上面的,但是感觉那个适合看着玩,我看过之后感觉懂了,然后实际应用就不会了。。。。 MLP其实就是用来求模型参数的,核心就是“模型已知,求取参数”,模型的意思就是数据符合什么函数,比如我们硬币的正反就是二项分布模型,再比如我们平时随机生成的一类数据符合高斯模 阅读全文

posted @ 2017-06-14 18:10 寂寞的小乞丐 阅读 (4107) | 评论 (0) 编辑

遗传算法入门---附源程序
摘要:目标是学习“神经网络”的,但是看到一篇博文说学习之前应该把遗传算法了解一下,所以干脆学习一下遗传算法了: 注:本博文是改编CSND上一篇大神的博文,我测试他的程序有问题,自己动手改了一下,现在测试几个函数完全可以运行! 大神博文地址:他写的很好:http://blog.csdn.net/emiyas 阅读全文

posted @ 2017-03-02 11:13 寂寞的小乞丐 阅读 (408) | 评论 (0) 编辑

导航

/* 线条鼠标集合 */ /* 鼠标点击求赞文字特效 */ //带头像评论