随笔分类 - 机器学习
摘要：An Introduction to Machine Learning What is Machine Learning? Machine Learning is more suitable to be described as ‘Model Learning’. For the given dat
阅读全文
摘要：先说结论，BP算法=梯度下降+链式求导。 梯度下降一种无约束优化方法，以负梯度作为搜索方向，所以叫梯度法，在最优化理论里正常叫“最速下降法”。这是一个求解极值问题的古老算法，1847年由柯西（Cauchy）提出。迭代公式为： \[ x^{k+1}=x^{k}-\alpha_k \triangledo
阅读全文
摘要：线性分类器都是在样本空间中寻找一个超平面来将不同类别的样本分开，比如感知机的决策平面$wTx=0$，Logistic回归$z=wTx+b=0$。对于决策平面的选择一般是选择“正中间的”，与两边两个类的距离尽可能大，这样模型泛化能力强，从而有了“最大间隔”这个概念。 支持向量机模型的超平面方程是$wT
阅读全文
摘要：当有人告诉你“走过贝克街你有0.1的概率被杀害”，如何用主观的方式理解。 已知$P(走过贝克街被杀害)=0.1$，这是一个先验概率。考虑$P(走过贝克街被杀害|手里拿着杯子)$这个后验概率 \(P(走过贝克街被杀害|手里拿着杯子)=\frac{P(手里拿着杯子|走过贝克街被杀害)\cdot P(走过
阅读全文
摘要：先说结论，贝叶斯分类=最大化后验概率。 给定样本$x$和所属类别$c$，贝叶斯最优分类器欲最大化后验概率$P(c|x)$。想实现这个目的可以通过判别模型（如决策树、支持向量机等，直接对后验概率建模），或生成模型（对联合概率$P(x,c)$建模）。 对于生成模型，考虑： \[ P(c|x)=\frac
阅读全文
摘要：随机变量是一个对现实世界的数学建模，将文字表述的事件描述为数学代号。将特点事件的概率描述为变量的特定取值概率或取值范围概率。 **累计分布函数(cdf)**是一个特殊的概率，表示为$F_X(x)=P(X \le x)$，是单调非递减函数。 **概率密度函数(pdf)**是另一个特殊的概率，对于连续的
阅读全文
摘要：统计学习 [TOC] 前言 ：机器学习比较重要的几部分：线性模型、统计学习、深度学习，线性部分包括SVM、压缩感知、稀疏编码，都是控制整个模型的稀疏性去做线性函数，偏 Discriminative 判别模型；统计学习主要通过统计方法对数据建模找到极大似然，偏 Generative 生成方法；深度学习
阅读全文
摘要：核方法 [TOC] 拉格朗日乘子法 "参考：【整理】深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件" "参考：拉格朗日乘子法和KKT条件" 在求解最优化问题中，拉格朗日乘子法和KKT条件是两种最常用的方法。在有等式约束时使用拉格朗日乘子法，有不等约束时使用KKT条件。
阅读全文
摘要：线性模型 [TOC] 最小二乘法(LMS) 数理推导 给定数据 $D={(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(N)},y^{(N)})}$ ，$h_{\theta}(x)=\theta^T x=\theta_0x_0+\theta_1x_1+...
阅读全文
摘要：朴素贝叶斯(分类) [TOC] $$ P(C|F)=\frac{P(F|C)P(C)}{\sum_iF_i}=\frac{\prod_iP(F_i|C)P(C)}{\sum_iF_i} $$ $C$: Class, 类别 $F$: Feature，特征 $P(C)$: 先验概率 $P(F|C)$：似
阅读全文
摘要：一. 什么是机器学习 都是为了拟合输入与输出之间的关系 Model Learning <==> Model Learning ：给定数据，选择合适的数学模型，解释数据的道理 在假设空间找到最好的假设来解释数据，用模型来预测分类 “All models are wrong, but some are
阅读全文
浙公网安备 33010602011771号