随笔分类 - 机器学习理论
摘要：Lecture 15: Matrix Factorization Linear Network Hypothesis Recommender System Revisited 在推荐系统问题中，我们有若干原始的训练数据，训练样本的输入$\tilde x_n$是用户ID，$y_n=r_{nm}$，即I
阅读全文
摘要：Lecture 13: Deep Learning Autoencoder autoencoder是深度学习中一种常用的初始化权重的方法。 如上图所示，首先，从第0~1层的权重开始，一层层用autoencoder初始化每两层之间的权重，然后再使用训练集对整个网络进行训练 autoencoder是如何
阅读全文
摘要：Lecture 11: Gradient Boosted Decision Tree Adaptive Boosted Decision Tree From Random Forest to AdaBoost DTree 在随机森林中，我们通过特殊的bootstrap方法产生了T个$\tilde{\
阅读全文
摘要：Lecture 9: Decision Tree Decision Tree Hypothesis 之前介绍的uniform blending和linear blending等，$G$中每个假设函数$g_t$前的权重都是一个常数$\alpha_t$($G(x)=\sum_{t=1}^T \alpha
阅读全文
摘要：Lecture 7:Blending and Bagging Motivation of Aggregation 现在给出T个假设函数$g_1,\cdots,g_T$，我们希望充分利用它们，得到一个更好的假设函数$G$，我们有几种方法： 1、用交叉验证的方法从T个g里选$E_{val}$最小的：$G
阅读全文
摘要：Lecture 5:Kernel Logistic Regression Soft Margin SVM as Regularized Model 我们首先回顾Soft Margin SVM的优化目标 在得到的最优解$(b,w,\xi)$中，当$(x_n,y_n)$没有越过margin自己这一方的边
阅读全文
摘要：Lecture 3:Kernel Support Vector Machine Kernel Trick 回顾Lecture 2中SVM的拉格朗日对偶问题： 对偶问题中，有n个变量需要求解，n个不等式约束条件和1个等式约束条件 整个问题只有在计算$q_{n,m}$时与$\tilde d$有联系：计算
阅读全文
摘要：Lecture 1:Linear Support Vector Machine Large Margin Separating Hyperplane 在二分类问题中，假设现在我们有大小为n的线性可分的训练集$\mathcal D$ 在PLA/口袋算法中，对于上图中的三种假设函数$h=\mathrm{
阅读全文
摘要：Lecture 16:Three Learning Principles Occam's Razor 奥卡姆剃刀原则：如无必要，勿增实体(entities must not be multiplied beyond necessity) 意思就是，拟合训练数据时，在保证$E_{in}$足够小的前提下
阅读全文
摘要：Lecture 14:Regularization Regularized Hypothesis Set 当训练样本数不够多，而假设函数次数比较高时，很容易发生过拟合，正则化的目的就是希望让高维的假设函数退化成低维的假设函数 如上图，高维假设函数的参数里，高阶项对应的参数(w3,...,w10)就都
阅读全文
摘要：Lecture 12:Nonlinear Transformation Quadratic Hypothesis 在二分类问题中，如果我们遇到的训练集是上图所示的$x\in \mathbb R^2$的若干训练样本，这些样本是线性不可分的，我们只能考虑用更高阶的假设函数，如二次的假设函数$h(x)=\
阅读全文
摘要：Lecture 10:Logistic Regression Logistic Regression Problem 在之前使用PLA/口袋算法实现线性二分类时，我们理想的目标函数$f(x)$的输出$\in\{1, 1\}$ 而逻辑回归理想的目标函数$f(x)=P(y=1|x)$(给定x时其标签y=
阅读全文
摘要：Lecture 8:Noise and Error Noise and Probabilistic Target 一般来说，训练集上是有噪声(noise)的，例如： 1、少量训练样本的标签是错的(被人类专家错误分类) 2、多个训练样本有着同样的输入特征，但分类标签不同 3、训练样本的输入特征不准确
阅读全文
摘要：Lecture 6:Theory of Generalization 对于n个点$x^{(1)},\cdots,x^{(n)}$，break point=k，我们称此时$\mathcal H$的成长函数$m_\mathcal H(n)=B(n,k)$，可以证明$B(n,k)\leq n^k$(而且这
阅读全文
摘要：Lecture 4:Feasibility of Learning 问题背景 给出一个罐子，其中有若干绿色、橙色弹珠，显然我们无法准确确定其中橙色珠子的比例。 但我们可以通过从其中抽出n个弹珠作为样本来近似估计这一比例。若样本中橙色弹珠比例为$\nu$,我们估计整个罐子中橙色弹珠比例为$\mu$ H
阅读全文
摘要：Lecture 2: Learning to Answer Yes/No 感知机假设函数集合 假设未知的目标函数为$f:\mathcal X \mapsto y$，学习算法$\mathcal A$的任务是，根据已有的训练集$\mathcal D:(x_1,y_1),\cdots,(x_n,y_n)$
阅读全文
摘要：垃圾邮件过滤(多项式事件模型贝叶斯分类器) 公式推导 直接参考：https://www.cnblogs.com/qpswwww/p/9308786.html 注意，这里为了数值稳定性，用了一个小trick，保证数值太小时不会下溢 $$p(y=1|x)=\frac {(\prod_{i=1}^n\ph
阅读全文
摘要：牛顿法求解二分类逻辑回归参数 Repeat{ $\theta:=\theta H^{ 1}\nabla_\theta l(\theta)$ } 其中，Hessian矩阵$H\in \mathbb R^{(n+1)\times (n+1)}$ $$(H)_{i,j}=\frac {\partial^2
阅读全文
摘要：强化学习的概念 在监督学习中，我们会给学习算法一个训练集，学习算法尝试使输出尽可能接近训练集给定的真实值y；训练集中，对于每个样本的输入x，都有确定无疑的正确输出y 在强化学习中，我们只会给学习算法一个奖励函数(reward function)，用这个函数来提示学习主体(learning agent
阅读全文
摘要：问题描述 鸡尾酒会问题 在一个酒会上，n个人站在不同的位置同时说话，另外有n个麦克风放在房间不同的位置录音，由于每个麦克风、人的位置不同，所以n个麦克风录下的声音是有差别的。现在要用n个麦克风的录音，还原n个人的说话声音。 建立模型 为了简化问题，我们把某时刻某个声音看作一个实数。令n维列向量$s^
阅读全文
浙公网安备 33010602011771号