摘要：指数分布族的变分推理 回顾一下上节课 变分推断 讲的内容。 与MCMC，Gibbs Sampling等基于抽样来估计未知分布的方法不同，变分推断通过一个优化过程来近似隐变量的后验概率分布。给定一组隐变量 $Z=\{z_1,...,z_M\}$，其中$M$表示$Z$可以分解为$M$个独立成分。变分推断 阅读全文

摘要：贝叶斯线性回归 问题背景： 为了与PRML第一章一致，我们假定数据出自一个高斯分布： $$ p(t|x,\mathbf{w},\beta)=\mathcal{N}(t|y(x,\mathbf{w}),\beta^{ 1})=\sqrt{\frac{\beta}{2\pi}}\exp( \frac{\ 阅读全文

摘要： 阅读全文

摘要：强化学习（1） 作者：hschen 写于：16 4 13 强化学习简介 监督学习在机器学习中取得了重大的成功，然而在顺序决策制定和控制问题中，比如无人直升机、无人汽车等，难以给出显式的监督信息，因此这类问题中监督模型无法学习。 强化学习就是为了解决这类问题而产生的。在强化学习框架中，学习算法被称为一 阅读全文

摘要：softmax是logisitic regression在多酚类问题上的推广，$W=[w_1,w_2,...,w_c]$为各个类的权重因子，$b$为各类的门槛值。不要想象成超平面，否则很难理解，如果理解成每个类的打分函数，则会直观许多。预测时我们把样本分配到得分最高的类。 Notations: $x 阅读全文

摘要：机器学习中，我们根据训练集训练一个模型，来对测试数据进行预测。通常我们并不关心模型在训练集上的好坏（即训练误差，in sample error），举个简单例子，我们想要根据前六个月股市行情训练一个模型来对未来股市走向进行预测，即使我们的算法在过去的数据上做的再精准都没有任何意义，我们希望模型在未来某... 阅读全文

摘要：这一节讲述的是机器学习的核心、根本性问题——学习的可行性。学过机器学习的我们都知道，要衡量一个机器学习算法是否具有学习能力，看的不是这个模型在已有的训练数据集上的表现如何，而是这个模型在训练数据外的数据（一般我们称为测试数据）上性能的好坏，我们把这个性能称为泛化能力（generalization a... 阅读全文

摘要：第一讲中我们学习了一个机器学习系统的完整框架，包含以下3部分：训练集、假设集、学习算法 一个机器学习系统的工作原理是：学习算法根据训练集，从假设集合H中选择一个最好的假设g，使得g与目标函数f尽可能低接近。H称为假设空间，是由一个学习模型的参数决定的假设构成的一个空间。而我们这周就要学习一个特定的... 阅读全文

摘要：稀疏编码近几年来是个十分热门的研究领域，它是一种无监督学习算法，它通过寻找一组超完备基（即字典）来捕捉数据中的高层次语义，同时学习得到数据这组基下的稀疏坐标。最早被用于建模人类视觉皮层（human visual cortex），而如今，稀疏编码已经用于许多领域，如图像复原，信号分类，人脸识别，图片分... 阅读全文

摘要：这个篇关于数学的讨论帖子很不错，忽然觉得自己是一个文盲!!没有10年高等的数学基础的不要说自己在做科研了！加油！！1. 线性代数 (Linear Algebra)： 我想国内的大学生都会学过这门课程，但是，未必每一位老师都能贯彻它的精要。这门学科对于Learning是必备的基础，对它的透彻掌握是必不... 阅读全文