君子博学而日参省乎己 则知明而行无过矣

摘要： In recent years, Kernel methods have received major attention, particularly due to the increased popularity of the Support Vector Machines. Kernel fun 阅读全文

摘要： 回忆一下关于元实值函数的的求导问题，函数的一阶导数为 函数的梯度正好是导数的转置，即；函数的二阶导数，也称为hessian矩阵，可表示为： 对于向量,和约束集中的某个点，如果存在一个实数使得对于所有，仍然在约束集内... 阅读全文

摘要： 最优化方法广泛的体现于自然界及人类社会中，它“先天地生，独立而不改，周行而不殆“，正如神正论者说，当前世界是上帝所创造的可能世界中最好的世界；生物的生存及进化都遵循着最优化的原则，从而形成当今我们世界的众生万物；——于人类社会中，这种原则有过之而无不及，它源于人类的一种贪婪的想法，它企图在一定... 阅读全文

摘要： 1 LSA IntroductionLSA(latent semantic analysis)潜在语义分析，也被称为LSI(latent semantic index)，是Scott Deerwester, Susan T. Dumais等人在1990年提出来的一种新的索引和检索方法。该方法和传统向... 阅读全文

摘要： 本文主要从一个例子开始说说线性回归模型以及线性回归模型的损失函数，求解方法和概率解释。不涉及统计学里的回归分析等诸多细节。例子假设我们中介手上有一些房屋销售的数据（北京的房价太高了）：面积(平方米)价格（万）8032090365100380120400150500有个人有个130平方米的房子要卖，中... 阅读全文

摘要： 本文主要介绍概率与数理统计中的一些常见的基本概念。样本空间对于随机试验，尽管在每次试验之前不能预知试验的结果，但是试验的所有可能结果集合是已知的，我们将随机试验E的所有可能的结果组成的集合称为E的样本空间，记为S。样本空间的的元素，即E的每个可能结果，称为样本点。比如事件E：抛一枚硬币，观察正面H，... 阅读全文

摘要： 本文主要介绍学习机器学习过程中涉及到的一些微积分的基本概念，也包括部分数值分析，优化求解的概念。极限（limit）直观定义当函数 $y=f(x)$ 在 $x_{0}$ 的某个去心邻域内有定义，若当 $x$ “无限趋近于” $x_{0}$ 时，其对应的函数值 $f(x)$ “无限趋于” 一个确定的常数... 阅读全文

摘要： 在上一篇中，我们看到了神经网络是怎样使用梯度下降算法来学习它们的权值和偏置。然而，我们还有一些没有解释：我们没有讨论怎样计算损失函数的梯度。本篇中将解释著名的BP算法，它是一个快速计算梯度的算法。反向传播算法（Backpropagation algorithm,BP）是在1970s提出的，但是它的重... 阅读全文

摘要： 这次主要说说神经网络的一些主要思想，包括介绍两种人工神经元（perceptron neuron和sigmoid neuron）以及神经网络的标准学习算法，随机梯度下降法。神经网络可以认为是一种不同于使用普通计算机语言编程的那种基于规则的编程范型，它从生物中受到启发（人脑），让计算机可以从大量的数据中... 阅读全文

摘要： Fisherface是由Ronald Fisher发明的，想必这就是Fisherface名字由来。Fisherface所基于的LDA（Linear Discriminant Analysis，线性判别分析）理论和特征脸里用到的PCA有相似之处，都是对原有数据进行整体降维映射到低维空间的方法，LDA和... 阅读全文