随笔分类 - 数学
摘要：Hessian矩阵【转】 鞍点 Hessian矩阵【转】 鞍点 算法优化之道：避开鞍点 鞍点 （saddle point）的数学含义是： 目标函数在此点上的梯度（一阶导数）值为 0， 但从改点出发的一个方向是函数的极大值点，而在另一个方向是函数的极小值点。 判断鞍点的一个充分条件是：函数在一阶导数为
阅读全文
摘要：一、什么是Catalan数 说到Catalan数，就不得不提及Catalan序列，Catalan序列是一个整数序列，其通项公式是 递推公式是 C(n) = C(1)*C(n-1) + C(2)*C(n-2) + ... + C(n-1)C(1)，n>=2 我们从中取出的就叫做第n个Catalan数，
阅读全文
摘要：Group based Sparse Representation for Image Restoration 这篇文章里面讲了解决L0范数问题，这个过程激发了对凸优化问题的关注 首先是 hard thresholding& soft thresholding " 硬阈值(Hard Threshol
阅读全文
摘要：在数学中，海塞矩阵是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，一元函数就是二阶导，多元函数就是二阶偏导组成的矩阵。求向量函数最小值时可以使用，矩阵正定是最小值存在的充分条件。经济学中常常遇到求最优的问题，目标函数是多元非线性函数的极值问题，尚无一般的求解方法，但判定局部极小值的方法就是用
阅读全文
摘要：我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？ 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。
阅读全文
摘要：逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上，套用了一个逻辑函数，但也就由于这个逻辑函数，使得逻辑回归模型成为了机器学习领域一颗耀眼的明星，更是计算广告学的核心。本文主要详述逻辑回归模型的基础，至于逻辑回归模型的优化、逻辑回归与计算广告学等，请关注后续文章。
阅读全文
摘要：参考：http://blog.csdn.net/mousever/article/details/45967643 概率分布之间的距离度量以及python实现 http://www.cnblogs.com/wentingtu/archive/2012/05/03/2479919.html 1. 欧氏
阅读全文
摘要：DCT变换的原理及算法 文库介绍 对于初学数字信号处理（DSP）的人来说，这几种变换是最为头疼的，它们是数字信号处理的理论基础，贯穿整个信号的处理。 学习过《高等数学》和《信号与系统》这两门课的朋友，都知道时域上任意连续的周期信号可以分解为无限多个正弦信号之和，在频域上就表示为离散非周期的信号，即时
阅读全文