导航

随笔分类 -  优化算法

常用优化算法分享

随机梯度算法

摘要：转载：https://blog.csdn.net/kwame211/article/details/80364079 假设我们提供了这样的数据样本（样本值取自于y=3*x1+4*x2）：x1 x2 y1 4 192 5 265 1 194 2 29x1和x2是特征，y是预测目标，我们需要以一条直线来 阅读全文

posted @ 2018-12-11 22:33 wzd321 阅读(563) 评论(0) 推荐(0)

无穷小 (大) 量的阶

摘要： 阅读全文

posted @ 2018-12-11 21:14 wzd321 阅读(151) 评论(0) 推荐(0)

优化算法概括

摘要：什么是优化算法？ 优化算法的功能，是通过改善训练方式，来最小化(或最大化)损失函数E(x)。模型内部有些参数，是用来计算测试集中目标值Y的真实值和预测值的偏差程度的，基于这些参数，就形成了损失函数E(x)。比如说，权重(W)和偏差(b)就是这样的内部参数，一般用于计算输出值，在训练神经网络模型时起到 阅读全文

posted @ 2018-12-11 19:50 wzd321 阅读(405) 评论(0) 推荐(0)

对偶上升法到增广拉格朗日乘子法到ADMM

摘要：对偶上升法 增广拉格朗日乘子法 ADMM 交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一种解决可分解凸优化问题的简单方法，尤其在解决大规模问题上卓有成效，利用ADMM算法可以将原问题的目标函数等价的分解成若干个可求解的子问题，然 阅读全文

posted @ 2018-12-06 11:50 wzd321 阅读(4160) 评论(0) 推荐(0)

共轭函数

摘要： 阅读全文

posted @ 2018-11-11 18:03 wzd321 阅读(494) 评论(0) 推荐(0)

Jensen不等式

摘要： 阅读全文

posted @ 2018-11-11 17:41 wzd321 阅读(157) 评论(0) 推荐(0)

联合概率分布

摘要：联合概率分布简称联合分布，是两个及以上随机变量组成的随机向量的概率分布。 根据随机变量的不同，联合概率分布的表示形式也不同。 对于离散型随机变量，联合概率分布可以以列表的形式表示，也可以以函数的形式表示； 对于连续型随机变量，联合概率分布通过一非负函数的积分表示。 阅读全文

posted @ 2018-11-11 17:37 wzd321 阅读(1192) 评论(0) 推荐(0)

协方差

摘要：协方差代表了两个变量之间的是否同时偏离均值： 当 cov(X, Y)>0时，表明X与Y正相关； 当 cov(X, Y)<0时，表明X与Y负相关； 当 cov(X, Y)=0时，表明X与Y不相关。 协方差多了就是协方差矩阵，假设数据集有三个维度，则协方差矩阵为： 可见，协方差矩阵是一个对称的矩阵，而且 阅读全文

posted @ 2018-11-11 17:27 wzd321 阅读(128) 评论(0) 推荐(0)

数学期望

摘要： 阅读全文

posted @ 2018-11-11 17:18 wzd321 阅读(132) 评论(0) 推荐(0)

梯度下降算法

摘要：import numpy as np a = np.array([1,2,3,np.nan]) a[np.isnan(a) ]=0 def gd(x_start,step,g): """ param x_start:初始化数据点 param step:梯度下降的步长 param g：梯度函数 return ：迭代... 阅读全文

posted @ 2018-09-28 16:31 wzd321 阅读(181) 评论(0) 推荐(0)

含有不等式约束的优化问题——KKT条件

摘要：优化问题： 其中， 定义：对于一个不等式约束，如果，那么称不等式约束是处起作用的约束。 定义：设满足，设为起作用不等式约束的下标集： 如果向量：是线性无关的，则称是一个正则点。 下面给出某个点是局部极小点的一阶必要条件（即如果是极小点，那么必然满足下列条件），称为KKT条件： 设，设是的一个正则点和 阅读全文

posted @ 2018-09-03 16:25 wzd321 阅读(874) 评论(0) 推荐(0)