摘要：clc;clear;D=1000;N=10000;thre=10e-8;zeroRatio=0.6;X = randn(N,D);r=rand(1,D);r=sign(1-2*r).*(2+2*r);perm=randperm(D);r(perm(1:floor(D*zeroRatio)))=0;Y...
阅读全文
posted @ 2015-03-30 22:16
随笔分类 - Optimization
convex Optimization,Boyd
摘要：带约束的优化让人产生深深的无力感。1.等式约束：最简单看能不能消去； （1）最优解满足条件： （2） 下面介绍等式约束的牛顿法： 对1式泰勒展开： 代入（2）可得到：(3) w is the associated optimal dual variable for the quadratic problem。 Newton decrement : 要求v先要求出w， 一个例子： 另外有infeasible start Newton method没怎么看懂 日后再说============================================...
阅读全文
posted @ 2013-03-01 14:39
摘要：所谓Descent Methods，即获得一系列的x， 其中t是步长，有使得目标函数一直减小，直至逼近最优解；又有由中值定理（?）和凸函数二次导>0知第三项大于0；只需要 即可。=========================================================另一个重要问题就是步长t的选取，有两种方法；1、Exact line search(具体不知道怎么实现的...) ****** 9.16 优势：An exact line search is used when the cost of the minimization problem with ...
阅读全文
posted @ 2013-01-15 15:53
摘要：原始问题： 等价于也即原始问题： 定义对偶问题： 证明：d*≤p*:记： 所以： d*是g中最大的 也即p*最大下界，得证。===========================================================若x*和分别是primal 和dual问题的最优解，(f是不等式约束 h是等式约束)1.假定duality gap=02.duality定义3.下界定义4.λ大于0 fi(x*)<0so: 又每一项都是小于等于0 ，=> 也即： ===============================配合其他已知条件求解。
阅读全文
posted @ 2013-01-15 14:13
摘要：现假定两个player1 and player2,player1有k€{1,....n}选择，player2有l€{1,....m}选择, 对两个选手的决策都有相应的payment Pkl ,构成矩阵P（n*m）player1最小化payment while player2 最大化payment。Expected payoff from player 1 to player 2 is :∑k=1n∑l=1mukvlPkl=utPv *player1选择u最小化*式 player 选择v最大化*式========================================若player2知.
阅读全文
posted @ 2013-01-15 13:43
摘要：1.优化可以理解为求最小值2.最小二乘: min f(x)=||Ax-b||^2 解为3.视频：ConvexOptimization I: http://rrurl.cn/8Ssz0l ConvexOptimization II: http://rrurl.cn/rRkcph4.凸优化：目标函数和约束(也即可行域)都是凸的 集合凸：没有凹进去的部分（严格定义是集合内任意两点连线上的点都在集合内） 函数凸：二次导大于等于0 exp, power, |x|^p, log(x)(x>0), xlogx, norms, max{x_1,x_2...x_n}, log...
阅读全文
posted @ 2013-01-15 13:09
浙公网安备 33010602011771号