机器学习(一)凸优化

本系列文档是根据小象学院-邹博主讲的《机器学习》自己做的笔记。感觉讲得很好,公式推理通俗易懂。是学习机器学习的不错的选择。当时花了几百大洋买的。觉得不能浪费,应该不止一遍的研习。禁止转载,严禁用于商业用途。废话不多说了,开始整理笔记。

首先从凸集及其性质开始,邹博老师在课程里讲得很详细,笔记里就只记录我认为的重点了。

直线的向量表达:

过两定点A(5,1)。B(2,3)

 

 

还能推广到高维:三位平面,超平面。

仿射集 定义:通过集合C中任意两个不同点的直线仍然在集合C内,则称集合C为仿射集。

像直线、平面、超平面都是仿射集。

凸集 定义:集合C内任意两点间的线段均在集合C内,则称集合C为凸集。

还有K个点的推广版本:

由上面的定义可以知道,仿射集必然是凸集,但凸集不一定是仿射集。

超平面和半空间:

2x+3y-9=0表示直线,可以写成向量的形式

推广开来,超平面可以这样定义:

将等式 写成不等式就得到半空间的概念:

 

下面是二维空间里的例子,当然可以推广到高维的空间里。

下面了解几个保持凸性的运算

1.集合交算。例如:半空间的交

 

2.仿射变换

f=Ax+b的形式,称函数是仿射的:线性函数加常数的形式。

 

 

3.透视变换

4.投射变换

分割超平面:设C和D为两个不相交的凸集,则存在超平面P可以将C和D分离。

支撑超平面

如何定义两个集合的“最优”分割超平面?

支撑向量

支持向量机的内容。

 

 *********************************************分割线**************************************************

 凸函数定义:

前面表示是底下部分,后面是上面的直线.

直观的理解就是:线段位于图像上方就是凸函数。

Jensen不等式:函数f是凸函数(基本条件)。

则有基本Jensen不等式:

k个的版本

离散的情况下成立,连续的情况下也成立。

可以看成期望的形式如下:

Jensen不等式几乎是所有不等式的基础。

 保持函数凸性的算子:

凸函数的非负加权和:

 

凸函数与仿射函数的复合:

 

凸函数的逐点最大值、逐点上确界:

N条直线(直线是凸的,直线既是凸的又是凹的),在每个x处取得这些直线的最大点,则构成的新函数是凸函数;

当然,N条直线逐点求下界,得到的新函数是凹函数。

********************************************************分割线*********************************************************

凸优化

优化问题的基本形式:

凸优化问题的基本形式:

凸优化问题的重要性质:

凸优化问题的可行域为凸集

凸优化问题的局部最优即为全局最优解。

对偶问题:

 

 

 

 

 思路整理:

我们的目的:

 

然后约束条件有:

 

 

这样,由④的最大值可以求的①的最小值,达到目的。

并且

 

要想保证取等号,则需要KKT条件。

只做学习用途。欢迎讨论及指正!

可以在新浪微博@徐卜灵 找到我哦。

 

posted @ 2016-10-09 12:46  xubling  阅读(4604)  评论(0编辑  收藏  举报