摘要：
优化问题： 其中， 定义：对于一个不等式约束，如果，那么称不等式约束是处起作用的约束。 定义：设满足，设为起作用不等式约束的下标集： 如果向量：是线性无关的，则称是一个正则点。 下面给出某个点是局部极小点的一阶必要条件（即如果是极小点，那么必然满足下列条件），称为KKT条件： 设，设是的一个正则点和 阅读全文
posted @ 2018-09-03 16:25 wzd321 阅读(874) 评论(0) 推荐(0)
摘要：
1.线性可分 对于一个数据集： 如果存在一个超平面X能够将D中的正负样本精确地划分到S的两侧，超平面如下： 那么数据集D就是线性可分的，否则，不可分。 w称为法向量，决定了超平面的方向；b为位移量，决定了超平面与原点的距离。 样本空间中的任意点x到超平面X的距离（不太熟悉的可以复习高数中空间几何那一 阅读全文
posted @ 2018-09-03 10:12 wzd321 阅读(2019) 评论(0) 推荐(0)
摘要：
<img src="http://latex.codecogs.com/gif.latex?替换为上述LaTex代码" /> <img src="http://latex.codecogs.com/gif.latex?替换为上述LaTex代码" /> <img src="http://latex.c 阅读全文
posted @ 2018-09-02 10:36 wzd321 阅读(385) 评论(0) 推荐(0)
摘要：
最自然的学习规则是使用任何在过去回合中损失最小的向量。 这与Consistent算法的精神相同，它在在线凸优化中通常被称为Follow-The-Leader，最小化累积损失。 对于任何t: 我们谈到了能最小化累计损失不能说明此算法在在线学习场景是有效，我们需要探究算法的 Regret bound： 阅读全文
posted @ 2018-09-02 10:33 wzd321 阅读(1679) 评论(0) 推荐(0)
摘要：
一些在线预测问题可以转化到在线凸优化框架中。下面介绍两种凸化技术： 一些在线预测问题似乎不适合在线凸优化框架。例如，在线分类问题中，预测域（predictions domain）或损失函数不是凸的。我们描述了两种凸化技术，它们允许我们在其他场景中使用在线凸优化框架。 1.Convexificatio 阅读全文
posted @ 2018-09-01 16:47 wzd321 阅读(4200) 评论(0) 推荐(0)
摘要：
近年来，许多有效的在线学习算法的设计受到凸优化工具的影响。 此外，据观察，大多数先前提出的有效算法可以基于以下优雅模型联合分析： 凸集的定义： 一个向量 的Regret定义为： 如前所述，算法相对于竞争向量的集合U的Regret被定义为： 备注： 在线凸优化问题中，学习机的预测应该来自集合S，而我们 阅读全文
posted @ 2018-09-01 11:15 wzd321 阅读(1888) 评论(0) 推荐(0)
摘要：
紧接上文，我们讲述在线分类问题 令，为0-1损失，我们做出如下的简化假设： 学习者的目标是相对于hypotheses set: H具有low regret，其中H中的每个函数是从到{0,1}的映射，并且regret被定义为: 我们首先证明这是一个不可能完成的任务——如果，没有算法可以获得次线性reg 阅读全文
posted @ 2018-08-31 15:05 wzd321 阅读(2335) 评论(0) 推荐(1)
摘要：
开启一个在线学习和在线凸优化框架专题学习： 1.首先介绍在线学习的相关概念 在线学习是在一系列连续的回合（rounds）中进行的； 在回合,学习机（learner）被给一个question：(一个向量，即为特征向量),为从instance domain：采样得到的。学习机给出一个预测值：，然后得到正 阅读全文
posted @ 2018-08-31 14:59 wzd321 阅读(5411) 评论(0) 推荐(1)
浙公网安备 33010602011771号