导航

随笔分类 -  在线学习

在线学习理论分析

在线学习在CTR上应用的综述

摘要：参考：https://mp.weixin.qq.com/s/p10_OVVmlcc1dGHNsYMQwA 在线学习只是一个机器学习的范式（paradigm），并不局限于特定的问题，模型或者算法。 架构 如图1所示，流式训练数据生成的环节还会继续保留，原有的流式训练数据生成拓扑后面会直接接一个流式模型 阅读全文

posted @ 2018-12-18 19:50 wzd321 阅读(540) 评论(0) 推荐(0)

The perception and large margin classifiers

摘要：假设样例按照到来的先后顺序依次定义为。为样本特征，为类别标签。任务是到来一个样例，给出其类别结果的预测值，之后我们会看到真实值，然后根据真实值来重新调整模型参数，整个过程是重复迭代的过程，直到所有的样例完成。这么看来，我们也可以将原来用于批量学习的样例拿来作为在线学习的样例。在在线学习中，我们主要关 阅读全文

posted @ 2018-12-10 09:08 wzd321 阅读(325) 评论(0) 推荐(0)

在线学习和在线凸优化（online learning and online convex optimization）—FTRL算法6

摘要： 阅读全文

posted @ 2018-09-08 20:21 wzd321 阅读(415) 评论(0) 推荐(0)

在线学习和在线凸优化（online learning and online convex optimization）—FTL算法5

摘要：最自然的学习规则是使用任何在过去回合中损失最小的向量。 这与Consistent算法的精神相同，它在在线凸优化中通常被称为Follow-The-Leader，最小化累积损失。 对于任何t: 我们谈到了能最小化累计损失不能说明此算法在在线学习场景是有效，我们需要探究算法的 Regret bound： 阅读全文

posted @ 2018-09-02 10:33 wzd321 阅读(1679) 评论(0) 推荐(0)

在线学习和在线凸优化（online learning and online convex optimization）—凸化方法4

摘要：一些在线预测问题可以转化到在线凸优化框架中。下面介绍两种凸化技术： 一些在线预测问题似乎不适合在线凸优化框架。例如，在线分类问题中，预测域（predictions domain）或损失函数不是凸的。我们描述了两种凸化技术，它们允许我们在其他场景中使用在线凸优化框架。 1.Convexificatio 阅读全文

posted @ 2018-09-01 16:47 wzd321 阅读(4199) 评论(0) 推荐(0)

在线学习和在线凸优化（online learning and online convex optimization）—在线凸优化框架3

摘要：近年来，许多有效的在线学习算法的设计受到凸优化工具的影响。 此外，据观察，大多数先前提出的有效算法可以基于以下优雅模型联合分析： 凸集的定义： 一个向量 的Regret定义为： 如前所述，算法相对于竞争向量的集合U的Regret被定义为： 备注： 在线凸优化问题中，学习机的预测应该来自集合S，而我们 阅读全文

posted @ 2018-09-01 11:15 wzd321 阅读(1888) 评论(0) 推荐(0)

在线学习和在线凸优化（online learning and online convex optimization）—在线分类问题2

摘要：紧接上文，我们讲述在线分类问题 令，为0-1损失，我们做出如下的简化假设： 学习者的目标是相对于hypotheses set: H具有low regret，其中H中的每个函数是从到{0,1}的映射，并且regret被定义为: 我们首先证明这是一个不可能完成的任务——如果，没有算法可以获得次线性reg 阅读全文

posted @ 2018-08-31 15:05 wzd321 阅读(2333) 评论(0) 推荐(1)

在线学习和在线凸优化（online learning and online convex optimization）—基础介绍1

摘要：开启一个在线学习和在线凸优化框架专题学习： 1.首先介绍在线学习的相关概念 在线学习是在一系列连续的回合（rounds）中进行的； 在回合,学习机（learner）被给一个question：(一个向量，即为特征向量),为从instance domain：采样得到的。学习机给出一个预测值：，然后得到正 阅读全文

posted @ 2018-08-31 14:59 wzd321 阅读(5410) 评论(0) 推荐(1)