学习理论：凸代理与在线学习代理regret界证明

上个月参加担任了在宇治举办的京阿尼同人展的工作人员，感受到了来场粉丝们的热情，也在会场播放的京吹、《声之形》、《平家物语》等动画作品中BGM中回味了曾经看这些动画时的感受。期间还遇到了B站的up主“京阿尼信使”san，并现场当了一波翻译（主办方还感谢了我能同时提供英语和中文支持哈哈，因为来场的粉丝中也有外国人）。顺带一提，我这个月初才去考了日语N1，也算是检验下自己的日语能力了。

下面是收到的主办方赠送的礼物：

科研方面我近期在进行读博第二份工作的证明工作。这篇博客旨在以论文《Exploiting the surrogate gap in online multiclass classification》^[1]为主要参考，介绍凸代理技术是如何运用于在线学习的代理regret界证明中的，整体而言偏向公式细节推导。

1 导引

凸代理可以为在线学习中regret界的证明提供有力的支持。不仅仅是由于引入了凸代理后可以直接应用在线梯度下降（online gradient descent, OGD）^[2]等在线凸优化算法在凸假设下获得至少为\(\mathcal{O}(\sqrt{T})\)的regret界保障，而且若能充分利用代理损失函数的特性^[1]，比如强凸、对数凹（exp-concavity）^[3]、混合能力（mixability）^[4]，则可进一步获得诸如\(\mathcal{O}(\ln T)\)的更好的regret界保证。论文《Exploiting the surrogate gap in online multiclass classification》^[1][5]就较好地展现了凸代理在在线学习的代理regret界证明中的应用。论文作者证明，在充分利用代理损失函数与目标函数间的差距的情况下，在完全信息（full information）的设置下甚至可以达到常数阶的代理regret界。

2 利用代理与目标函数间的差距

考虑在线多分类场景，该场景可能是完全信息（full information） 的或bandit的（完全信息和bandit场景的区别可参见我之前的博客《学习理论：在线弃权学习》）^[6]。设学习过程包括\(T\)轮迭代，每轮迭代\(t\)时环境会暴露特征向量\(\boldsymbol{x}_t\in \mathbb{R}^d\)给学习器（假设其对所有\(T\)都满足有界条件\(\lVert\boldsymbol{x}_t\rVert\leqslant X\)）。学习器基于\(\boldsymbol{x}_t\)返回一个（随机化的）预测值\(y^{\prime}_t\in \mathcal{Y} = \{1,\cdots, K\}\)。在完全信息设置下，在学习器做出预测后，环境会暴露真实标签\(y_t\in \mathcal{Y} = \{1,\cdots, K\}\)给学习器；而在bandit设置下，环境只会返回学习器是否预测正确，也即\(\mathbb{I}[y^{\prime}_t\neq y_t]\)。该论文只考虑对抗设置，也即意味着不对\(y_t\)或\(\boldsymbol{x}_t\)如何生成的做出假设。在完全信息和bandit两种设置中，论文都允许学习器使用随机化预测。对于bandit设置而言，由于只有当预测正确（即\(y^{\prime}_t = y_t\)）时才能够获得\(y_t\)的确切值以对参数进行更新，使用随机化预测可以达到 探索（exploration） 的作用^[5][7]。这两种设置下的目标都是去控制学习器在\(T\)轮迭代中的期望错误数

\[ M_T = \mathbb{E}\left[\sum_{t=1}^T\mathbb{I}[y^{\prime}_t\neq y_t]\right] \]

其中期望部分随机性的来源是关于学习器的随机性。

而对于这两种设置而言，标准实践都是用一个凸代理损失函数\(\ell_t\)去做为非凸的0-1损失的上界。设这里的凸代理损失\(\ell_t\)是关于\(K\times d\)的权重矩阵\(\boldsymbol{W}_t\in \mathcal{W}\)的线性函数，其中\(\mathcal{W} = \left\{\boldsymbol{W}: \lVert \boldsymbol{W} \rVert\leqslant D\right\}\)。其中\(\lVert\boldsymbol{W}\rVert\)表示矩阵的Frobenius范数。

则在\(T\)轮迭代后的代理regret可以表示为：

\[ \mathcal{R}_T = \mathbb{E}\left[\sum_{t=1}^T\mathbb{I}[y^{\prime}_t\neq y_t] - \sum_{t=1}^T\ell_t(\boldsymbol{U})\right] \]

其中\(\mathbb{I}\)是示性函数，\(K\times d\)的矩阵\(\boldsymbol{U}\)是最佳离线线性预测器。

为了优化该代理regret，可以将其做进一步分解：

\[ \begin{aligned} &\mathbb{E}\left[\sum_{t=1}^T\mathbb{I}[y^{\prime}_t\neq y_t]\right] - \mathbb{E}\left[\sum_{t=1}^T\ell_t(\boldsymbol{U})\right]\\ &= \mathbb{E}\left[\underbrace{\sum_{t=1}^T\mathbb{I}[y^{\prime}_t\neq y_t] - \ell_t(\boldsymbol{W}_t)}_{\leqslant 0} + \sum_{t=1}^T\ell_t(\boldsymbol{W}_t) - \ell_t(\boldsymbol{U})\right]\\ \end{aligned} \]

其中\(\ell_t(\boldsymbol{W}_t)\)是\(\mathbb{I}[y^{\prime}_t\neq y_t]\)的凸上界可知项\(\sum_{t=1}^T\mathbb{I}[y^{\prime}_t\neq y_t] - \ell_t(\boldsymbol{W}_t) \leqslant 0\)。一种直截的处理方式是直接将这一项放缩掉，即得到

\[ \mathcal{R}_T \leqslant \sum_{t=1}^T\ell_t(\boldsymbol{W}_t) - \ell_t(\boldsymbol{U}) \]

然后在使用OGD算法的条件下采用标准的在线凸优化证明技术^[1][8]得到

\[ \sum_{t=1}^T\ell_t(\boldsymbol{W}_t) - \ell_t(\boldsymbol{U}) \leqslant \frac{\lVert\boldsymbol{U}\rVert^2}{2\eta} + \sum_{t=1}^T\frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2 \]

这里\(\eta\)是学习率。假设\(f_t\)对所有\(t\)是\(\phi\)-Liptchitz的（意味着梯度满足有界条件\(\lVert\boldsymbol{g}_t\rVert\leqslant \rho\)）并假设\(\mathcal{W}\)是\(D\)-有界的，取\(\eta = \frac{D}{\rho\sqrt{T}}\)，可以进一步得到：

\[ \sum_{t=1}^T\ell_t(\boldsymbol{W}_t) - \ell_t(\boldsymbol{U}) \leqslant D\rho\sqrt{T} \]

这是一个\(\mathcal{O}(\sqrt{T})\)的界。观察可知这里的\(\sqrt{T}\)项主要来自于随着\(T\)的增长项\(\sum_{t=1}^T\frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\)，而另一项\(\frac{\lVert\boldsymbol{U}\rVert^2}{2\eta}\)本身是不随着迭代步数\(T\)增长的常数项。

根据论文《Exploiting the surrogate gap in online multiclass classification》^[1][5]作者的发现，代理regret分解产生的\(\sum_{t=1}^T\mathbb{I}[y^{\prime}_t\neq y_t] - \ell_t(\boldsymbol{W}_t)\)这一项有充分的利用价值而在某些情况下不应该直接被放缩掉。相反，在某些情况下这一项将会负得足够多甚至甚至可以将增长项\(\sum_{t=1}^T\frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\)给抵消掉。

若保留这一项，则可得到如下所示的代理regret界：

\[ \begin{aligned} \mathcal{R}_T &= \mathbb{E}\left[\sum_{t=1}^T\mathbb{I}[y^{\prime}_t\neq y_t] - \ell_t(\boldsymbol{W}_t) + \underbrace{\sum_{t=1}^T\ell_t(\boldsymbol{W}_t) - \ell_t(\boldsymbol{U})}_{\text{bounded via OGD}}\right]\\ &\leqslant \frac{\lVert\boldsymbol{U}\rVert^2}{2\eta} + \underbrace{\mathbb{E}\left[\sum_{t=1}^T\mathbb{I}[y^{\prime}_t\neq y_t] - \ell_t(\boldsymbol{W}_t) + \frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\right]}_{\mathcal{M}} \end{aligned} \]

其中记项\(\sum_{t=1}^T\mathbb{I}[y^{\prime}_t\neq y_t] - \ell_t(\boldsymbol{W}_t) + \sum_{t=1}^T\frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\)为\(\mathcal{M}\)。若能证明\(\mathcal{M}\)在特定设置下（比如完全信息的设置下） \(\leqslant 0\)则可达成常数阶的代理regret界。由于论文利用\(\sum_{t=1}^T\mathbb{I}[y^{\prime}_t\neq y_t] - \ell_t(\boldsymbol{W}_t)\)这一差距（gap）的特点，本文作者将该方法称为GAPTRON。

3 验证代理差距是否可\(\leqslant 0\)

接下来介绍如何去界定

\[ \mathcal{M} = \mathbb{E}\left[\sum_{t=1}^T\mathbb{I}[y^{\prime}_t\neq y_t] - \ell_t(\boldsymbol{W}_t) + \lVert\boldsymbol{g}_t\rVert^2\right] \]

我们先来看论文算法每轮迭代预测的标签值\(y^{\prime}_t\)是如何产生的。如果考虑完全信息的设置且不引入随机性的话，那么一个合理的选择是使得模型输出score最大的标签：

\[y^*_t = \mathrm{arg \space max}_k\langle \boldsymbol{W}_t^k, \boldsymbol{x}_t\rangle \]

但论文的方法不只考虑了完全信息的设置，还考虑了bandit的设置。本文的算法在每一轮的预测中引入了随机性，而这可以在bandit设置中达到探索的作用。具体而言，算法的每一轮得到的标签预测值\(y^{\prime}_t\)根据一个概率分布向量\(\boldsymbol{p}_t^{\prime}\)采样产生：

\[y^{\prime}_t\sim \boldsymbol{p}^{\prime}_t \]

而概率分布向量\(\boldsymbol{p}^{\prime}_t\)经由一个单位向量\(\boldsymbol{e}_{y^*_t}\)（表示预测分布，\(y^*_t\)索引元素为1而其余为0）和一个全1向量（表示随机分布）的插值产生：

\[\boldsymbol{p}_t^{\prime} = (1 - \max\left\{a(\boldsymbol{W}_t, \boldsymbol{x}_t), \gamma\right\})\boldsymbol{e}_{y^*_t} + \max\left\{a(\boldsymbol{W}_t, \boldsymbol{x}_t), \gamma\right\}\frac{1}{K}\boldsymbol{1} \]

其中插值权重\(\max\left\{a(\boldsymbol{W}_t, \boldsymbol{x}_t), \gamma\right\}\)经由差距映射（gap map）\(a: \mathbb{R}^{K\times d}\times \mathbb{R}^d\rightarrow [0, 1]\)的计算产生，根据选用的代理损失函数不同该映射函数也可能不同。参数\(\gamma\in [0, 1]\)。在完全信息设置下，\(\gamma\)被设置为0；但在bandit设置下\(\gamma\)被用于保证每个标签被以至少\(\frac{\gamma}{K}\)的概率采到，这是一个在bandit算法中的常见策略^[9]。在这里每个标签被以至少\(\frac{\gamma}{K}\)的概率采到是重要的，因为在bandit设置下，论文使用重要性加权（importance weighting）策略来得到代理损失\(\ell_t\)的估计形式以及其对应的梯度\(\boldsymbol{g}_t = \nabla\ell_t(\boldsymbol{W}_t)\)，因此需要控制这些估计的方差。在完全信息的设置下，设\(a(\boldsymbol{W}_t, \boldsymbol{x}_t) = 0, \gamma = 0\)，并将\(\ell_t\)选择为hinge损失，则将得到与经典的感知机（perception）^[10] 算法相似的形式，而此算法可以被解释为在hinge损失上的OGD。

简记\(a_t = a(\boldsymbol{W}_t, \boldsymbol{x}_t)\)。这里\(a_t\)的作用为利用代理损失和0-1损失之间的差距，这个我们在后面介绍其具体形式的时候会进一步阐述。让我们回到之前所提到的\(\mathcal{M}\)的具体形式，可以继续用\(a_t\)和\(\gamma\)将其展开表示：

\[ \begin{aligned} \mathcal{M} &= \mathbb{E}\left[\sum_{t=1}^T\mathbb{I}[y^{\prime}_t\neq y_t] - \ell_t(\boldsymbol{W}_t) + \frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\right]\\ &= \mathbb{E}\left[\sum_{t=1}^T\mathbb{E}_t\left[\mathbb{I}[y^{\prime}_t\neq y_t]\right] - \ell_t(\boldsymbol{W}_t) + \frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\right] (\mathbb{E}_t[\cdot]\text{表示给定}t\text{时给定}(y_i^{\prime})_{i\leqslant t-1}\text{的条件期望})\\ &= \mathbb{E}\left[\sum_{t=1}^T\left(1 - \max\{a_t, \gamma\}\right)\mathbb{I}[y^*_t\neq y_t] + \max\{a_t, \gamma\}\frac{K - 1}{K} - \ell_t(\boldsymbol{W}_t) + \frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\right]\\ &= \gamma\frac{K - 1}{K}T + \sum_{t=1}^T\underbrace{\mathbb{E}\left[\left(1 - a_t\right)\mathbb{I}[y^*_t\neq y_t] + a_t\frac{K - 1}{K} - \ell_t(\boldsymbol{W}_t) + \frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\right]}_{\text{surrogate gap}}\\ \end{aligned} \]

其中最后一个不等式使用了\((1 - \max\{a_t, \gamma\})\leqslant (1 - a_t)\)与\(\max\{a_t, \gamma\} = a_t + \gamma\)。括号括起来的项称为代理差距（surrogate gap）。在完全信息的设置下，设\(\gamma = 0\)，则此时若能证明代理差距（在可以调节差距映射\(a_t\)的情况下）能被0界定，则就能证明常数的代理regret界。下图形象地展示了在\(K = 2, \gamma = 0，\eta = \frac{1}{8}\)的设置下，通过条件\(a_t\)使得代理差距\(\leqslant 0\)的效果：

设图中绿色的实线表示关于间隔\(z\)的光滑hinge损失\(\ell_t(\boldsymbol{W}_t) = \max\left\{(1 - z)^2, 0\right\}\)（这里\(z\)为间隔），黑色实线表示关于间隔\(z\)的0-1损失\(\mathbb{I}[z\leqslant 0]\)。首先，可以看到光滑hinge损失做为0-1损失的上界是可以将其界定的。然后我们进一步分析其它部分：

• 红色实线表示\(a(\boldsymbol{W}, \boldsymbol{x}) = 0\)时，0-1损失加上了梯度项的\(\mathbb{I}[z\leqslant 0] + \frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\)，其中设当\(z\) > 0时\(\lVert\boldsymbol{g}_t\rVert^2 = 4(1 - z)^2\)否则\(\lVert\boldsymbol{g}_t\rVert^2 = 4\)。可以看到，红色实线有部分是在黄线上方的，这也就意味着\(\mathbb{I}[z\leqslant 0] + \frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\)减去光滑hinge损失\(\ell_t(\boldsymbol{W}_t)\)并不一定\(\leqslant 0\)，也就意味着光滑hinge损失并不能完全将其抵消掉。此时的代理差距（体现为图中的红色实线值减去绿色实线值）并不一定\(\leqslant 0\)。

• 蓝色实线表示\(a(\boldsymbol{W}, \boldsymbol{x}) = (1 - |z|)^2\)时的\(\left(1 - (1 - |z|)^2\right)\mathbb{I}[z\leqslant 0] + \frac{1}{2}(1 - |z|)^2 + \frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\)，可以看到蓝色实线不会到黄线上方去，这也就意味着此时光滑hinge损失可以完全将其抵消掉。此时的代理差距（体现为图中的蓝色实线值减去绿色实线值）满足\(\leqslant 0\)。

我们还可以发现，当\(a(\boldsymbol{W}, \boldsymbol{x}) = 0\)，减小学习率\(\eta\)会扩大代理差距被0所界定的范围，但只有当\(\eta = 0\)时代理差距才会处处被0所界定。但如果\(a(\boldsymbol{W}, \boldsymbol{x}) = (1 - |z|)^2\)，则代理差距对所有\(z\)都可以被0所界定了。而对于完全信息的情况这将导致常数阶的代理regret界。

4 采用不同代理损失时的代理差距

下面以完全信息的设置为例，分别在logistic损失和hinge损失的情况下去证明代理差距可以被0界定（并给出相应的差距映射\(a_t\)）。由于是完全信息，在本部分设置\(\gamma = 0\)。我们先来看logistic损失。

4.1 logistic损失

logistic损失可定义如下：

\[\ell_t(\boldsymbol{W}) = -\log_2\left(\sigma(\boldsymbol{W}, \boldsymbol{x}_t, y_t)\right) \]

其中\(\sigma(\boldsymbol{W}, x, k) = \frac{\exp\left(\langle\boldsymbol{w}_k, \boldsymbol{x}\rangle\right)}{\sum_{k^{\prime}=1}^K\exp\left(\langle \boldsymbol{w}_{k^{\prime}}, \boldsymbol{x}\rangle\right)}\)是softmax函数（\(\boldsymbol{w}_k\)为\(\boldsymbol{W}\)第\(k\)行的向量）。注意这里logistic函数是以2为底的，我的推测是这是应后面关于代理差距的证明的需要而设置的。对于logistic损失，论文使用下列的差距映射：

\[a(\boldsymbol{W}_t, \boldsymbol{x}_t) = 1 - \mathbb{I}\left[p^*_t\geqslant 0.5\right]p^*_t \]

其中\(p^*_t = \max_k\sigma(\boldsymbol{W}_t, \boldsymbol{x}_t, k)\)。这意味着GAPTRON会在\(p^*_t\leqslant 0.5\)时均匀随机采样一个标签。下列事实在初看时可能是反直觉的：当\(p^*_t < 0.5\)时不管学习器预测标签是什么0-1损失都能够被logistic损失给界定，这是由于当\(p\in [0, 0.5]\)时\(-\log_2(p)\geqslant 1\)。而这一事实可以被用来证明当\(p^*_t < 0.5\)代理差距可以被0界定。

下面，我们展示在采用logistic损失并设\(a(\boldsymbol{W}_t, \boldsymbol{x}_t) = 1 - \mathbb{I}[p^*_t\geqslant 0.5]p^*_t\)，\(\eta = \frac{\ln(2)}{2KX^2}\)的情况下，代理差距

\[\text{surrogate gap} = \mathbb{E}\left[\left(1 - a_t\right)\mathbb{I}[y^*_t\neq y_t] + a_t\frac{K - 1}{K} - \ell_t(\boldsymbol{W}_t) + \frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\right] \]

可以被0界定。

我们先求\(\ell_t(\boldsymbol{W}_t)\)关于\(\boldsymbol{W}_t\)的梯度\(\nabla_{\boldsymbol{W}_t} \ell_t(\boldsymbol{W}_t)\)。由于函数关于矩阵求导等价于关于矩阵的每一个元素求导^[11]，因此\(\nabla_{\boldsymbol{W}_t} \ell_t(\boldsymbol{W}_t)\)也是一个和\(\boldsymbol{W}_t\)行数和列数相同的\(K\times d\)矩阵，其每个元素为\(\left[\nabla_{\boldsymbol{W}_t} \ell_t(\boldsymbol{W}_t)\right]_{ij} = \frac{\partial \ell_t(\boldsymbol{W}_t)}{\partial w_{ij}}\)。当然逐元素求导可能过于繁杂，我们这里将\(\nabla_{\boldsymbol{W}_t} \ell_t(\boldsymbol{W}_t)\)视为行向量拼成的矩阵，其中每个行向量是梯度向量\(\nabla_{\boldsymbol{w}_t}\ell_t(\boldsymbol{W}_t)\)：

\[ \nabla_{\boldsymbol{W}_t} \ell_t(\boldsymbol{W}_t) = \left( \begin{aligned} &\nabla_{\boldsymbol{w}_1}\ell_t(\boldsymbol{W}_t)\\ &\nabla_{\boldsymbol{w}_2}\ell_t(\boldsymbol{W}_t)\\ &\quad\quad\space \vdots\\ &\nabla_{\boldsymbol{w}_K}\ell_t(\boldsymbol{W}_t)\\ \end{aligned} \right) \]

于是，我们接着表示\(\nabla_{\boldsymbol{w}_k}\ell_t(\boldsymbol{W}_t)\)：

\[\begin{aligned} \nabla_{\boldsymbol{w}_k}\ell_t(\boldsymbol{W}_t) &= \nabla_{\boldsymbol{w}_k}\left(-\log_2\left(\sigma(\boldsymbol{W}_t, \boldsymbol{x}_t, y_t)\right)\right)\\ &= \frac{1}{\ln 2}\nabla_{\boldsymbol{w}_k}\left(\log\left(\sum_{k^{\prime}=1}^K\exp\left(\langle \boldsymbol{w}_{t,k^{\prime}}, \boldsymbol{x}_t\rangle\right)\right) - \langle\boldsymbol{w}_{t,y_t}, \boldsymbol{x}_t\rangle\right)\\ &= \frac{1}{\ln 2}\left(\frac{\exp\left(\langle \boldsymbol{w}_{t, k}, \boldsymbol{x}_t\rangle\right)\boldsymbol{x}_t}{\sum_{k^{\prime}=1}^K\exp\left(\langle \boldsymbol{w}_{t, k^{\prime}}, \boldsymbol{x}_t\rangle\right)} - \mathbb{I}[y_t = k]\boldsymbol{x}_t\right)\\ &= \frac{1}{\ln2}\left(\sigma(\boldsymbol{W}_t, \boldsymbol{x}_t, k) - \mathbb{I}[y_t = k]\right)\boldsymbol{x}_t \end{aligned} \]

因此，有

\[\nabla_{\boldsymbol{W}_t}\ell_t(\boldsymbol{W}_t) = \frac{1}{\ln 2}\left(\tilde{\boldsymbol{p}}_t - \boldsymbol{e}_{y_t}\right)\otimes \boldsymbol{x}_t \]

其中\(\tilde{\boldsymbol{p}}_t = (\tilde{p}_t(1), \cdots, \tilde{p}_t(k))^{\top}\)，\(\tilde{p}_t(k) = \sigma(\boldsymbol{W}_t, \boldsymbol{x}_t, k)\)。式中的\(\otimes\)为矩阵的Kronecker积^[12]，这里可以理解为将向量\(\boldsymbol{x}_t\)乘以\(\tilde{\boldsymbol{p}}_t - \boldsymbol{e}_{y_t}\)的每一个标量元素，然后将所得的结果拼成一个新矩阵。

接着，我们证明\(\ell_t(\boldsymbol{W})\)满足一个重要的性质：它是 自界（self-bounded）^[8]的，也即意味着该函数的梯度的范数平方可以被函数自身乘一个常数给界定：

\[\lVert \nabla_{\boldsymbol{W}_t} \ell_t(\boldsymbol{W}_t)\rVert^2\leqslant \frac{2}{\ln 2}X^2\ell_t(\boldsymbol{W}_t) \]

证明如下：

\[\begin{aligned} &\lVert \nabla_{\boldsymbol{W}_t} \ell_t(\boldsymbol{W}_t)\rVert^2 \\ &= \frac{1}{\left(\ln 2\right)^2}\lVert\boldsymbol{x}_t\rVert^2\left(\sum_{k=1}^K\left(\mathbb{I}[y_t = k] - \tilde{p}_t(k)\right)^2\right)\\ &\leqslant \frac{1}{\left(\ln 2\right)^2}\lVert\boldsymbol{x}_t\rVert^2\left(\sum_{k=1}^K\lvert\mathbb{I}[y_t = k] - \tilde{p}_t(k)\rvert\right)^2 \left(a_1^2 + \cdots +a_n^2\leqslant \left(|a_1| + \cdots + |a_n|\right)^2\right)\\ &\leqslant -\frac{2}{\ln 2}\lVert\boldsymbol{x}_t\rVert^2\log_2\left(\tilde{p}_t(y_t)\right)\quad (\text{Pinsker不等式[13]})\\ &\leqslant -\frac{2}{\ln 2}X^2\log_2\left(\tilde{p}_t(y_t)\right)\quad (\lVert\boldsymbol{x}_t\rVert^2\leqslant X)\\ &= \frac{2}{\ln 2}X^2\ell_t(\boldsymbol{W}_t) \end{aligned} \]

Pinsker不等式^[13]：对任意两个在样本空间\(\mathcal{H}\)上定义的概率分布\(P_1\) 和\(P_2\)，设\(D(P_1\Vert P_2)\)为它们之间的KL散度，\(\lVert P_1 - P_2 \rVert_1 = \sum_{a\in \mathcal{H}}\lvert P_1(a) - P_2(a)\rvert\)为它们之间的\(\mathcal{L}_1\)距离，则有下列不等式成立：

\[D(P_1 \Vert P_2)\geqslant \frac{1}{2\ln 2}\lVert P_1 - P_2\rVert^2_1 \]

（在上述的证明中将单位向量\(\boldsymbol{e}_{y_t}\)所对应的分布（概率在\(y_t\)处为1其余处为0）做为\(P_1\)，将\(\tilde{\boldsymbol{p}}_t\)所对应的分布做为\(P_2\)即可。

有了这个性质，可以进一步将代理差距界定如下（这里注意\(a_t = a(\boldsymbol{W}_t, \boldsymbol{x}_t) = 1 - \mathbb{I}[p^*_t\geqslant 0.5]p^*_t\)，其中\(p^*_t = \max_k\sigma(\boldsymbol{W}_t, \boldsymbol{x}_t, k)\)）：

\[\begin{aligned} & \text{surrogate gap} \\ &= \mathbb{E}\left[\left(1 - a_t\right)\mathbb{I}[y^*_t\neq y_t] + a_t\frac{K - 1}{K} - \ell_t(\boldsymbol{W}_t) + \frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\right]\\ &= \left(1 - a_t\right)\mathbb{I}[y^*_t\neq y_t] + a_t\frac{K - 1}{K} - \ell_t(\boldsymbol{W}_t) + \frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\quad (\text{完全信息设置下}\ell_t(\boldsymbol{W}_t)和\boldsymbol{g}_t不涉及随机选择)\\ &\leqslant \left(1 - a_t\right)\mathbb{I}[y^*_t\neq y_t] + a_t\frac{K - 1}{K} - \ell_t(\boldsymbol{W}_t) + \frac{\eta}{\ln 2}X^2\ell_t(\boldsymbol{W}_t)\\ &= \left\{ \begin{aligned} & 0 + \frac{K - 1}{K} + \log_2\left(\tilde{p}_t(y_t)\right) - \frac{\eta}{\ln 2}X^2\log_2\left(\tilde{p}_t(y_t)\right) &\text{if } p^*_t < 0.5 \\ & p^*_t + (1 - p^*_t)\frac{K - 1}{K} + \log_2\left(\tilde{p}_t(y_t)\right) - \frac{\eta}{\ln 2}X^2\log_2\left(\tilde{p}_t(y_t)\right) &\text{if } y^*_t\neq y_t \text{ and }p^*_t\geqslant 0.5 \\ &(1 - p^*_t)\frac{K - 1}{K} + \log_2(p_t^*) - \frac{\eta}{\ln 2}X^2\log_2(p_t^*) &\text{if } y^*_t = y_t \text{ and }p^*_t\geqslant 0.5 \\ \end{aligned} \right. \end{aligned} \]

接着进行分类讨论。

• \((1)\) \(p_t^* < 0.5\)：

\[\begin{aligned} &\frac{K - 1}{K} + \log_2\left(\tilde{p}_t(y_t)\right) - \frac{\eta}{\ln 2}X^2\log_2\left(\tilde{p}_t(y_t)\right) \\ &\leqslant -\frac{K - 1}{K}\log_2\left(\tilde{p}_t(y_t)\right) + \log_2\left(\tilde{p}_t(y_t)\right) - \frac{\eta}{\ln 2}X^2\log_2\left(\tilde{p}_t(y_t)\right)\quad \left(1\leqslant -\log_2(x)\right) \\ &= \frac{1}{K}\log_2(\tilde{p}_t(y_t)) - \frac{\eta}{\ln 2}X^2\log_2(\tilde{p}_t(y_t)) \\ &\leqslant 0 \quad \left(\eta = \frac{\ln(2)}{2KX^2} < \frac{\ln 2}{KX^2}\right) \end{aligned} \]

• \((2)\) \(y^*_t\neq y_t\)且\(p^*_t\geqslant 0.5\)：

\[\begin{aligned} &p^*_t + (1 - p^*_t)\frac{K - 1}{K} + \log_2(\tilde{p}_t(y_t)) - \frac{\eta}{\ln 2}X^2\log_2(\tilde{p}_t(y_t)) \\ &\leqslant -\frac{1}{2}\log_2(1 - p^*_t) - \frac{K - 1}{2K}\log_2(1 - p^*_t) + \log_2(\tilde{p}_t(y_t)) - \frac{\eta}{\ln 2}X^2\log_2(\tilde{p}_t(y_t))\\ &\left(x\leqslant -\frac{1}{2}\log_2(1 - x) \text{ for } x\in [0.5, 1], 1 - x\leqslant -\frac{1}{2}\log_2(1 - x) \text{ for } x\in [0.5, 1]\right) \\ &= -\frac{1}{2}\log_2\left(\sum_{k\neq y^*_t}^K \tilde{p}_t(k)\right) - \frac{K - 1}{2K}\log_2\left(\sum_{k\neq y^*_t}^K \tilde{p}_t(k)\right) + \log_2(\tilde{p}_t(y_t)) - \frac{\eta}{\ln 2}X^2\log_2(\tilde{p}_t(y_t))\\ &\leqslant -\frac{1}{2}\log_2\left(\tilde{p}_t(y_t)\right) - \frac{K - 1}{2K}\log_2\left(\tilde{p}_t(y_t)\right) + \log_2(\tilde{p}_t(y_t)) - \frac{\eta}{\ln 2}X^2\log_2(\tilde{p}_t(y_t))\\ &= \frac{1}{2K}\log_2\left(\tilde{p}_t(y_t)\right) - \frac{\eta}{\ln 2}X^2\log_2(\tilde{p}_t(y_t)) \\ &= 0 \quad \left(\eta = \frac{\ln(2)}{2KX^2}\right) \end{aligned} \]

• \((3)\) \(y^*_t = y_t\)且\(p^*_t\geqslant 0.5\)：

\[\begin{aligned} &(1 - p^*_t)\frac{K - 1}{K} + \log_2(p_t^*) - \frac{\eta}{\ln 2}X^2\log_2(p_t^*) \\ &\leqslant -\frac{K - 1}{K}\log_2(p_t^*) + \log_2(p_t^*) - \frac{\eta}{\ln 2}X^2\log_2(p_t^*)\\ &\left(1 - x\leqslant -\log_2(x)\right) \\ &\leqslant 0 \quad \left(\eta = \frac{\ln(2)}{2KX^2} < \frac{\ln 2}{KX^2}\right) \end{aligned} \]

因此，在采用logistic损失并设\(a(\boldsymbol{W}_t, \boldsymbol{x}_t) = 1 - \mathbb{I}[p^*_t\geqslant 0.5]p^*_t\)，\(\eta = \frac{\ln(2)}{2KX^2}\)的情况下，代理差距 \(\text{surrogate gap}\leqslant 0\)
得证。

于是有

\[ \begin{aligned} \mathcal{R}_T &\leqslant \frac{\lVert\boldsymbol{U}\rVert^2}{2\eta} + \gamma\frac{K - 1}{K}T + \sum_{t=1}^T\underbrace{\mathbb{E}\left[\left(1 - a_t\right)\mathbb{I}[y^*_t\neq y_t] + a_t\frac{K - 1}{K} - \ell_t(\boldsymbol{W}_t) + \frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\right]}_{\text{surrogate gap}\leqslant 0}\\ &\leqslant \frac{\lVert\boldsymbol{U}\rVert^2}{2\eta}\quad (\text{设置} \gamma = 0)\\ &= \frac{KX^2\lVert\boldsymbol{U}\rVert^2}{\ln 2} \end{aligned} \]

常数阶代理regret界得证。

4.2 多类别hinge损失

接着，我们来看多类别hinge损失的情况。本文使用了Crammer-Singer多分类hinge损失^[14]的变体，其定义如下：

\[ \ell_t(\boldsymbol{W}) = \left\{\begin{aligned} &\max\left\{1 - m_t(\boldsymbol{W}, y_t), 0\right\}\quad &\text{if } m^*_t\leqslant \beta\\ &\max\left\{1 - m_t(\boldsymbol{W}, y_t), 0\right\}\quad &\text{if } y^*_t\neq y_t \text{ and } m^*_t > \beta\\ &0\quad &\text{if } y^*_t = y_t \text{ and } m^*_t > \beta \end{aligned}\right. \]

设这里\(\beta\)的取值范围为\([0, 1)\)。对于多类别hinge损失，论文使用下列差距映射：

\[a(\boldsymbol{W}_t, \boldsymbol{x}_t) = 1 - \max\left\{\mathbb{I}[m^*_t > \beta], m^*_t\right\} \]

多类别hinge损失的定义式中，间隔\(m_t(\boldsymbol{W}_t, y) = \langle \boldsymbol{w}_{t, y}, \boldsymbol{x}_t\rangle - \max_{k\neq y}\langle\boldsymbol{w}_{t, k}, \boldsymbol{x}_t\rangle\)，最大间隔\(m^*_t = \max_k m_t(\boldsymbol{W}_t, k)\)。注意这里当\(y^*_t = y_t\)且\(m^*_t > \beta\)时设置\(\ell_t(\boldsymbol{W}) = 0\)，而在感知机的一般实现中只要\(y^*_t = y_t\)就有\(\ell_t(\boldsymbol{W}) = 0\)^[7]。这里之所以要设置参数\(\beta\)的原因是代理差距

\[\text{surrogate gap} = \mathbb{E}\left[\left(1 - a_t\right)\mathbb{I}[y^*_t\neq y_t] + a_t\frac{K - 1}{K} - \ell_t(\boldsymbol{W}_t) + \frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\right] \]

中有项\(a_t\frac{K - 1}{K}\)，而对于这项只要\(m^*_t \leqslant \beta\)它就不为0。而当\(y_t^* = y_t\)且\(m^*_t \leqslant \beta\)时，如果\(\ell_t(\boldsymbol{W}_t) = 0\)，那么将没有项能够去抵消掉\(a_t\frac{K - 1}{K}\)（注意此时\(\mathbb{I}[y^*_t\neq y_t] = \ell_t(\boldsymbol{W}_t) = \lVert\boldsymbol{g}_t\rVert^2 = 0\)）。观察\(a_t\)的表达式还可以发现，如果\(m^*_t > \beta\)则\(a_t = 0\)，此时GAPTRON的预测等价于感知机的预测。

下面，我们展示在采用多类别hinge损失并设\(a(\boldsymbol{W}_t, \boldsymbol{x}_t) = 1 - \max\left\{\mathbb{I}[m^*_t > \beta], m^*_t\right\}\)，\(\eta = \frac{1 - \beta}{KX^2}\)，\(\beta = \frac{1}{K}\)的情况下，代理差距

\[\text{surrogate gap} = \mathbb{E}\left[\left(1 - a_t\right)\mathbb{I}[y^*_t\neq y_t] + a_t\frac{K - 1}{K} - \ell_t(\boldsymbol{W}_t) + \frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\right] \]

可以被0界定。

我们先求\(\ell_t(\boldsymbol{W}_t)\)关于\(\boldsymbol{W}_t\)的梯度\(\nabla_{\boldsymbol{W}_t} \ell_t(\boldsymbol{W}_t)\)。和之前类似， 我们先表示\(\nabla_{\boldsymbol{w}_k}\ell_t(\boldsymbol{W}_t)\)：

\[\begin{aligned} \nabla_{\boldsymbol{w}_k}\ell_t(\boldsymbol{W}_t) &= \left\{\begin{aligned} &\nabla_{\boldsymbol{w}_k}\max\left\{1 - m_t(\boldsymbol{W}_t, y_t), 0\right\}\quad &\text{if } m^*_t\leqslant \beta\\ &\nabla_{\boldsymbol{w}_k}\max\left\{1 - m_t(\boldsymbol{W}_t, y_t), 0\right\}\quad &\text{if } y^*_t\neq y_t \text{ and } m^*_t > \beta\\ &0\quad &\text{if } y^*_t = y_t \text{ and } m^*_t > \beta \end{aligned}\right.\\ &= \left\{\begin{aligned} &\left(\mathbb{I}[\mathrm{arg \space max}_{k^{\prime}\neq y_t}\langle\boldsymbol{w}_{t, k^{\prime}}, \boldsymbol{x}_t\rangle = k] - \mathbb{I}[y_t = k]\right)\boldsymbol{x}_t \quad &\text{if } m^*_t\leqslant \beta\\ &\left(\mathbb{I}[\mathrm{arg \space max}_{k^{\prime}\neq y_t}\langle\boldsymbol{w}_{t, k^{\prime}}, \boldsymbol{x}_t\rangle = k] - \mathbb{I}[y_t = k]\right)\boldsymbol{x}_t\quad &\text{if } y^*_t\neq y_t \text{ and } m^*_t > \beta\\ &0\quad &\text{if } y^*_t = y_t \text{ and } m^*_t > \beta \end{aligned}\right.\\ \end{aligned} \]

因此，有

\[\nabla_{\boldsymbol{W}_t}\ell_t(\boldsymbol{W}_t) = \left\{\begin{aligned} &\left(\boldsymbol{e}_{\tilde{k}} - \boldsymbol{e}_{y_t}\right)\otimes\boldsymbol{x}_t \quad &\text{if } m^*_t\leqslant \beta\\ &\left(\boldsymbol{e}_{\tilde{k}} - \boldsymbol{e}_{y_t}\right)\otimes \boldsymbol{x}_t\quad &\text{if } y^*_t\neq y_t \text{ and } m^*_t > \beta\\ &0\quad &\text{if } y^*_t = y_t \text{ and } m^*_t > \beta \end{aligned}\right. \]

其中\(\tilde{k} = \mathrm{arg \space max}_{k\neq y_t}\langle\boldsymbol{w}_{t, k}, \boldsymbol{x}_t\rangle\)。

有了这个性质，可以进一步将代理差距界定如下（这里注意\(a(\boldsymbol{W}_t, \boldsymbol{x}_t) = 1 - \max\left\{\mathbb{I}[m^*_t > \beta], m^*_t\right\}\)，其中\(m^*_t = \max_k m_t(\boldsymbol{W}_t, k)\)）：

\[\begin{aligned} & \text{surrogate gap} \\ &= \left(1 - a_t\right)\mathbb{I}[y^*_t\neq y_t] + a_t\frac{K - 1}{K} - \ell_t(\boldsymbol{W}_t) + \frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\quad\\ &\leqslant \left(1 - a_t\right)\mathbb{I}[y^*_t\neq y_t] + a_t\frac{K - 1}{K} - \ell_t(\boldsymbol{W}_t) + \eta X^2\\ &= \left\{\begin{aligned} &m^*_t + (1 - m^*_t)\frac{K - 1}{K} - \left(1 - m_t(\boldsymbol{W}_t, y_t)\right) + \eta X^2 \quad &\text{if } y^*_t\neq y_t \text{ and } m^*_t\leqslant \beta\\ &(1 - m^*_t)\frac{K - 1}{K} - (1 - m^*_t) + \eta X^2 \quad &\text{if } y^*_t = y_t \text{ and } m^*_t \leqslant \beta\\ &1 - (1 - m_t(\boldsymbol{W}_t, y_t)) + \eta X^2 \quad &\text{if } y^*_t \neq y_t \text{ and } m^*_t > \beta\\ &0 &\text{if } y^*_t = y_t \text{ and } m^*_t > \beta\\ \end{aligned}\right. \end{aligned} \]

在接下来的证明之前先证明一个有用的结论。对\(y_t\neq y^*\)，有

\[\begin{aligned} &m^*_t + m_t(\boldsymbol{W}_t, y_t)\\ &= \langle \boldsymbol{w}_{t, y^*_t}, \boldsymbol{x}_t\rangle - \max_{k\neq y^*_t}\langle\boldsymbol{w}_{t,k}, \boldsymbol{x}_t\rangle + \langle\boldsymbol{w}_{t, y_t}, \boldsymbol{x}_t\rangle - \max_{k\neq y_t}\langle\boldsymbol{w}_{t,k}, \boldsymbol{x}_t\rangle\\ &= \langle\boldsymbol{w}_{t, y_t}, \boldsymbol{x}_t\rangle - \max_{k\neq y^*_t}\langle\boldsymbol{w}_{t,k}, \boldsymbol{x}_t\rangle\\ &\leqslant \langle\boldsymbol{w}_{t, y_t}, \boldsymbol{x}_t\rangle - \langle\boldsymbol{w}_{t,k}, \boldsymbol{x}_t\rangle = 0 \end{aligned} \]

接着进行分类讨论（\(y^*_t = y_t \text{ and } m^*_t > \beta\)时已有\(\text{surrogate gap} = 0\)，故不再单列）。

• \((1)\) \(y^*_t\neq y_t\) 且 \(m^*_t\leqslant \beta\)：

\[\begin{aligned} &m^*_t + (1 - m^*_t)\frac{K - 1}{K} - \left(1 - m_t(\boldsymbol{W}_t, y_t)\right) + \eta X^2 \\ &= \underbrace{m^*_t + m_t(\boldsymbol{W}_t, y_t)}_{\leqslant 0}\ + (1 - m^*_t)\frac{K - 1}{K} - 1 + \eta X^2 \\ &= -\frac{1}{K} + \eta X^2 \\ &\leqslant 0 \quad \left(\eta = \frac{1 - \beta}{KX^2} < \frac{1}{KX^2}\right) \end{aligned} \]

• \((2)\) \(y^*_t = y_t\) 且 \(m^*_t \leqslant \beta\)：

\[\begin{aligned} &(1 - m^*_t)\frac{K - 1}{K} - (1 - m^*_t) + \eta X^2 \\ &= -\frac{1}{K}(1 - m^*_t) + \eta X^2\\ &\leqslant -\frac{(1 - \beta)}{K} + \eta X^2\\ &= 0 \quad \left(\eta = \frac{1 - \beta}{KX^2}\right) \end{aligned} \]

• \((3)\) \(y^*_t \neq y_t\) 且 \(m^*_t > \beta\)：

\[\begin{aligned} &1 - (1 - m_t(\boldsymbol{W}_t, y_t)) + \eta X^2 \\ &= m_t(\boldsymbol{W}_t, y_t) + \eta X^2 \\ &\leqslant -m^*_t + \eta X^2\quad \left(m^*_t + m_t(\boldsymbol{W}_t, y_t)\leqslant 0\right)\\ &\leqslant -\beta + \eta X^2\\ &\leqslant 0 \quad \left(\eta = \frac{1 - \beta}{KX^2} \leqslant \frac{\beta}{KX^2} \text{ for } \beta = \frac{1}{K}\right) \end{aligned} \]

因此，在采用多类别hinge损失并设\(a(\boldsymbol{W}_t, \boldsymbol{x}_t) = 1 - \max\left\{\mathbb{I}[m^*_t > \beta], m^*_t\right\}\)，\(\eta = \frac{1 - \beta}{KX^2}\)，\(\beta = \frac{1}{K}\)的情况下，代理差距

\[\text{surrogate gap} = \mathbb{E}\left[\left(1 - a_t\right)\mathbb{I}[y^*_t\neq y_t] + a_t\frac{K - 1}{K} - \ell_t(\boldsymbol{W}_t) + \frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\right] \]

可以被0界定。

于是有

\[ \begin{aligned} \mathcal{R}_T &\leqslant \frac{\lVert\boldsymbol{U}\rVert^2}{2\eta} + \gamma\frac{K - 1}{K}T + \sum_{t=1}^T\underbrace{\mathbb{E}\left[\left(1 - a_t\right)\mathbb{I}[y^*_t\neq y_t] + a_t\frac{K - 1}{K} - \ell_t(\boldsymbol{W}_t) + \frac{\eta}{2}\lVert\boldsymbol{g}_t\rVert^2\right]}_{\text{surrogate gap}\leqslant 0}\\ &\leqslant \frac{\lVert\boldsymbol{U}\rVert^2}{2\eta}\quad (\text{设置} \gamma = 0)\\ &= \frac{K^2X^2\lVert\boldsymbol{U}\rVert^2}{2(K - 1)} \end{aligned} \]

常数阶代理regret界得证。

除了logistic损失和多类别hinge损失之外，论文还讨论了光滑多类别hinge损失（smooth multiclass hinge loss）的代理差距。感兴趣的读者可以去阅读原论文。

5 bandit设置

论文还讨论了bandit设置下的代理差距，这里我们简要介绍一下logistic损失的bandit版本的形式。logistic的bandit版本定义如下：

\[\ell_t(\boldsymbol{W}) = -\frac{\mathbb{I}[y^{\prime}_t = y_t]}{p^{\prime}_t(y^{\prime}_t)}\log_2\left(\sigma(\boldsymbol{W}, \boldsymbol{x}_t, y_t)\right) \]

（如之前所定义的，\( \boldsymbol{p}_t^{\prime} = (1 - \max\left\{a(\boldsymbol{W}_t, \boldsymbol{x}_t), \gamma\right\})\boldsymbol{e}_{y^*_t} + \max\left\{a(\boldsymbol{W}_t, \boldsymbol{x}_t), \gamma\right\}\frac{1}{K}\boldsymbol{1} \)）

这里除以\(p^{\prime}_t(y^{\prime}_t)\)的一个相关技术被称为重要性采样（importance sampling）^[15]，该技术在bandit设置中应用广泛^[16]，可以使得

\[\begin{aligned} &\mathbb{E}_t[\ell_t(\boldsymbol{W})]\\ &= \sum_{y_t^{\prime}\in \mathcal{Y}}-\frac{\mathbb{I}[y^{\prime}_t = y_t]}{p^{\prime}_t(y^{\prime}_t)}\log_2\left(\sigma(\boldsymbol{W}, \boldsymbol{x}_t, y_t)\right)p^{\prime}_t(y^{\prime}_t)\\ &= -\log_2\left(\sigma(\boldsymbol{W}, \boldsymbol{x}_t, y_t)\right) \end{aligned} \]

也即使得\(\mathbb{E}_t[\ell_t(\boldsymbol{W})]\)与其完全信息设置下的对应版本相等。

参考

• [1] van der Hoeven, Dirk. "Exploiting the surrogate gap in online multiclass classification." Advances in Neural Information Processing Systems 33 (2020): 9562-9572.
• [2] Zinkevich, Martin. "Online convex programming and generalized infinitesimal gradient ascent." Proceedings of the 20th international conference on machine learning (icml-03). 2003.
• [3] Hazan, Elad, Amit Agarwal, and Satyen Kale. "Logarithmic regret algorithms for online convex optimization." Machine Learning 69.2 (2007): 169-192.
• [4] Vovk, Volodya. "Competitive on‐line statistics." International Statistical Review 69.2 (2001): 213-248.
• [5] Poster: Exploiting the Surrogate Gap in
  Online Multiclass Classification
• [6] 《学习理论：在线弃权学习》
• [7] Kakade, Sham M., Shai Shalev-Shwartz, and Ambuj Tewari. "Efficient bandit algorithms for online multiclass prediction." Proceedings of the 25th international conference on Machine learning. 2008.
• [8] Shalev-Shwartz, Shai, and Shai Ben-David. Understanding machine learning: From theory to algorithms. Cambridge university press, 2014.
• [9] Auer, Peter, et al. "The nonstochastic multiarmed bandit problem." SIAM journal on computing 32.1 (2002): 48-77.
• [10] Rosenblatt, Frank. "The perceptron: a probabilistic model for information storage and organization in the brain." Psychological review 65.6 (1958): 386.
• [11] 机器学习中的矩阵、向量求导
• [12] 维基百科：克罗内克积
• [13] Cover, Thomas M. Elements of information theory. John Wiley & Sons, 1999.
• [14] Crammer, Koby, and Yoram Singer. "On the algorithmic implementation of multiclass kernel-based vector machines." Journal of machine learning research 2.Dec (2001): 265-292.
• [15] Monte Carlo Methods - Course Notes: Chapter 6 - Importance sampling
• [16] Hazan, Elad. "Introduction to online convex optimization." Foundations and Trends in Optimization 2.3-4 (2016): 157-325.