MLR算法[Paper笔记]

介绍

    MLR算法是alibaba在2012年提出并使用的广告点击率预估模型,2017年发表出来。

    如下图,LR不能拟合非线性数据,MLR可以拟合非线性数据,因为划分-训练模式。

  

讨论,非线性拟合能力:

    数据划分规则如下公式,特征分片数m=1时,退化为LR;上图MLR中m=4。m越大,模型的拟合能力越强,一般m=12。

    

基础知识

    优化方法:

    1)剃度下降:

     大小:一阶导数,方向:导数负方向。由目标函数的泰勒一阶展开式求得

    2)牛顿法:

    大小:一阶导数,方向:-海信矩阵的逆。由目标函数的泰勒二阶展开式求

    3)拟牛顿法(LBFGS):牛顿方向通过约等替换,每个样本保存下面三个参数:delta x ,delta剃度 和p:

    

    增量替换,计算牛顿方向D

    

    LBFGS方法通过一阶导数中值定理,避免了计算海信矩阵(复杂度太大)。但是L1范数不能求导,所以需要OWLQN方法。

    4)OWLQN:

    (1)次梯度定义如下,

   (2)不可导点取左or右次梯度,如下 

    直观解释,当你打算用左偏导时,说明是在负象限,因此要加上一个负值,使得更新之后参数更往负象限前进,这样就避免了跨象限;当打算用右偏导数时,说明在正象限,一次要加上一个正值,使得更新之后参数更往正象限前进,从而避免跨象限;否则,只能直接设置subgradient为0。  

   (3)象限搜索line search:

    x不在0点时,line search在x_i所在象限搜索;如果模型参数在0点,就要在(2)次梯度约束的象限内进行line search.

MLR算法

    

算法公式如下:

0计算边界下降方向d:

1计算梯度大小:theta在0处不可导,取sign符号函数dij。

 

2计算最终下降方向p:

3象限内梯度下降,同OWLQN,line search:

paper介绍,MLR与LBFGS有三点不同:

1)OWLQN需要计算次梯度,MLR需要计算方向导数;

2)计算最终下降方向p时,MLR也要进行象限约束;

3)象限搜索line search,与OWLQN相似。

分布式框架实现

分布式

User特征共享

    个人理解是为了加快运算速度,具体特征划分如下所示。其中,c是用户特征,nc是非用户特征。

实验结果

    实验截图略,具体图表可以查看参考paper

纵坐标是内存使用率,特征共享技巧使速度提高了三倍。

 

 

参考paper:Learning Piece-wise Linear Models from Large Scale Data for Ad Click Prediction

 

posted @ 2017-12-10 22:22 rongyux 阅读(...) 评论(...) 编辑 收藏