快手多场景多任务模型PEPNet

模型结构

整体看起来像是一个share bottom的结构

左侧部分（类似POSO））通过输入场景特征到一个gate网络，得到不同场景下的特征embedding的权重，并对特征embedding加权

右边（类似LHUC）同过输入user/item/author feature到gate网络得到个性化的DNN网络

 

工程优化

• 特征分消除策略(feature score elimination strategy)：每个特征ID一个embedding向量很容易把内存撑满。为此快手设计了一个参数服务器，来实现少冲突、内存高效的全局共享Embedding Table。该策略能够动态的控制内存占用低于某个阈值。
• DNN网络和embedding参数更新：模型是在线学习。线上会积累一定数量的样本用于在线训练，把这个最小单元的样本叫做1个pass，每个pass会更新模型的参数。由于线上存在海量的users/authors/items，导致ID类特征会迅速扩大。这些ID特征有些是很老的或已经过期的，没必要存储所有的ID表征。作者采样了2种特征逐出策略：1种是会限制某个特征的取值数量，超过这个数量就逐出；1种是看这个特征的更新频率，保留更新频率高的、逐出更新频率低的。
• 训练策略：快手场景下，ID类特征变化非常快，embedding的更新频次远高于DNN网络参数，为了更好地捕捉底层embedding的变化，维持顶层DNN网络参数的稳定更新，二者采取不同的更新策略。embedding层采用AdaGrad优化器，学习率较大设为0.05，DNN网络参数采用Adam优化器，学习率较小设为5.0e-06。

 

参考资料

千人千模 | PEPNet: 2023快手多任务多场景建模