CTR点击率预测模型技术演进路线

---

阶段1：线性模型时代（2010年前）

核心目标：基础特征权重建模

1. LR（逻辑回归）
   • 原理：线性加权求和 + Sigmoid激活，仅建模一阶特征重要性。
   • 局限性：无法捕捉特征交叉，依赖人工构造组合特征（如用户年龄×商品类别）。
2. 多项式模型（Poly2）
   • 改进：显式引入二阶特征交叉项（如$x_i x_j$），但参数量爆炸（$O(n^2)$），数据稀疏性问题严重。

工业挑战：特征工程成本高，难以处理大规模稀疏数据。

---

阶段2：隐式特征交叉时代（2010-2015）

核心目标：自动化二阶交叉与稀疏性优化

1. FM（因子分解机，2010）
   • 创新：通过隐向量内积建模二阶交叉，参数复杂度降至$O(kn)$。
   • 公式：$\hat{y} = w_0 + \sum w_i x_i + \sum_{i<j} \langle v_i, v_j \rangle x_i x_j$
   • 优势：泛化性强，适合推荐场景的稀疏数据。
2. FFM（场感知因子分解机，2015）
   • 改进：引入“场（Field）”概念，同一特征在不同场下使用不同隐向量（如用户侧与物品侧）。
   • 代价：参数量增至$O(kn^2)$，需权衡效果与计算资源。

工业应用：FM成为早期推荐系统的标配，FFM在广告场景中表现突出（如Criteo竞赛）。

---

阶段3：特征工程自动化（2014-2016）

核心目标：通过集成模型减少人工干预

1. GBDT+LR（Facebook，2014）
   • 思路：GBDT生成非线性特征（叶节点路径编码），输入LR进行CTR预测。
   • 优势：树模型天然处理连续/离散特征，自动生成高阶交叉特征。
   • 局限：特征生成与预测模型分离，无法端到端优化。

工业意义：标志着特征工程从人工规则转向自动化，推动大规模特征挖掘。

---

阶段4：深度学习崛起（2016-2018）

核心目标：端到端学习与高阶交叉建模

1. FNN（2016）
   • 结构：基于FM预训练Embedding，输入DNN进行高阶交叉。
   • 问题：依赖FM初始化，灵活性受限。
2. Wide&Deep（Google，2016）
   • 双塔架构：
     • Wide部分（记忆）：LR模型，捕捉高频特征组合。
     • Deep部分（泛化）：DNN模型，挖掘潜在模式。
   • 影响：首次统一记忆与泛化能力，成为工业界基线模型。
3. DeepFM（2017）
   • 改进：用FM替代Wide部分，实现端到端联合训练。
   • 公式：$\hat{y} = \text{FM}(x) + \text{DNN}(x)$
4. PNN（2016）与DeepCrossing（2016）
   • PNN：在Embedding层后引入内积/外积操作，显式增强特征交互。
   • DeepCrossing：通过残差连接解决深层网络梯度消失。

工业挑战：模型复杂度增加，线上推理延迟上升。

---

阶段5：注意力机制与动态建模（2017-2020）

核心目标：用户兴趣的动态捕捉与可解释性提升

1. DIN（阿里，2017）
   • 创新：基于候选商品，对用户历史行为加权求和（注意力机制）。
   • 公式：$v_u = \sum_{i=1}^T a(e_i, v_c) e_i$，其中$a$为注意力得分。
2. DIEN（阿里，2019）
   • 改进：引入GRU模拟兴趣演化，结合注意力捕捉长短期兴趣。
3. FiBiNET（2019）
   • 双路结构：
     • SENET：筛选重要特征（类似通道注意力）。
     • Bilinear Interaction：双线性交叉增强特征交互。
4. AutoInt（2019）
   • 核心：多头自注意力显式建模特征间高阶交互。

工业意义：注意力机制大幅提升长尾商品推荐效果，可解释性增强。

---

阶段6：多模态与超大规模模型（2020至今）

核心目标：多模态融合与计算效率优化

1. 多模态CTR模型
   • 案例：淘宝“千牛”系统融合商品图像、文本与用户行为序列。
   • 技术：使用ViT提取图像特征，BERT提取文本，与ID类特征联合训练。
2. Transformer架构应用
   • 模型：BST（Behavior Sequence Transformer）、SIM（Search-based Interest Model）。
   • 优势：通过自注意力捕捉超长行为序列（如用户1000条历史行为）。
3. 轻量化与部署优化
   • 技术：模型蒸馏（如TinyBERT）、动态剪枝、边缘计算。
   • 案例：快手使用蒸馏技术将CTR模型压缩至1/10，保持95%效果。

工业挑战：多模态数据对齐、实时推理性能、隐私合规性（如联邦学习）。

---

技术演进总结

阶段	核心突破	局限	工业影响
线性模型	简单高效	依赖人工特征工程	早期广告系统基础
隐式交叉（FM/FFM）	自动化二阶交叉	无法建模高阶非线性	稀疏数据场景标配
深度学习（Wide&Deep）	端到端学习与记忆-泛化平衡	计算成本高	推荐系统工业化分水岭
注意力机制（DIN/DIEN）	动态兴趣建模	序列训练复杂度高	长尾推荐与用户体验提升
多模态与Transformer	超长序列与跨模态融合	数据异构性挑战	电商/短视频场景效果显著提升

---