一介珷玞

摘要： 废话少说，直接开干！ Sigmoid 函数形式 求导过程 如果求导已经还给数学老师了的话，可以参考链式法则版本：Sigmoid 函数的求导过程 Tanh 函数形式 求导过程 链式法则求导：Tanh 激活函数及求导过程 ReLU 太简单，跳过 SoftMax SoftMax常被用作多分类输出层的激活函 阅读全文

摘要： 说在前面 XGBoost自不必多做介绍，想必各位已是如雷贯耳。自XGB问世以来，不仅在各大比赛中一时风头无两，其不依赖特征工程的特点以及完善的API接口也使其成为工业界的宠儿。像我司很长一段时间以来排序模型使用的就是XGB。 不知道大家是否有这种感觉，虽然使用了很久的XGB，但总感觉自己还是原来那个 阅读全文

摘要： FM模型想必大家都不陌生，在排序模型刚起步的年代，FM很好地解决了LR需要大规模人工特征交叉的痛点，引入任意特征的二阶特征组合，并通过向量内积求特征组合权重的方法大大提高了模型的泛化能力。但标准FM的缺陷也恰恰是只能做二阶特征交叉，所以与DNN结合可以帮助我们捕捉特征之间更复杂的非线性关系。实际上， 阅读全文

摘要： 本篇博客重点关注Attention在推荐系统中的常见几类用法。Attention 这里就不多做介绍了，可以参考之前的博客。 为什么推荐系统需要Attention？Attention在推荐系统中怎么用呢？ 纵观排序模型的发展历程，有两个主要的演进方向： 1、特征组合自动化； 2、用户行为序特征的挖掘。 阅读全文

摘要： RNN、CNN和Transformer是目前在NLP中最常用的三个特征抽取器，本篇博客将对它们三个做一下全面对比。 RNN 1、为何RNN能够成为解决NLP问题的主流特征抽取器 主要原因还是因为RNN的结构天然适配解决NLP的问题： （1）NLP的输入往往是个不定长的线性序列句子，而RNN本身结构就 阅读全文

摘要： 原文链接：https://jalammar.github.io/illustrated-transformer/ 从宏观角度看transformer 1、首先将这个模型看成是一个黑箱操作。在机器翻译中，就是输入一种语言，输出另一种语言。 2、第二步，拆开这个黑箱，可以看到它由编码组件、解码组件以及它 阅读全文

摘要： 纵观排序模型的发展过程，我们会发现，特征工程及特征组合的自动化，一直是推动排序模型前进的最主要的方向。例如早期比较成功的LR模型，通过人工特征工程引入非线性。LR之后，就是LR+GBDT，具体做法就是对GBDT每棵树的叶子节点做哑编码之后输入到LR模型中，这时候每棵树的叶子节点的含义，就相当于一种特 阅读全文

摘要： 网络结构 各符号含义： 每个黄色框代表一个前馈网络层（理解LSTM很重要的一步）； 粉色圆圈表示点操作（逐点相乘、逐点相加）； 单箭头表示数据流向（即正向传播）； 箭头合并表示向量的合并（concat）操作； 箭头分叉表示向量的拷贝操作。 分步骤理解 第一步就是决定细胞状态需要丢弃哪些信息。这部分操 阅读全文

摘要： 原理 说起CTR 预估，逻辑回归模型（Logistic Regression）是当之无愧的核心和基础。即便是在深度学习空前流行的今天，LR 模型仍然凭借其良好的数据基础、可解释性强、轻量级的训练部署要求等优势，拥有大量适用的应用场景。但是（通常但是之前的话都是废话），LR 的学习能力有限，需要大量特 阅读全文

摘要： 整体结构 卷积层 卷积操作的本质特性包括稀疏交互和参数共享。 稀疏交互： 定义：在卷积神经网络中，卷积核尺度远小于输入的维度，这样每个输出神经元仅与前一层特定局部区域内的神经元存在连接权重（即产生交互），我们称这种特性为稀疏交互。 意义：通常图像、文本、语音等现实世界中的数据都具有局部的特征结构，我 阅读全文