牵着狗狗的元卜

摘要： 优点： 1.消除了过拟合 2.减小了预测的方差 notes： 1.决策树的特征重要性取决于特定数据，随机森林的特征重要性是决策树的均值 2.当我们在做数据预处理时，不能单看均值来判断某个特征对结果的影响，因为均值是整体的平均，正确的方式是看概率分布函数（或者概率密度函数，sns.kdeplot()） 阅读全文

摘要： 众所周知，决策树是一种树模型，可以用于分类和回归。这里总结一下自己认为重要的知识点： 前置概念： 熵：一种衡量不确定性的指标 条件熵：给定条件下的熵值 基尼不纯度：表示一个随机选中的样本在子集中被分错的可能性（被选中概率*被分错概率） 信息增益：熵-条件熵 （1）三大经典决策树： ID3：选择特征的 阅读全文

摘要： 1.训练集数据量大，测试集数据了小，容易在复赛过拟合 2.数据：个人信息 App的使用信息 个人消费记录 3.处理过程： 1）数据清洗 1.1 对缺失值的对维度处理 1.1.1 按列属性统计缺失值（可视化） 剔除缺失值比例高的属性（90%左右）； 缺失值比例在40%~60%（缺省型-1）； 确实在2 阅读全文

摘要： 一. 简单概括一下SVM： SVM 是一种二类分类模型。它的基本思想是在特征空间中寻找间隔最大的分离超平面使数据得到高效的二分类，具体来讲，有三种情况（不加核函数的话就是个线性模型，加了之后才会升级为一个非线性模型）： 当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机 阅读全文

摘要： fastText原理： 一般情况下，使用fastText进行文本分类的同时也会产生词的embedding，即embedding是fastText分类的产物（用于文本分类，同近义词挖掘）。 那么问题来了，fasttext和Word2vec有啥异同点呢？ fasttext：字符级别的n-gram Wor 阅读全文

摘要： 首先，Ernie是百度搞出来的预训练语言模型，目前分为Ernie1.0和Ernie2.0. 一. Ernie 1.0 Ernie和Bert有什么异同呢？ 1.Ernie：通过实体和短语mask能够学习语法和句法信息的语言模型 2.训练方法：与bert类似 3.训练数据集：Bert在中文数据集上只用到 阅读全文

摘要： 1.什么是Bert？ Bert用我自己的话就是：使用了transformer中encoder的两阶段两任务两版本的语言模型 没错，就是有好多2，每个2有什么意思呢？ 先大体说一下，两阶段是指预训练和微调阶段，两任务是指Mask Language和NSP任务，两个版本是指Google发布的Base版本 阅读全文

摘要： 一.ElMO 背景：Word2vec，glove和fasttext虽然能表示语义和语法信息，但是并不能够区分一词多义 网络建构： 两个单向的LSTM进行拼接，把每层拼接的中间结果之和作为输出 Q：为啥不用BI-LSTM？ 避免传播前后向未来要预测的信息 原理与损失函数： 前向模型： 后向模型： 目标 阅读全文

摘要： 核心思想： Self-Attention：能注意到输入序列的不同位置以计算该序列的表达能力，类似于textCNN中的卷积核 Encoder-Decoder 多层注意力机制（Scaled dot product attention，Multi-head attention） transformer整体 阅读全文

摘要： transformer： 背景： 1.RNN很难并行计算 2.后续很多预训练模型的基础：GPT，BERT，XLNET，T5，structBert等 3.Attention 2017 Google Q1：什么是Attention？ 本质是一系列权重的分配，赋予模型对于重要性的区分辨别能力 首先来复习一 阅读全文