摘要： 对比学习的一个关键思想： 如何构建对比的数据对，更细致的如何构建正样本和负样本，更好的正样本和负样本能够帮助模型更好的理解数据。 一、CIEAR 预训练模型主要解决的是token级别的特征抽取，很少做句子级别的特征抽取。BERT仅仅在词嵌入的表现优秀，但是在句子级别的建模任务表现不一定会有多优秀。本 阅读全文

摘要： 一、数据并行（DP ） 1、概念：相同的模型分布在不同的GPU上，在不同的GPU上使用不同的数据。每一张GPU上有相同的参数，在训练的时候每一个GPU训练不同的数据，相当于增大了训练时候的batch_size。 数据并行基于一个假设：所有节点都可以放下整个模型。这个假设在某些模型上（如GPT3）是不 阅读全文

摘要： 一、简单理解 判别式模型出现早于生成式模型。 判别式模型其实并没有学习到数据的内容，只是单纯的记住了数据特征来做分类和判断。就像做模拟题，考试时遇到和模拟题一样的题会做，不一样的不会做。 而生成式模型能够学习数据的内容，对样本进行理解。就像真的学会了知识，考试时遇到的题都会做。 二、生成式模型 Ge 阅读全文

摘要： 一、SGD（梯度下降） 在多变函数中，梯度是一个方向，梯度的方向指出了函数在给定点上升最快的方向，或者说指引了函数值增大的方向，因此我们只要考虑往梯度的反方向走，就至少能走到极小值，可能能走到全局最小值。 二、SGD with momentum（动量法：梯度累加） 动量累加：震荡方向的梯度相互抵消， 阅读全文

摘要： 1、迁移学习（Transfer Learning） 直观理解：站在巨人的肩膀上学习。根据已有经验来解决相似任务，类似于你用骑自行车的经验来学习骑摩托车。 专业理解：将训练好的内容应用到新的任务上，即将源域（被迁移对象）应用到目标域（被赋予经验的领域）。 迁移学习不是具体的模型，更类似于解题思路。 当 阅读全文

摘要： 一、分布式词表示（直接使用低维、稠密、连续的向量表示词）（静态的表示） 1、Word2Vec 训练方法：用中心词预测周围词。 局限性：Word2Vec产生的词向量只有每个单词独立的信息，而没有上下文的信息。 2、Glove Global Vector for Word Representation 阅读全文

摘要： 1、线性回归算法 1.1算法概述 回归就是用一条曲线对数据点进行拟合，该曲线成为最佳拟合曲线，这个拟合过程称为回归。当该曲线为一条直线时，就是线性回归。 线性回归一般用来做连续值的预测，预测的结果是一个连续值。 在训练学习样本时，需要特征向量X和样本的实际结果Y，所以线性回归属于监督学习里的回归模型 阅读全文

摘要： 1、按照学习方式划分 1.1 监督学习：输入数据称为“训练数据”，每组训练数据有一个明确的标识或结果。在建立模型的时候，监督学习建立一个学习过程，将预测结果与“训练数据”的实际结果进行比较，不断调整预测模型，直到模型的预测结果达到一个预期的标准。 1.2 无监督学习：数据并没有被特别标识，学习模型是 阅读全文

摘要： 1.内核： ipython(更高级的python解释器，原生的python解释器是>>>开头的，而ipython是In[x]:、Out[x]:开头的。ipython具有相当强大的代码自动补全命令技术的功能，jupyter notebook和句spyder都是以ipython为内核的） 2.安装 pi 阅读全文

摘要： 1.标题 #这是一号标题 （快捷键：Ctrl+1） ##这是二号标题 ..... **xx**加粗、*xx*斜体 2.连接和图片（不是存储图片本身，而是存储连接，所以生成的文件是非常小的，便于存储转发） 连接： [ ]() [显示的文字](连接） 图片： ![ ]() 注：关于本地图片直接引入外网是 阅读全文