随笔分类 - 机器学习
摘要：一、逻辑回归基本概念 1. 什么是逻辑回归 逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。 Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，
阅读全文
摘要：一、FastText简介 FastText是一个快速文本分类算法，与基于神经网络的分类算法相比有以下优点： 1、FastText在保持高精度的情况下加快了训练速度和测试速度 2、FastText不需要预训练好的词向量，FastText会自己训练词向量 3、FastText两个重要的优化：Hierar
阅读全文
摘要：给定N个集合，从中找到相似的集合对，如何实现呢？直观的方法是比较任意两个集合。那么可以十分精确的找到每一对相似的集合，但是时间复杂度是O(n2)。此外，假如，N个集合中只有少数几对集合相似，绝大多数集合都不相似，该方法在两两比较过程中“浪费了计算时间”。所以，如果能找到一种算法，将大体上相似的集合聚
阅读全文
摘要：一、GRU算法 GRU（Gate Recurrent Unit，循环门单元）是循环神经网络（Recurrent Neural Network, RNN）的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。 在LSTM中引入了
阅读全文
摘要：Dice距离用于度量两个集合的相似性，因为可以把字符串理解为一种集合，因此Dice距离也会用于度量字符串的相似性。此外，Dice系数的一个非常著名的使用即实验性能评测的F1值。Dice系数定义如下： Dice 系数可以计算两个字符串的相似度： $Dice(s1,s2)=\frac{2*comm(s1
阅读全文
摘要：一、Seq2Seq简介 seq2seq 是一个Encoder–Decoder 结构的网络，它的输入是一个序列，输出也是一个序列。Encoder 中将一个可变长度的信号序列变为固定长度的向量表达，Decoder 将这个固定长度的向量变成可变长度的目标的信号序列。 很多自然语言处理任务，比如聊天机器人，
阅读全文
摘要：1.0 什么是注意力机制？ 注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。例如人的视觉在处理一张图片时，会通过快速扫描全局图像，获得需要重点关注的目标区域，也就是注意力焦点。然后对这一区域投入更多的注意力资源，以获得更多所需要关注的目标的细
阅读全文
摘要：目录 Transformer 1. 前言 2. Transformer详解3. 总结 2.1 Transformer整体结构 2.2 输入编码 2.3 Self-Attention 2.4 Multi-Head Attention 2.5 位置编码 2.6 残差结构 2.7 解码器结构 2.8 Th
阅读全文
摘要：BERT 模型是 Google 在 2018 年提出的一种 NLP 模型，成为最近几年 NLP 领域最具有突破性的一项技术。在 11 个 NLP 领域的任务上都刷新了以往的记录，例如GLUE，SquAD1.1，MultiNLI 等。 1. 前言 Google 在论文《BERT: Pre-traini
阅读全文
摘要：交叉熵 熵/信息熵 假设一个发送者想传输一个随机变量的值给接收者。这个过程中，他们传输的平均信息量为： 叫随机变量的熵，其中 把熵扩展到连续变量的概率分布,则熵变为 被称为微分熵。 在离散分布下，最大熵对应于变量的所有可能状态的均匀分布。 最大化微分熵的分布是高斯分布 相对熵/KL散度 考虑某个未知
阅读全文
摘要：让我们试着去理解最广泛使用的损失函数-交叉熵。 交叉熵（也称为对数损失）是分类问题中最常用的损失函数之一。但是，由于当今庞大的库和框架的存在以及它们的易用性，我们中的大多数人常常在不了解熵的核心概念的情况下着手解决问题。所以，在这篇文章中，让我们看看熵背后的基本概念，把它与交叉熵和KL散度联系起来。
阅读全文
摘要：最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量
阅读全文
摘要：在机器学习中建模的时候，往往面临两个困难，一是选择哪个模型，二是怎样处理数据。处于数据包括数据获取、数据清洗和数据分析。其实对于不同的场景和不同的数据，选择的模型也是不一样的，本文简单聊一聊在数据缺失的时候该怎样选择合适的模型。 一、缺失数据处理及建模方法 数据缺失时，处理数据的方式有如下三种： (
阅读全文
摘要：1. 样本量极少可以训练机器学习模型吗？ 在训练样本极少的情况下（几百个、几十个甚至几个样本），现有的机器学习和深度学习模型普遍无法取得良好的样本外表现，用小样本训练的模型很容易陷入对小样本的过拟合以及对目标任务的欠拟合。但基于小样本的模型训练又在工业界有着广泛的需求（单用户人脸和声纹识别、药物研发
阅读全文
摘要：0 引言 在自然语言处理任务中，我们经常需要判断两篇文档是否相似、计算两篇文档的相似程度。比如，基于聚类算法发现微博热点话题时，我们需要度量各篇文本的内容相似度，然后让内容足够相似的微博聚成一个簇；在问答系统中，我们会准备一些经典问题和对应的答案，当用户的问题和经典问题很相似时，系统直接返回准备好的
阅读全文
摘要：“团结就是力量”这句老话很好地表达了机器学习领域中强大「集成方法」的基本思想。总的来说，许多机器学习竞赛（包括 Kaggle）中最优秀的解决方案所采用的集成方法都建立在一个这样的假设上：将多个模型组合在一起通常可以产生更强大的模型。 一、集成方法 集成（Ensemble）方法就是针对同一任务，将多个
阅读全文
摘要：HMM模型将标注看作马尔可夫链，一阶马尔可夫链式针对相邻标注的关系进行建模，其中每个标记对应一个概率函数。HMM是一种生成模型，定义了联合概率分布，其中x和y分别表示观察序列和相对应的标注序列的随机变量。为了能够定义这种联合概率分布，生成模型需要枚举出所有可能的观察序列，这在实际运算过程中很困难，因
阅读全文
摘要：隐马尔可夫模型（Hidden Markov Model，HMM）是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。HMM在语音识别、自然语言处理、生物信息、模式识别等领域都有着广泛的应用。 一、 HMM模型的定义 HMM模型是关于时序的概率模型，描述由一个隐
阅读全文
摘要：一、SVM和LR的相同点 1、LR和SVM都是分类算法 看到这里很多人就不会认同了，因为在很大一部分人眼里，LR是回归算法。我是非常不赞同这一点的，因为我认为判断一个算法是分类还是回归算法的唯一标准就是样本label的类型，如果label是离散的，就是分类算法，如果label是连续的，就是回归算法。
阅读全文
摘要：SVM简介 支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题
阅读全文
浙公网安备 33010602011771号