marsggbo

摘要： I. 背景介绍 1. 学习曲线(Learning Curve) 我们都知道在手工调试模型的参数的时候，我们并不会每次都等到模型迭代完后再修改超参数，而是待模型训练了一定的epoch次数后，通过观察 学习曲线(learning curve, lc) 来判断是否有必要继续训练下去。那什么是学习曲线呢？主 阅读全文

摘要： 老是容易把先验概率,后验概率,似然概率混淆，所以下面记录下来以备日后查阅。区分他们最基本的方法就是看定义，定义取自维基百科和百度百科: 先验概率 百度百科定义：先验概率（prior probability）是指根据以往经验和分析得到的概率，如全概率公式，它往往作为"由因求果"问题中的"因"出现的概率 阅读全文

摘要： I. Scan应用——Compact 在介绍这节之前，首先给定一个情景方便理解，就是因为某种原因我们需要从扑克牌中选出方块的牌。 更formal一点的说法如下，输入是 $s_0,s_1,...$, 我们提前预设条件来得到 Predicate ，即每个元素都会根据条件输出 True 或 False 。 阅读全文

摘要： 双调排序是data independent的排序， 即比较顺序与数据无关的排序方法， 特别适合做并行计算，例如用GPU、fpga来计算。 1、双调序列 在了解双调排序算法之前，我们先来看看什么是双调序列。 双调序列是一个先单调递增后单调递减（或者先单调递减后单调递增）的序列。 2、Batcher定理 阅读全文

摘要： I. 复习word2vec的核心思路 1. Skip gram 模型示意图： 2.word vectors的随机梯度 假设语料库中有这样一行句子： I love deep learning and NLP 中心词为 deep ，那么在计算梯度的时候则可以得到如下的梯度向量。 可以很明显地看到该向量非 阅读全文

摘要： 任何采样算法都应该保证频次越高的样本越容易被采样出来。基本的思路是对于长度为1的线段，根据词语的词频将其公平地分配给每个词语： counter就是w的词频。 于是我们将该线段公平地分配了： 接下来我们只要生成一个0 1之间的随机数，看看落到哪个区间，就能采样到该区间对应的单词了，很公平。 但怎么根据 阅读全文

摘要： "【NLP CS224N笔记】Lecture 1 Introduction of NLP" "【NLP CS224N笔记】Lecture 2 Word Vector Representations: word2vec" 阅读全文

摘要： I. Word meaning Meaning 的定义有很多种，其中有： the idea that is represented by a word,phrase,etc. the idea that a person wants to express by using words, signs, 阅读全文

摘要： I. 什么是NLP NLP全称是 Natural Language Processing ，即 自然语言处理 ，这是一门计算机科学、人工智能以及语言学的交叉学科。 NLP涉及的几个层次由下图所示。可以看到输入数据有两大类，分别是语音和文字。在接收到数据之后还需要做一系列的处理。 首先是speech数 阅读全文

摘要： I. 仿射凸集(Affine and convex sets) 1. 线与线段 假设$R^n$空间内两点$x_1,x_2\, (x_1≠x_2)$,那么$y=\theta x_1+(1 \theta)x_2, \theta∈R$表示从x1到x2的线。而当$0≤\theta≤1$时，表示x1到x2的线 阅读全文