最爱丁珰

摘要： 目录Word2Vec的直观理解如果采用直接计数的方法呢评估词向量的方法中间任务与实际任务1. 什么是中间任务？2. 为什么能直接分析词向量？内在评估1. 内在评估（Intrinsic Evaluation）外在评估2. 外在评估（Extrinsic Evaluation） Word2Vec的直观理解 阅读全文

摘要： 首先来明确一下前端和后端。前端就是指网页什么的，我们打开一个网页或者APIfox都是在模拟前端；后端就是我们写在Pycharm里面的代码，任务只有一个，就是接收前端的请求然后进行处理，再返回一个响应 下面这一段代码直接沾到Pycharm里面去运行的话是不能运行成功的，这是因为我们不知道执行什么，应该 阅读全文

摘要： 在词类比任务中，为什么用\(\text{vec}(c)+\text{vec}(b)-\text{vec}(a)\)来进行近似呢？以man,woman,son,daughter为例.\(\text{vec}(\text{son})-\text{vec}(\text{man})\)后，就在son中去除了 阅读全文

摘要： 对于文字的意义，语言学家有很多种定义。其中一种定义运用在自然语言处理中非常有用，这种意义的定义见下 分布式语义就是看上下文词来决定单词的意义。于是我们可以利用词向量来衡量两个词之间的相似程度，词的意义被分散在词向量的每一维中 词嵌入之所以叫词嵌入，是因为我们给每个单词分配一个向量的做法就是将每个单词 阅读全文

摘要： 我们来想一下另一种方法的缺点： 一个简单的分类器如下 简单来说就是求出各个单词的\(e\)之后将他们加起来并平均然后传入\(\text{Softmax}\)层 这个算法有一个缺点就是忽略了单词的顺序，比如下面 这句话是一个很显然的负面评论，但是由于出现了很多次good，可能分类器会认为他是正面评论 阅读全文

摘要： 在层序softmax中，不是只有叶子节点才代表一个词元吗？那么为什么计算条件概率的时候要去看非叶子节点？非叶子节点代表什么？为什么非叶子节点有词向量？对此，deepseek的解释如下 在层序Softmax（Hierarchical Softmax）中，非叶子节点虽然不直接代表词元，但它们通过构建二叉 阅读全文

摘要： 现在考虑BERT的输入。一般来说NLP里面的输入都是成对的，比如机器翻译，有一个源句子还有一个目标句子。那么这里如何让输入是两个句子呢？我们只用拼接起来就好了，如下 <cls>表示classification，sep表示句子分隔符（separation）；Segment Embeddings就是用来 阅读全文

摘要： BERT的任务是构建一个通用的模型，那么在NLP里面，语言模型（看一些词，预测下一个词）显然是最通用的，所以我们将BERT训练成一个语言模型，即带掩码的语言模型。但是Transformer是双向的，而语言模型是单向的，这显然就不能直接训练，于是这就是我们带掩码的原因。<mask>就是我们要填写的词， 阅读全文

摘要： 在我们已经训练好BERT后，BERT就可以对输入的每一个词元返回抽取了上下文信息的特征向量（也就是对于任意一个词元，将这个词元当做查询，所有词元当做键值对） 一些任务如下 这里将<cls>的特征向量传递给全连接层的原因就是因为<cls>本来就是用来分类的，所以肯定传这个。当然也可以传其他的，反正我们 阅读全文

摘要： 想想吴恩达讲的CV里面，复用其他网络的结构，只在最后一层加入一个全连接层，对这个全连接层进行微调，也就是如下过程 那么CV里面可以这么用，NLP里面当然也可以这么用，如下 我们只需要调整这个新增加的简单输出层即可 BERT说白了，就是只有编码器的Transformer 他有两个版本，见下 block 阅读全文