NLP - 随笔分类 - ChevisZhang

摘要：https://kexue.fm/archives/5542 阅读全文

posted @ 2021-01-12 19:04 ChevisZhang 阅读(47) 评论(0) 推荐(0)

embedding size与vocabulary size之间的关系： e = v**0.25

摘要：https://stackoverflow.com/questions/50747947/embedding-in-pytorch 阅读全文

posted @ 2021-01-09 15:49 ChevisZhang 阅读(464) 评论(0) 推荐(0)

摘要：见页面底部图1.2 inverted-index由两部分组成，一部分是单词dictionary 存在memory，一部分是posting list 存在disk https://nlp.stanford.edu/IR-book/html/htmledition/an-example-informat 阅读全文

posted @ 2020-10-27 18:24 ChevisZhang 阅读(178) 评论(0) 推荐(0)

COMP6714 week2a skipTo()

摘要：http://www.cse.unsw.edu.au/~cs6714/20t3/index.html 用放缩将log累乘变成Log累加阅读全文

posted @ 2020-10-04 18:12 ChevisZhang 阅读(176) 评论(0) 推荐(0)

batch normalization / layer normalization

摘要：BN： 1.在神经网络中，防止梯度爆炸梯度消失，使用了batch normalization 2. 该方法是对一个batch的vectors的每一维度，比如100个输入向量的第1维，进行方差，均值的计算，然后 x = x-均值/方差的操作 LN： 1. 在Tranformer中，对每一次的mult 阅读全文

posted @ 2020-09-29 18:56 ChevisZhang 阅读(148) 评论(0) 推荐(0)

self-attention Transformer

摘要：1. 首先我们的目标函数是最大似然估计，需要计算的是P（Y|X），即为给定vector x 的情况下，输出vector为Y的概率 1）根据下图公式，我们可以看出，例如输入为 'we'，输出为汉字的情况下，我们需要穷举计算所有汉字计算分母，是不可能的 2）所以将其优化为RNN的概率连乘 2. 最简阅读全文

posted @ 2020-09-29 16:18 ChevisZhang 阅读(168) 评论(0) 推荐(0)

COMP9418 week2 D-SEPARATION

摘要：https://www.cnblogs.com/JustNo/p/12186632.html d-separation 也太难了 - - 例子看不懂三种阻塞的情况里：前两种是Z观测，则X,Y关于Z条件独立，否则不独立第三种是Z不观测，条件独立，否则不独立阅读全文

posted @ 2020-09-25 13:17 ChevisZhang 阅读(156) 评论(0) 推荐(0)

attention

摘要：https://www.bilibili.com/video/BV1kE411G7qo?p=13 1. I 将index转化为词向量 G 更新向量中的信息 O ouput向量 R 将向量转化为词/句子 Memory Network 流程： 1. 我们有一些facts 向量John... Bob.. 阅读全文

posted @ 2020-09-14 16:37 ChevisZhang 阅读(163) 评论(0) 推荐(0)

9.5 NLP slide: 第二课预处理 T42-T46 One-hot/tf-idf T46-T56 分词 T46-42

摘要：预处理 1. 去停用词，低频词 2. Normalization：将不同时态的英文单词映射到同一个英文单词上 stemming / Lemazater stemming : 可能将 flies -> fli 生成无效单词 Lemmazater：保证生成有效单词使用 knowledge base 阅读全文

posted @ 2020-09-06 22:45 ChevisZhang 阅读(153) 评论(0) 推荐(0)

9.5 NLP slide: 第二课语言模型

摘要：1. Language Model: 预测一个句子或短语出现的概率句子出现概率　-> 单词的联合概率 -> 条件很长的条件概率通过马尔可夫假设缩短条件 - > 某单词出现概率只与该单词前n个单词出现概率有关 -> Uni-gram Bi-gram Tri-Gram model PPT T8 用来阅读全文

posted @ 2020-09-05 18:47 ChevisZhang 阅读(201) 评论(0) 推荐(0)

NLP 第七课词性标注问题概率图模型

摘要：https://www.bilibili.com/video/BV1kE411G7qo?p=7&t=64 Lesson 7: Topic Model 小文本可以用 graphic model 1. 图模型 2. 1） NB：每个xi之间都是相互独立，但是都与给定条件c有关 2）右图中正方形框代表阅读全文

posted @ 2020-08-29 17:41 ChevisZhang 阅读(288) 评论(0) 推荐(0)

NLP-06 语言技术词性 / POS Tagging 概率图模型

摘要：https://www.bilibili.com/video/BV1kE411G7qo?p=6 1. 词性标签 Wind v/n protest v/n 1）人为将词性（及物动词，不及物动词，名词复数，连词，标点）标注好后，进行语料库训练同词有不同的词性，意义例如 file ：文件夹；搓子 2 阅读全文

posted @ 2020-08-28 18:10 ChevisZhang 阅读(524) 评论(0) 推荐(0)

CBOW,SKIP-GRAM

摘要：https://www.zhihu.com/question/44832436/answer/266068967 阅读全文

posted @ 2020-08-28 11:53 ChevisZhang 阅读(119) 评论(0) 推荐(0)

nlp 第五节课语言技术-词表达 word2Vec

摘要：https://www.bilibili.com/video/BV1kE411G7qo?p=5 1. Word Representation: one-hot vector : 1）稀疏 2) 每一个词向量之间都是垂直，没法算相似度 2. Semantic Similarity 语义 similar 阅读全文

posted @ 2020-08-28 00:00 ChevisZhang 阅读(211) 评论(0) 推荐(0)

第四章语言模型与中文分词

摘要：1. 马尔可夫 Markov chain / hidden Markov model Markov Property: 现在的状态只与前一时刻有关 2. Tri-Gram Model 1) 上一讲的 Bag-of-Words 属于 Uni-Gram ：代表每一个词之间没有关联关系 2）Bi-Gra 阅读全文

posted @ 2020-08-27 14:32 ChevisZhang 阅读(368) 评论(0) 推荐(0)

3.NLP

摘要：1. Evolution of Language: 1) 不规则过去式随着使用频率的降低在消亡 2）四字成语，新的语言（吃鸡）等对NLP有巨大挑战 2. Calude Shannon： 1）企业发明通信原理 3. 熵：信息量增大的函数 1）. H(x) >= 0 一件事件x的信息量是大于等于0的阅读全文

posted @ 2020-08-26 17:11 ChevisZhang 阅读(187) 评论(0) 推荐(0)

自然语言处理算法精讲P3

摘要：3.1跳过 3.2跳过 3.3语言与智能：信息熵 1)Claude Shannon: 更多研究从高校转移到企业 2) information Entropy： 3）熵 a) 熵是一个信息增量函数 H（x） >=0 b) 发生概率越低的事件，信息量越大; H（x）与P（x）成反比 c) H(x1，x 阅读全文

posted @ 2020-08-09 15:04 ChevisZhang 阅读(200) 评论(0) 推荐(0)

自然语言处理算法精讲 P1

摘要：1.3 NLP六个重要术语 Syntax: 词性分类 Morphology: 时态（现在时，过去时，第三人称） Semantics：词意 1.4 语言学的发展史1 罗素悖论：自己索引自己时，发生的悖论例：存在两种书，A种书索引自己，B种书不索引自己现要写一本大全C汇总A,B，索引自己和不索引阅读全文

posted @ 2020-08-05 11:09 ChevisZhang 阅读(144) 评论(0) 推荐(0)

ChevisZhang

随笔分类 - NLP

公告