摘要:本文转自:http://www.hankcs.com/nlp/cs224n-tackling-the-limits-of-dl-for-nlp.html 最后一课,总结了目前这两个领域中的难题,介绍了一些前沿研究:快16倍的QRNN、自动设计神经网络的NAS等。 深度学习已经漂亮地完成了许多单项任务
阅读全文
摘要:本文转自:http://www.hankcs.com/nlp/cs224n-nlp-issues-architectures.html/3 课程介绍了各种各样的深度学习网络与应用,是时候从更高层次思考自然语言处理存在的问题与展望未来了。虽然BiLSTM与attention几乎统治了NLP,但在篇章级
阅读全文
摘要:本文转自:http://www.hankcs.com/nlp/cs224n-dmn-question-answering.html/2 最有意思的一课,将所有NLP任务视作QA问题。模仿人类粗读文章和问题,再带着问题反复阅读文章的行为,利用DMN这个通用框架漂亮地解决了从词性标注、情感分析到机器翻译
阅读全文
摘要:本文转自:http://www.hankcs.com/nlp/cs224n-coreference-resolution.html 从规则启发式代词回指消解出发,介绍了传统特征工程二分类模型、启发式损失的分类模型,过渡到利用强化学习自动缩放损失的神经网络模型。 什么是指代消解 找出文本中名词短语所指
阅读全文
摘要:本文转自:http://www.hankcs.com/nlp/cs224n-tree-recursive-neural-networks-and-constituency-parsing.html 介绍了著名的复合性原理,由此启发得到树形RNN,用于表示短语和句子级别的语义。从朴素树形RNN到SU-
阅读全文
摘要:本文转自:http://www.hankcs.com/nlp/cs224n-convolutional-neural-networks.html 补充了NLP中相对冷门的CNN,谈了谈调参与发论文的潜规则。 从RNN到CNN RNN无法利用未来的特征预测当前单词,就算是bi-RNN,也不过是双向重蹈
阅读全文
摘要:本文转自:http://www.hankcs.com/nlp/cs224n-end-to-end-asr.html 这次斯坦福请到了深度学习教父Hinton的弟子Navdeep来讲语音识别,他正在英伟达工作,怪不得N卡在深度学习中的地位如此之高。而他本人也在用Dell的搭载了N卡的XPS跑Ubunt
阅读全文
摘要:本文转自:http://www.hankcs.com/nlp/cs224n-gru-nmt.html 从动机层面直观地充实了GRU和LSTM的理解,介绍了MT的评测方法,讨论了NMT中棘手的大词表问题和一些常见与最新的解决办法。 深入LSTM 宏观上的LSTM Cell: 将所有操作都gate起来,
阅读全文
摘要:本文转自:http://www.hankcs.com/nlp/cs224n-9-nmt-models-with-attention.html 90年代出现了一种类似RNN的更复杂的框架:
阅读全文
摘要:本文转自:http://www.hankcs.com/nlp/cs224n-mt-lstm-gru.html 其中,带黑点的表示离散的向量表示,否则表示连续的向量空间。 3、使用深度RNN LSTM单元结构如下: 那时候的NN模型还是仅限于重新排序传统MT模型产生的结果,而最新的研究就是完全甩开了M
阅读全文
摘要:本文转自:http://www.hankcs.com/nlp/cs224n-rnn-and-language-models.html 实现这个任务的朴素网络结构就是一个裸的RNN: 但是这个网络无法利用当前词语的下文辅助分类决策,解决方法是使用一些更复杂的RNN变种。 Bidirectional R
阅读全文
摘要:本文转自:http://www.hankcs.com/nlp/cs224n-tensorflow.html 这节课由TA们介绍了TF里的几个基本概念(graph、variable、placeholder、session、fetch、feed),基本流程。然后现场敲代码演示如何在TF上跑线性回归和训练
阅读全文
摘要:本文转自:http://www.hankcs.com/nlp/cs224n-dependency-parsing.html 句法分析还算熟悉,就跟着复习了神经网络句法分析的动机与手法,了解一下比较前沿的动向
阅读全文
摘要:本文转自:http://www.hankcs.com/nlp/cs224n-backpropagation-and-project-advice.html 最后一次数学课,其实都是些很基础的推导而已。从四个不同的层面讲解反向传播,其中电路和有向图类比还是很直观新颖的解释。
阅读全文
摘要:本文转自:http://www.hankcs.com/nlp/cs224n-word-window-classification-and-neural-networks.html 这节课介绍了根据上下文预测单词分类的问题,与常见神经网络课程套路不同,以间隔最大化为目标函数,推导了对权值矩阵和词向量的
阅读全文
摘要:本文转自:http://www.hankcs.com/nlp/cs224n-advanced-word-vector-representations.html 这节课从传统的基于计数的全局方法出发,过渡到结合两者优势的GloVe,并介绍了词向量的调参与评测方法。 复习:word2vec的主要思路 遍
阅读全文
摘要:本文转自:http://www.hankcs.com/nlp/word-vector-representations-word2vec.html 如何表示一个词语的意思 先来看看如何定义“意思”的意思,英文中meaning代表人或文字想要表达的idea。这是个递归的定义,估计查询idea词典会用me
阅读全文
摘要:原文转载:http://www.hankcs.com/nlp/cs224n-introduction-to-nlp-and-deep-learning.html 什么是自然语言处理 这是一门计算机科学、人工智能以及语言学的交叉学科。虽然语言只是人工智能的一部分(人工智能还包括计算机视觉等),但它是非
阅读全文
摘要:斯坦福大学CS224n(全称:深度学习与自然语言处理)是自然语言处理领域很受欢迎的课程,由 Chris Manning 和 Richard Socher 主讲 自然语言处理是理解复杂人类语言交际的关键人工智能技术。本系列讲座全面介绍了应用于NLP的前沿研究,这种方法最近在许多不同的NLP任务中获得了
阅读全文