koocn

摘要： 梯度下降法与反向传播 梯度下降法1.损失函数可视化2.最优化3.梯度下降反向传播1.梯度与偏导2.链式法则3.直观理解4.Sigmoid例子 两个重要函数得分函数损失函数核心目标找到最合适的参数w.使得损失函数取值最小化。也就是最优化的过程 损失函数往往定义在非常高维的空间比如CIF 阅读全文

摘要： 这节课主要是讲了些基本的numpy，scipy和线性的分类器（图像上面，比如knn），还讲了下一些损失函数 一：numpy，scipy和线性的分类器（图像上面，比如knn）主要讲代码 注意;axis=0 表示列 axis=1表示行 numpy.random.rand(d0, d1, ..., dn) 阅读全文

摘要： 梯度方向：上升的方向 梯度下降：沿着梯度的反方向下降，来最小化损失函数，也就是沿着梯度的反方向 泰勒级数：展开式通项 贝叶斯公式：后验概率=先验概率*条件概率 特征值与特征向量：特征值不同，特征向量线性无关 PCA:降维的同时尽可能的保留原始的信息 过程 1)先求解协方差矩阵 2)求解协方差矩阵的特 阅读全文

摘要： 本文转自：http://www.hankcs.com/nlp/cs224n-tackling-the-limits-of-dl-for-nlp.html 最后一课，总结了目前这两个领域中的难题，介绍了一些前沿研究：快16倍的QRNN、自动设计神经网络的NAS等。 深度学习已经漂亮地完成了许多单项任务 阅读全文

摘要： 本文转自：http://www.hankcs.com/nlp/cs224n-nlp-issues-architectures.html/3 课程介绍了各种各样的深度学习网络与应用，是时候从更高层次思考自然语言处理存在的问题与展望未来了。虽然BiLSTM与attention几乎统治了NLP，但在篇章级 阅读全文

摘要： 本文转自：http://www.hankcs.com/nlp/cs224n-dmn-question-answering.html/2 最有意思的一课，将所有NLP任务视作QA问题。模仿人类粗读文章和问题，再带着问题反复阅读文章的行为，利用DMN这个通用框架漂亮地解决了从词性标注、情感分析到机器翻译 阅读全文

摘要： 本文转自：http://www.hankcs.com/nlp/cs224n-coreference-resolution.html 从规则启发式代词回指消解出发，介绍了传统特征工程二分类模型、启发式损失的分类模型，过渡到利用强化学习自动缩放损失的神经网络模型。 什么是指代消解 找出文本中名词短语所指 阅读全文

摘要： 本文转自：http://www.hankcs.com/nlp/cs224n-tree-recursive-neural-networks-and-constituency-parsing.html 介绍了著名的复合性原理，由此启发得到树形RNN，用于表示短语和句子级别的语义。从朴素树形RNN到SU- 阅读全文

摘要： 本文转自：http://www.hankcs.com/nlp/cs224n-convolutional-neural-networks.html 补充了NLP中相对冷门的CNN，谈了谈调参与发论文的潜规则。 从RNN到CNN RNN无法利用未来的特征预测当前单词，就算是bi-RNN，也不过是双向重蹈 阅读全文

摘要： 本文转自：http://www.hankcs.com/nlp/cs224n-end-to-end-asr.html 这次斯坦福请到了深度学习教父Hinton的弟子Navdeep来讲语音识别，他正在英伟达工作，怪不得N卡在深度学习中的地位如此之高。而他本人也在用Dell的搭载了N卡的XPS跑Ubunt 阅读全文