红豆生南国 是很遥远的事情

摘要： 目录1. 概念2. BiLSTM + CRF 结构3. CRF建模的损失函数4. 全部路径的分数计算--前向算法的动态规划5. CRF的Viterbi解码 参考链接： https://paddlepedia.readthedocs.io/en/latest/tutorials/natural_lan 阅读全文

摘要： 目录1. 训练2. 推理3. 效果 1. 训练 import collections import numpy as np import tensorflow as tf # 数据预处理 # poetry_file = './data/poetry.txt' # 诗集 poetrys = [] wi 阅读全文

摘要： 目录1. 数据的获取2. 数据加载3. 制作数据集4. 制作训练集5. 模型定义6. 训练模型7. 可视化8. 结果 1. 数据的获取 # 导入一些需要的库 # 由于Python是由社区推动的开源并且免费的开发语言，不受商业公司控制，因此，Python的改进往往比较激进， # 不兼容的情况时有发生。 阅读全文

摘要： GPT 代码与论文 https://github.com/lyeoni/gpt-pytorch https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf Bert算法的论 阅读全文

摘要： 目录1. 最基本的单层网络2. N VS 13. 1 VS N4. N vs M5. Attention机制 参考链接：完全图解RNN、RNN变体、Seq2Seq、Attention机制 1. 最基本的单层网络 输入是x，经过变换Wx+b和激活函数f得到输出y。 经典的RNN结构（N vs N） 序 阅读全文

摘要： 目录1. sequence2sequence任务 特点2. 编码器与解码器3. Attention 注意力机制--太重要了！！4. 自注意力机制 参考：https://zhuanlan.zhihu.com/p/38816145 sequence2sequence模型发展到今天，根据不同任务有着不同的 阅读全文

摘要： 目录1. 复习Basic RNN2. LSTM 长短期记忆 网络结构3. RNN实现手写数字识别5. LSTM变形 强烈建议阅读：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Long range temporal depende 阅读全文

摘要： 目录1. 概述2. RNN的模型 参考：https://zhuanlan.zhihu.com/p/30844905 1. 概述 输出会反馈到输入的神经网络： 循环神经网络(Recurrent Neural Networks ，以下简称RNN)，它广泛的用于自然语言处理中的语音识别，手写书别以及机器翻 阅读全文

摘要： 目录1. 引入2. Hierarchical Softmax3. 负样本negtive sample训练 参考链接：https://www.cnblogs.com/pinard/p/7243513.html 1. 引入 铺垫基础知识 霍夫曼树， 霍夫曼树的建立过程如下： 输入：权值为 输出：对应的霍 阅读全文

摘要： 目录1.统计语言模型2. N-gram3. NPLM神经语言模型4. Word2Vec--基础中的基础5. CBOW 模型6. Skip-gram 进入新的领域 加油！ 1.统计语言模型 语言模型 本质就是让机器学会说话 但是机器本质上是只会1+1 统计语言模型是所有 NLP的基础，被广泛应用与语音 阅读全文