1直在路上1

摘要： 一、seq2seq和encoder-decoder关系 seq2seq是从解决问题的目的角度来说的，利用的框架是encoder-decoder 二、项目例子 比如我们有两个文件letters_source.txt和letters_target.txt，他们行数一致，也就是我们的训练集合，他们每一行互 阅读全文

摘要： 一、WordPiece what：现在基本性能好一些的NLP模型，例如OpenAI GPT，google的BERT，在数据预处理的时候都会有WordPiece的过程。WordPiece字面理解是把word拆成piece一片一片，其实就是这个意思 why：比如"loved","loving","lov 阅读全文

摘要： 一、概念 指代作为一种常见的语言现象，广泛存在于自然语言的各种表达中（下面的他指的是张三还是小明呢？） 我们人眼一下子就能分辨出上面的他指代张三，但是计算机程序如何识别呢？-指代消解就是来做这个事情 中文的指代主要有以下三种典型的形式： 1．人称代词(Pronoun) 【李明】怕高妈妈一人呆在家里寂 阅读全文

摘要： 一、背景介绍 假设我们的训练集每个样本都有两个特征-$x_1, x_2$，也就是下面的$i_1, i_2$，每个样本的标签为$o_1, o_2$（假设标签是二分类，我们用one-hot表示标签） 我们要用下面的神经网络来进行训练： 二、前向传播与反向传播 现在对他们赋上初值，如下图：（你暂时可以认为 阅读全文

摘要： 一、目的 主要以实例讲解HMM，防止公式吓跑大家 HMM两个假设： 齐次马尔可夫性假设：当前状态只依赖上一个状态 观测独立性假设：当前观测只依赖当前状态 二、实例 假设生活中的天气只有三种状态：sun，cloud，rain，并且我们知道他们之间相互转换的概率，也就是说： 昨天是sun，今天天气转换成 阅读全文

摘要： 一、XGBoost起源 XGBoost的全称是ExtremeGradient Boosting，2014年2月诞生，作者为华盛顿大学研究机器学习的大牛——陈天奇。 他在研究中深深的体会到现有库的计算速度和精度问题，为此而着手搭建完成 xgboost 项目。 XGBoost问世后，因其优良的学习效果以 阅读全文

摘要： tf.layers.dense： import tensorflow as tf batch_size = 5 ones = tf.ones([batch_size,20]) logits = tf.layers.dense(ones,10) print(logits.get_shape()) im 阅读全文

摘要： 1）tf.contrib.layers.embed_sequence()函数 2）tf.strided_slice，tf.fill，tf.concat使用实例 3）tf.nn.embedding_lookup 4）tf.layers.dense 阅读全文

摘要： tf.nn.embedding_lookup import tensorflow as tf from distutils.version import LooseVersion import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' # Check T 阅读全文

摘要： tf.strided_slice，tf.fill，tf.concat使用实例 其中，我们需要对tensor data进行切片，tf.strided_slice使用方法请参考 import tensorflow as tf import os os.environ['TF_CPP_MIN_LOG_LE 阅读全文