2020年2月15日
动手学pytorch-循环神经网络进阶
摘要： 循环神经网络进阶 "1.GRU" "2.LSTM" "3.Deep RNN" "4.Bidirection NN" 1.GRU RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 1.1数学表达式 $$ R_{t} = σ(X_tW_{x 阅读全文
posted @ 2020-02-15 12:22 hou永胜 阅读(298) 评论(0) 推荐(0)
动手学pytorch-影响模型效果的一些因素
摘要： 影响模型效果的一些因素 "1. 梯度消失和梯度爆炸" "2. 模型参数初始化" "3. 考虑到环境因素的其他问题" "4. 实例：Kaggle房价预测" 1.梯度消失和梯度爆炸 深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。 当神经网络的层数较多时，模型的 阅读全文
posted @ 2020-02-15 11:23 hou永胜 阅读(623) 评论(0) 推荐(0)
动手学pytorch-过拟合、欠拟合
摘要： 过拟合、欠拟合及其解决方案 "1. 过拟合、欠拟合的概念" "2. 权重衰减（通过l2正则化惩罚权重比较大的项)" "3. 丢弃法(drop out)" "4. 实验" 1.过拟合、欠拟合的概念 1.1训练误差和泛化误差 前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出 阅读全文
posted @ 2020-02-15 10:37 hou永胜 阅读(872) 评论(0) 推荐(0)
2020年2月13日
动手学pytorch-文本预处理
摘要： 文本预处理 预处理通常包括四个步骤： 1. 读入文本 2. 分词 3. 建立字典，将每个词映射到一个唯一的索引（index） 4. 将文本从词的序列转换为索引的序列，方便输入模型 读入文本 在此用一部英文小说，即H. G. Well的 "Time Machine" ，作为示例，展示文本预处理的具体过 阅读全文
posted @ 2020-02-13 17:59 hou永胜 阅读(811) 评论(0) 推荐(0)
动手学pytorch-循环神经网络基础
摘要： 循环神经网络的构造 假设$\boldsymbol{X}_t \in \mathbb{R}^{n \times d}$是时间步$t$的小批量输入，$\boldsymbol{H}_t \in \mathbb{R}^{n \times h}$是该时间步的隐藏变量，则： $$ \boldsymbol{H}_ 阅读全文
posted @ 2020-02-13 17:31 hou永胜 阅读(314) 评论(0) 推荐(0)
动手学pytorch-语言模型
摘要： 1.语言模型 假设序列$w_1, w_2, \ldots, w_T$中的每个词是依次生成的，我们有 $$ \begin{align } P(w_1, w_2, \ldots, w_T) &= \prod_{t=1}^T P(w_t \mid w_1, \ldots, w_{t 1})\\ &= P( 阅读全文
posted @ 2020-02-13 11:05 hou永胜 阅读(412) 评论(0) 推荐(0)
2020年2月12日
动手学pytorch-MLP
摘要： 1.激活函数 ReLU LeakyReLU Tanh ... "手册" 2.手写 3.使用pytorch简洁实现 阅读全文
posted @ 2020-02-12 19:30 hou永胜 阅读(805) 评论(0) 推荐(0)
动手学pytorch-softmax
摘要： 1.softmax $$ softmax(x_i) = \frac{ \exp(x_i)}{\sum_{j} \exp(x_j)} $$ 2.cross entropy $$ H\left(\boldsymbol y^{(i)}, \boldsymbol {\hat y}^{(i)}\right ) 阅读全文
posted @ 2020-02-12 15:00 hou永胜 阅读(298) 评论(0) 推荐(0)
2020年2月11日
动手学pytorch-线性回归
摘要： 1.模型 $$ \mathrm{Y} = \mathrm{WX} + b $$ 2.数据集 training set：已获得的，可用作模型训练的，带标签的数据集（对有监督模型来说） sample : 数据集中的一个样本 label : 标签 feature: 决定标签的特征 3.损失函数 $$ l^ 阅读全文
posted @ 2020-02-11 16:19 hou永胜 阅读(167) 评论(0) 推荐(0)
2019年10月30日
Passé composé et imparfait
摘要： Passé composé et imparfait(复合过去式和未完成过去式) 1.Le passé composé 1.1 形式： 助动词（avoir,être）+ 过去分词 1.2规则 规则I. 所有及物动词以及大部分不及物动词均由avoir做助动词 avoir eu, être été, p 阅读全文
posted @ 2019-10-30 21:33 hou永胜 阅读(555) 评论(0) 推荐(0)