kalice

摘要： 编码器解码器架构 编码器-解码器架构就是构造一个编码器，通过编码器来获得解码器的初始state。这个在架构在很多情况下都可以使用，比如在Seq2Seq算法里。比如在机器翻译领域，通过编码器把要翻译的句子编码为一个初始状态，然后用解码器对这个状态进行解码，解码得到需要的翻译句子。 class Enco 阅读全文

摘要： 这里就不手动实现了，因为其实大同小异，把代码看懂了，下次要用的时候直接抄就行了。 vocab class Vocab: def __init__(self, tokens=None, min_freq=0, reserved_tokens=None): counter = count_corpus( 阅读全文

摘要： import torch import torch.nn as nn import torch.nn.functional as F import math class LSTM(nn.Module): def __init__(self, indim, hidim, outdim): super( 阅读全文

摘要： GRU说白了就是加了两个门，这两个门控制最终隐藏状态的输出，其中还是那一套换汤不换药。 R是重置门，决定上一个时间步$h_{t-1}$是否要被重置，如果R元素全为0，很显然我们就丢掉了上一个时间步的h信息。 S是更新门，决定了这个时刻的候选隐藏状态$h_{t}^{\prime}$应该怎么输出。 注意 阅读全文

摘要： 导入数据并设定随机数种子 import torch import torch.nn as nn import numpy as np import random import pandas as pd import matplotlib.pyplot as plt from d2l import t 阅读全文

摘要： 导入数据 import torch import torch.nn as nn from torch.utils import data import torchvision from torchvision import transforms import numpy as np import p 阅读全文

摘要： 为什么softmax 里面要用交叉熵？这个问题之前困扰我挺久的，但这两篇博文完美解答了我的疑惑。 交叉熵、相对熵和负对数似然的理解 - 最大的梦想家的文章 - 知乎 https://zhuanlan.zhihu.com/p/268171298 Kullback-Leibler(KL)散度介绍 - 灰 阅读全文

摘要： 权重衰减 使用均方范数作为硬性限制 但我们最小化 loss 的时候，需要限制权重 w 的大小，越小的$\theta$ 意味着更强的正则项。 但实际上，我们不会这么做的，我们只是在做损失函数时候，加入了 \(\parallel w \parallel ^2\) ，就像下面做的那样。 其中$\lambd 阅读全文

摘要： 导入数据 train_content = pd.read_csv("./house_prices/data/train.csv") test_content = pd.read_csv("./house_prices/data/test.csv") train_content.head() 特征工程 阅读全文

摘要： 读取数据 用 pd.read_csv 来读取csv数据，目前对我来说已经够用了，用 index_col 指定索引。 DataFrame 构建 可以直接从 csv 读取数据，也可以用 Series 来构建， 或者用 dict 来构建， 这个自由度还是很大的。 DateFrame 操作 以titanic 阅读全文