摘要： 卷积神经网络 二维卷积层 ⼆维卷积层将输⼊和卷积核做互相关运算，并加上⼀个标量偏差来得到输出。卷积层的模型参数包括了卷积核和标量偏差。在训练模型的时候，通常我们先对卷积核随机初始化，然后不断迭代卷积核和偏差。 二维互相关运算（cross correlation） 互相关运算和卷积运算 为了得到卷积运 阅读全文

摘要： 机器翻译及相关技术 翻译前准备 清洗（大小写转换 标点符号） 分词（每个单词分开，生成一一对应的列表） 建立词典（根据词频进行统计 单词对应唯一id） Encoder Decoder encoder将输入转化为隐藏状态，再由decoder将隐藏状态输出为翻译后语言。 sequence to sequ 阅读全文

摘要： 模型过拟合欠拟合 训练误差和泛化误差 训练误差 指模型在训练数据集上表现出的误差 泛化误差 指模型在任意⼀个测试数据样本上表现出的误差的期望 我们的注意力应集中于降低泛化误差，使模型具有更好的普适性。 模型选择 验证数据集 （validation set） 预留⼀部分在训练数据集和测试数据集以外的数 阅读全文

摘要： 语言模型 语⾔模型（language model）是⾃然语⾔处理的重要技术。⾃然语⾔处理中最常⻅的数据是⽂本数据。我们可以把⼀段⾃然语⾔⽂本看作⼀段离散的时间序列。假设⼀段⻓度为T的⽂本中的词依次为$w_1, w_2, \dots, w_T$，那么在离散的时间序列中，$w_t ( 1 \leqsla 阅读全文

摘要： 多层感知机在单层神经.络的基础上引入了一到多个隐藏层。 输入层 $\rightarrow$ 隐藏层 $\rightarrow$ 输出层 若三层或多层之间都为线性关系，则依然类似于单层神经网络。（上述问题的根源在于全连接层只是对数据做仿射变换（affine transformation）而多个仿射变换 阅读全文

摘要： softmax softmax 是单层神经网络 可以得到离散的输出结果 Softmax operator 可表达为：$\hat{y}_{1}, \hat{y}_{2}, \hat{y}_{3}=\operatorname{softmax}\left(o_{1}, o_{2}, o_{3}\right 阅读全文

摘要： 基本要素 举例通过房屋面积和房龄预测房屋价格。 模型 $$\mathrm{price} = w_{\mathrm{area}} \cdot \mathrm{area} + w_{\mathrm{age}} \cdot \mathrm{age} + b$$ 数据集 在机器学习术语里，数据集被称为训练数 阅读全文