摘要：
多层感知机 激活函数及其选择 1.relu（大于0梯度为1，小于等于0梯度为0） 2.sigmoid（可以将元素值变为0到1） 3.tanh（可以将元素值变为 1到1） 激活函数的选择 relu只能用于隐藏层 sigmoid，tanh存在数值过大或者过小梯度消失的问题，但sigmoid函数用于二分类 阅读全文
摘要：
softmax 使用softmax的原因 以概率占比得到预测标签 标签值为离散值，离散值与输出值之间的误差无法界定 softmax的实现（指数实现） 分类的时候以概率值最高的序号(argmax)作为y_hat 损失函数（交叉熵损失函数） 交叉熵应用于分类的解析： 假设有q类，标签label为离散值k 阅读全文
摘要：
模型微调 迁移学习（transfer learning） 定义：将从 源数据集 学到的知识迁移到 目标数据集 原因：在源数据集训练的模型可以抽取通用的特征（边缘，形状，纹理等） 迁移常用技术 微调（fine tuning） 1. 在源数据集上训练一个神经网络模型 2. 目标模型复制 除输出层 之外的 阅读全文