摘要：
以下内容主要用于完善上节六步法搭建神经网络的功能， import train, test <数据增强> model = tf.keras.models.Sequential model.compile model.fit <断点续训> model.summary <参数提取，acc/loss 可视化 阅读全文
摘要：
tf.keras 是 TensorFlow2 引入的高度封装框架，可以快速搭建神经网络模型。下面介绍一些常用API，更多内容可以参考官方文档：tensorflow 1 tf.keras 搭建神经网络六步法 import train, test model = tf.keras.models.Sequ 阅读全文
摘要：
向量的 1-范数、2-范数、无穷范数、p-范数； 矩阵的 1-范数、2-范数、无穷范数、L0范数、L1范数、L2范数、L21范数、核范数 1 向量范数 例：向量 X = [2，3，-5，-7 ] 1.1 向量的1-范数 向量各个元素的绝对值之和： 例：‖X‖1 = 2+3+5+7 = 17 matl 阅读全文
摘要：
训练集 (Training set) 用来训练分类器中的参数，拟合模型。会使用超参数的不同取值，拟合出多个分类器，后续再结合验证集调整模型的超参数。 验证集 (Validation set) 当通过训练集训练出多个模型后，为了能找出效果最佳的模型，使用各个模型对验证集数据进行预测，并记录模型准确率。 阅读全文
摘要：
这三个概念是基于梯度下降法而言的。 1 batch_size batch_size 就是批量大小，即一次训练中所使用的样本个数。 batch_size 的选择是为了在内存效率和内存容量之间寻找最佳平衡，将影响到模型的优化程度和速度。 适当的增加Batch_Size，梯度下降方向准确度增加，训练震动的 阅读全文
摘要：
tf.keras 有很多内置的损失函数，具体可见官方文档，这里介绍一部分。 MSE、MAE、BinaryCrossentropy、CategoricalCrossentropy... 1 回归问题 1.1 均方误差 (MeanSquaredError，MSE) 这是最简单也是最常用的损失函数，在线性 阅读全文
摘要：
在定义了损失函数之后，需要通过优化器来寻找最小损失，下面介绍一些常见的优化方法。 (BGD，SGD，MBGD，Momentum，NAG，Adagrad，Adadelta，RMSprop，Adam，Adamax，Nadam) 1 梯度下降法 (Gradient Descent，GD) 1.1 批量梯度 阅读全文
摘要：
卷积神经网络一般用在图像处理、计算机视觉等领域。下面1-4节介绍了构造卷积神经网络基础知识，第5节介绍一些经典的卷积神经网络，7-9节介绍了三种CNN常见应用：目标检测、人脸识别、风格迁移。 1. 卷积计算 1.1 卷积运算 (Convolution)： 如图，一个6×6的矩阵A与一个3×3的fil 阅读全文
摘要：
超参数调试、正则化等 1. 数据集的分配 Train / Dev / Test sets 训练集、验证集、测试集 要确保训练集和测试集的数据符合同分布 eg: 小数量样本：60% / 20% / 20% 大数据：99.5% / 0.4% / 0.1% 2. 偏差(bias)、方差(variance) 阅读全文
摘要：
深度学习其实就是有更多隐层的神经网络，可以学习到更复杂的特征。得益于数据量的急剧增多和计算能力的提升，神经网络重新得到了人们的关注。 1. 符号说明 2. 激活函数 为什么神经网络需要激活函数呢？如果没有激活函数，可以推导出神经网络的输出y是关于输入x的线性组合，那么神经网络的隐层就没有任何意义，对 阅读全文