07 2020 档案

向量和矩阵范数
摘要：向量的 1-范数、2-范数、无穷范数、p-范数； 矩阵的 1-范数、2-范数、无穷范数、L0范数、L1范数、L2范数、L21范数、核范数 1 向量范数 例：向量 X = [2，3，-5，-7 ] 1.1 向量的1-范数 向量各个元素的绝对值之和： 例：‖X‖1 = 2+3+5+7 = 17 matl 阅读全文
posted @ 2020-07-31 23:27 sun-a 阅读(2031) 评论(1) 推荐(0)
机器学习中的训练集、验证集、测试集
摘要：训练集 (Training set) 用来训练分类器中的参数，拟合模型。会使用超参数的不同取值，拟合出多个分类器，后续再结合验证集调整模型的超参数。 验证集 (Validation set) 当通过训练集训练出多个模型后，为了能找出效果最佳的模型，使用各个模型对验证集数据进行预测，并记录模型准确率。 阅读全文
posted @ 2020-07-31 16:34 sun-a 阅读(1587) 评论(0) 推荐(0)
神经网络中的 batch_size、epochs、iteration
摘要：这三个概念是基于梯度下降法而言的。 1 batch_size batch_size 就是批量大小，即一次训练中所使用的样本个数。 batch_size 的选择是为了在内存效率和内存容量之间寻找最佳平衡，将影响到模型的优化程度和速度。 适当的增加Batch_Size，梯度下降方向准确度增加，训练震动的 阅读全文
posted @ 2020-07-31 00:15 sun-a 阅读(1031) 评论(0) 推荐(0)
神经网络中的损失函数
摘要：tf.keras 有很多内置的损失函数，具体可见官方文档，这里介绍一部分。 MSE、MAE、BinaryCrossentropy、CategoricalCrossentropy... 1 回归问题 1.1 均方误差 (MeanSquaredError，MSE) 这是最简单也是最常用的损失函数，在线性 阅读全文
posted @ 2020-07-30 23:43 sun-a 阅读(2765) 评论(1) 推荐(0)
神经网络中的优化器 (tensorflow2.0)
摘要：在定义了损失函数之后，需要通过优化器来寻找最小损失，下面介绍一些常见的优化方法。 (BGD，SGD，MBGD，Momentum，NAG，Adagrad，Adadelta，RMSprop，Adam，Adamax，Nadam) 1 梯度下降法 (Gradient Descent，GD) 1.1 批量梯度 阅读全文
posted @ 2020-07-29 17:42 sun-a 阅读(6774) 评论(0) 推荐(0)
卷积神经网络 (Convolution Neural Networks, CNN)
摘要：卷积神经网络一般用在图像处理、计算机视觉等领域。下面1-4节介绍了构造卷积神经网络基础知识，第5节介绍一些经典的卷积神经网络，7-9节介绍了三种CNN常见应用：目标检测、人脸识别、风格迁移。 1. 卷积计算 1.1 卷积运算 (Convolution)： 如图，一个6×6的矩阵A与一个3×3的fil 阅读全文
posted @ 2020-07-19 16:55 sun-a 阅读(1950) 评论(0) 推荐(1)
优化深层神经网络
摘要：超参数调试、正则化等 1. 数据集的分配 Train / Dev / Test sets 训练集、验证集、测试集 要确保训练集和测试集的数据符合同分布 eg: 小数量样本：60% / 20% / 20% 大数据：99.5% / 0.4% / 0.1% 2. 偏差(bias)、方差(variance) 阅读全文
posted @ 2020-07-16 17:58 sun-a 阅读(244) 评论(0) 推荐(0)
神经网络和深度学习 (Neural Network & Deep Learning)
摘要：深度学习其实就是有更多隐层的神经网络，可以学习到更复杂的特征。得益于数据量的急剧增多和计算能力的提升，神经网络重新得到了人们的关注。 1. 符号说明 2. 激活函数 为什么神经网络需要激活函数呢？如果没有激活函数，可以推导出神经网络的输出y是关于输入x的线性组合，那么神经网络的隐层就没有任何意义，对 阅读全文
posted @ 2020-07-14 23:03 sun-a 阅读(2279) 评论(0) 推荐(0)
神经网络的误差逆向传播(error Back Propagation, BP)算法
摘要：BP算法是迄今为止最为成功的神经网络学习算法，下面主要以多层前馈神经网络为例推导该算法。 1. M-P 神经元模型 图1展示了一个经典的神经元模型。在这个模型中，该神经元收到其他神经元传来的3个输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“ 阅读全文
posted @ 2020-07-11 23:42 sun-a 阅读(2580) 评论(0) 推荐(0)