一抹烟霞 - 博客园

2020年5月10日

摘要：目前比较流行的初始化方式如下：阅读全文

posted @ 2020-05-10 18:11 一抹烟霞阅读(237) 评论(0) 推荐(0)

摘要：过拟合一、定义二、过拟合的解决方案2.1 DropOut2.2 L2 正则化2.3 L1 正则化2.4 最⼤范数约束 (Max Norm) 一、定义在训练数据集上的准确率很⾼，但是在测试集上的准确率⽐较低二、过拟合的解决方案 2.1 DropOut 假设有一个过拟合的神经网络如下： DropOu 阅读全文

posted @ 2020-05-10 18:04 一抹烟霞阅读(1894) 评论(0) 推荐(0)

梯度消亡(Gradient Vanishing)和梯度爆炸(Gradient Exploding)

摘要：文章目录一、梯度消失1.1 定义1.2 梯度消亡(Gradient Vanishing)前提1.3 产生的原因1.4 解决方案二、梯度爆炸2.1 解决方法一、梯度消失 1.1 定义神经⽹络靠输⼊端的⽹络层的系数逐渐不再随着训练⽽变化，或者变化⾮常缓慢。随着⽹络层数增加，这个现象越发明显 1.2 阅读全文

posted @ 2020-05-10 17:17 一抹烟霞阅读(1861) 评论(0) 推荐(0)

损失函数

摘要：损失函数一、定义二、命名三、损失函数的作用3.1 训练方法3.2 损失函数的选取原则四、常用的损失函数4.1 回归Regression问题4.2 分类Classification问题4.2.1 单label问题4.2.2 多label问题一、定义在深度学习中，损失函数是用来衡量一组参数的质量的函阅读全文

posted @ 2020-05-10 14:50 一抹烟霞阅读(999) 评论(0) 推荐(0)

2020年5月9日

一个例子秒懂误差反向传播

摘要：假设有两个输入值，一个隐藏节点，一个输出节点，隐藏层和输出层的激活函数都是 sigmoid 。下图描述了这个网络。假设损失函数是平方误差L=1/2(y-y^) 2 一、正向传播假设我们试着输入一些二分类数据，目标是 y=1。我们从正向传导开始，首先计算输入到隐藏层 h=∑wixi= 阅读全文

posted @ 2020-05-09 22:19 一抹烟霞阅读(1105) 评论(0) 推荐(0)

使用keras构建简单的网络分类鸢尾花

摘要： Tensorflow =1.8.0 # -*- coding: utf-8 -*- from warnings import simplefilter simplefilter(action='ignore', category=FutureWarning) import numpy as np i 阅读全文

posted @ 2020-05-09 21:12 一抹烟霞阅读(788) 评论(0) 推荐(0)

矩阵的秩 rank(A)

摘要：矩阵的秩一、定义二、定理一、定义在线性代数中，一个矩阵A的列秩是A的线性独立的纵列的极大数目。类似地，行秩是A的线性无关的横行的极大数目。二、定理定理：矩阵的行秩，列秩，秩都相等。定理：初等变换不改变矩阵的秩。定理：如果A可逆，则r(AB)=r(B),r(BA)=r(B)。定理：矩阅读全文

posted @ 2020-05-09 14:07 一抹烟霞阅读(2901) 评论(0) 推荐(0)

矩阵的迹

摘要：矩阵的迹一、定义二、性质2.12.22.3 迹等于特征根之和2.4三、二次型的迹3.13.2四、迹的导数一、定义线性代数中，把方阵的对角线之和称为“迹”：二、性质 2.1 2.2 一直将第一个矩阵放到最后一个；当然反着不断把最后一个放到第一个也可以。 2.3 迹等于特征根之和由定义而来，这是阅读全文

posted @ 2020-05-09 13:52 一抹烟霞阅读(5300) 评论(0) 推荐(0)

数学符号大全速查表

摘要： http://www.360doc.com/showweb/0/0/911128876.aspx 阅读全文

posted @ 2020-05-09 10:13 一抹烟霞阅读(528) 评论(0) 推荐(0)

2020年5月8日

第一部分——状态估计机理（1）-- 概率论基础

摘要：概率论基础一、概率密度函数1.1 定义1.2 贝叶斯公式及推断1.3 矩1.4 样本均值和样本方差1.5 统计独立性与不相关性1.6 归一化积1.7 负熵和互信息1.8 克拉美罗下界和费歇尔信息量二、高斯概率密度函数2.1 定义2.2 Isserlis定理2.3 联合高斯概率密度函数，分解与推断2. 阅读全文

posted @ 2020-05-08 13:49 一抹烟霞阅读(1321) 评论(0) 推荐(0)