浮沉沉浮

2019年6月1日

摘要：学习率 learning_rate：表示了每次参数更新的幅度大小。学习率过大，会导致待优化的参数在最小值附近波动，不收敛；学习率过小，会导致待优化的参数收敛缓慢。在训练过程中，参数的更新向着损失函数梯度下降的方向。参数的更新公式为： 𝒘𝒏+𝟏 = 𝒘𝒏 − 𝒍𝒆𝒂𝒓𝒏𝒊� 阅读全文

posted @ 2019-06-01 20:50 浮沉沉浮阅读(1497) 评论(0) 推荐(0)

梯度下降法和随机梯度下降法

摘要： 1. 梯度在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称grad f(x,y)或者▽f(x,y)。对于在点(x0,y0)的具体梯度向量就是(∂f/∂ 阅读全文

posted @ 2019-06-01 15:33 浮沉沉浮阅读(8138) 评论(0) 推荐(1)

2019年5月30日

熵、相对熵和交叉熵

摘要：在学习人工智能实践：Tensorflow笔记曹健老师的视频时候，老师讲解了交叉熵这个概念，下面简要说明一下我的学习过程以及个人理解；首先了解一下信息量：所谓信息量是指从N个相等可能事件中选出一个事件所需要的信息度量或含量，也就是在辩识N个事件中特定的一个事件的过程中所需要提问"是或否"的最少次数阅读全文

posted @ 2019-05-30 16:36 浮沉沉浮阅读(836) 评论(0) 推荐(0)

自定义损失函数

摘要：自定义损失函数：根据问题的实际情况，定制合理的损失函数。例如：对于预测酸奶日销量问题，如果预测销量大于实际销量则会损失成本；如果预测销量小于实际销量则会损失利润。在实际生活中，往往制造一盒酸奶的成本和销售一盒酸奶的利润是不等价的。因此，需要使用符合该问题的自定义损失函数。自定义损失函数为：lo 阅读全文

posted @ 2019-05-30 15:56 浮沉沉浮阅读(2547) 评论(0) 推荐(0)

损失函数的实例

摘要：预测酸奶日销量 y，x1 和 x2 是影响日销量的两个因素。应提前采集的数据有：一段时间内，每日的 x1 因素、x2 因素和销量 y_。采集的数据尽量多。在本例中用销量预测产量，最优的产量应该等于销量。由于目前没有数据集，所以拟造了一套数据集。利用 Tensorflow 中函数随机生成 x1、 x 阅读全文

posted @ 2019-05-30 13:15 浮沉沉浮阅读(572) 评论(0) 推荐(0)

神经网路的层数，损失函数（loss）

摘要：神经网络的复杂度：可用神经网络的层数和神经网络中待优化参数个数表示神经网路的层数：一般不计入输入层，层数 = n 个隐藏层 + 1 个输出层神经网路待优化的参数：神经网络中所有参数 w 的个数 + 所有参数 b 的个数如：在该神经网络中，包含 1 个输入层、1 个隐藏层和 1 个输出层，该神阅读全文

posted @ 2019-05-30 09:14 浮沉沉浮阅读(2064) 评论(0) 推荐(0)

激活函数

摘要：前面博客写的神经元模型并没有激活函数。激活函数：就是引入非线性激活因素，提高模型抗干扰能力；（具体的还没在学习过程中遇到，遇到了在详细学习）阅读全文

posted @ 2019-05-30 09:08 浮沉沉浮阅读(174) 评论(0) 推荐(0)

2019年5月27日

代码说明（搭建神经网络的步骤）

摘要： #coding:utf-8 #0导入模块，生成模拟数据集。 #tensorflow学习笔记(北京大学) tf3_6.py 完全解析神经网络搭建学习 import tensorflow as tf import numpy as np BATCH_SIZE = 8 SEED = 23455 rdm = 阅读全文

posted @ 2019-05-27 16:14 浮沉沉浮阅读(539) 评论(0) 推荐(0)

搭建神经网络的步骤

摘要：神经网络的搭建课分四步完成：准备工作、前向传播、反向传播和循环迭代。 √0.导入模块，生成模拟数据集； import 常量定义生成数据集 √1.前向传播：定义输入、参数和输出 x= y_= w1= w2= a= y= √2. 反向传播：定义损失函数、反向传播方法 loss= train_step= 阅读全文

posted @ 2019-05-27 09:45 浮沉沉浮阅读(1030) 评论(0) 推荐(0)

神经网络的基础-反向传播

摘要：反向传播,个人理解就是反馈，来减少输入和输出直接的差值阅读全文

posted @ 2019-05-27 09:35 浮沉沉浮阅读(177) 评论(0) 推荐(0)

公告