范仁义

2020年8月5日

摘要：神经网络反向传播更新原理一、总结一句话总结： A、输入x (w1和b2)-->中间输出h（省略很多层） (wi和bi)-->输出y-->loss函数 B、现在的需求是loss取最小值，可以求出loss对所有参数的梯度，让沿梯度下降的方向更新参数，例如w1= w1-lr*∂(loss)/∂(w1) 阅读全文

posted @ 2020-08-05 11:04 范仁义阅读(492) 评论(0) 推荐(0)

TensorFlow2_200729系列---17、函数用梯度下降法求最值实例

摘要： TensorFlow2_200729系列 17、函数用梯度下降法求最值实例一、总结一句话总结：从不同的初始点梯度下降，找到的极值点不一样 import numpy as np from mpl_toolkits.mplot3d import Axes3D from matplotlib imp 阅读全文

posted @ 2020-08-05 02:41 范仁义阅读(459) 评论(0) 推荐(0)

2020年8月4日

TensorFlow2_200729系列---16、链式法则求多层感知器梯度实例

摘要： TensorFlow2_200729系列 16、链式法则求多层感知器梯度实例一、总结一句话总结： A、y2对y1求导：w2：dy2_dy1 = tape.gradient(y2, [y1])[0] B、y1对w1求导：x：dy1_dw1 = tape.gradient(y1, [w1])[0] 阅读全文

posted @ 2020-08-04 15:04 范仁义阅读(166) 评论(0) 推荐(0)

TensorFlow2_200729系列---15、交叉熵求梯度实例

摘要： TensorFlow2_200729系列 15、交叉熵求梯度实例一、总结一句话总结： loss = tf.reduce_mean(tf.losses.categorical_crossentropy(tf.one_hot(y,depth=2), logits, from_logits=True) 阅读全文

posted @ 2020-08-04 14:13 范仁义阅读(254) 评论(0) 推荐(0)

TensorFlow2_200729系列---14、MSE求梯度实例

摘要： TensorFlow2_200729系列 14、MSE求梯度实例一、总结一句话总结： tf.losses.MSE：loss = tf.reduce_mean(tf.losses.MSE(y, logits)) 1、机器学习中的公式推导？机器学习中，很多看似很复杂的公式的推导，就是非常普通的按照阅读全文

posted @ 2020-08-04 09:44 范仁义阅读(215) 评论(0) 推荐(0)

神经网络激活函数softmax，sigmoid，tanh，relu总结

摘要：神经网络激活函数softmax，sigmoid，tanh，relu总结一、总结一句话总结：常见激活函数：softmax、sigmoid、tanh、relu 二、【神经网络】激活函数softmax，sigmoid，tanh，relu总结转自或参考：【神经网络】激活函数softmax，sigmo 阅读全文

posted @ 2020-08-04 05:35 范仁义阅读(1455) 评论(0) 推荐(0)

数学公式库KaTeX小实例

摘要：数学公式库KaTeX小实例一、总结一句话总结： A、MathJax可以渲染公式，另一个库js库KaTeX有可以。 B、KaTeX是Khan Academy出品的一款快速、简单易用的JavaScript库，用来在Web上渲染TeX格式的数学公式。 1、在线的js和css显示正常，本地的js和css 阅读全文

posted @ 2020-08-04 05:07 范仁义阅读(1210) 评论(0) 推荐(0)

小白都能看懂的softmax详解

摘要：小白都能看懂的softmax详解一、总结一句话总结： softmax把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1 二、小白都能看懂的softmax详解转自或参考：小白都能看懂的softmax详解https://blog.csdn.net/bitcarm 阅读全文

posted @ 2020-08-04 04:15 范仁义阅读(1547) 评论(0) 推荐(0)

TensorFlow2_200729系列---13、二阶梯度求解

摘要： TensorFlow2_200729系列 13、二阶梯度求解一、总结一句话总结：梯度是放在with tf.GradientTape() as t1 语句之中，那二阶梯度就是这个语句的嵌套 import tensorflow as tf w = tf.Variable(1.0) b = tf.V 阅读全文

posted @ 2020-08-04 01:07 范仁义阅读(270) 评论(0) 推荐(0)

2020年8月3日

Python查看对象属性的方法

摘要： Python查看对象属性的方法一、总结一句话总结： a、使用dir(object)或者object.__dict__ b、也可以使用help函数二、Python查看对象属性的方法转自或参考：Python查看对象属性的方法https://www.cnblogs.com/linyouyi/p/1 阅读全文

posted @ 2020-08-03 07:24 范仁义阅读(1103) 评论(0) 推荐(0)

在校每年国奖、每年专业第一，加拿大留学，先后工作于华东师范大学和香港教育大学

公告