摘要:
一、什么是softmax? 有一个数组S,其元素为Si ,那么vi 的softmax值,就是该元素的指数与所有元素指数和的比值。具体公式表示为: softmax回归本质上也是一种对数据的估计 二、交叉熵损失函数 在估计损失时,尤其是概率上的损失,交叉熵损失函数更加常用。下面是交叉熵 当我们预测单个物 阅读全文
posted @ 2020-02-12 23:27
没有照片的稻田献一
阅读(818)
评论(0)
推荐(0)
摘要:
梯度与反向传播 1.对于一个二元函数f(x, y),有 $\nabla f = [\frac{\partial f}{\partial x} , \frac{\partial f}{\partial y}]$ 因此可知,梯度是一个向量而不是一个标量 2.利用链式法则解释何为反向传播: f(x,y,z 阅读全文
posted @ 2020-02-12 15:17
没有照片的稻田献一
阅读(415)
评论(0)
推荐(0)
摘要:
一、Tensor a) 张量是torch的基础数据类型 b) 张量的核心是坐标的改变不会改变自身性质。 c) 0阶张量为标量(只有数值,没有方向的量),因为它不随坐标的变化发生改变 d) 一阶张量为矢量(即向量),他也不随坐标变化而发生变化 e) 二阶张量为矩阵 f) 生成tensor时的通用参数 阅读全文
posted @ 2020-02-12 10:53
没有照片的稻田献一
阅读(320)
评论(0)
推荐(0)

浙公网安备 33010602011771号