摘要：
上节课学习了损失函数的定义以及通过损失函数对模型进行参数优化的策略。 变量x，损失为L时，希望求得L关于当前模型W在x处的梯度表达式 并学习了求解梯度时的两种方法：解析法和差分法 本次课学习使用计算图对任意的初等函数以及一些特殊函数利用反向传播进行梯度求解并应用于参数优化的方法。 首先第一个简单的例 阅读全文
摘要：
机器学习模型的创建就如同在一个山谷里漫步，我们的平面坐标就是模型，我们的海拔就是损失函数值。我们希望找到一个最优的模型使得损失最小，即找到这个山谷的最低点。 我们有以下几种策略： 策略1：随机选坐标，试Loss值 不解释，显然很差。 策略2：如同在山谷中下山一样，顺着斜坡往下走 自然地引出了导数的概 阅读全文
摘要：
损失函数（Loss Function）是一类广义的称呼，指利用数值化的方法表现机器学习算法中产生的模型对于训练集（Training Set）的满意程度。 通常函数值越小，表示该模型预测越精准。 损失函数是一个评判标准，模型的优化训练皆是基于此标准进行，训练模型的目的就是找到一个损失函数最小的模型。 阅读全文
摘要：
CIFAR10是80 million tiny images数据集的一个子集，共包含60000张32*32的小型彩色图标。每张图片有RGB 3个颜色通道。 每张图片表示为一个长32*32*3的3072维向量，每个元素数据格式unit8即256色。其中前1024维为红色向量，中间1024维为绿色向量， 阅读全文
摘要：
线性分类器（Linear Classifier）是一类简单的学习算法，但也是一类极为重要的算法，它是Neural Networks（包括CNN）的基础。 如果把神经网络比作乐高积木，线性分类器就是这个积木的每一层的基础模块： 回到CIFAR10：每个图像为32*32的分辨率，每个像素点有3个彩色通道 阅读全文
摘要：
本文来自：http://www.cnblogs.com/irran/p/cifar-10 仅以借鉴自行学习，侵删，后续笔记自写 问题背景 现在我有一张关于猫的图片，如何让计算机识别出这是只猫呢？ 算法思路 我们人眼虽然可以很轻松的辨认出一只猫，但却说不出是怎么辨别的，这个过程对我们来说其实是一个黑匣 阅读全文