摘要:
前置知识 求导 知识地图 神经网络算法是通过 前向传播求代价,反向传播求梯度 。在上一篇中介绍了神经网络的组织结构,逻辑关系和代价函数。本篇将介绍如何求代价函数的偏导数(梯度)。 梯度检测 在进入主题之前,先了解一种判断代价函数 阅读全文
2019年1月17日
摘要:
前置知识 求导 知识地图 回想线性回归和逻辑回归,一个算法的核心其实只包含两部分:代价和梯度。对于神经网络而言,是通过 前向传播求代价,反向传播求梯度 。本文介绍其中第一部分。 多元分类:符号转换 神经网络是AI世界的一座名山, 阅读全文
摘要:
前置知识 导数,矩阵的逆 知识地图 正则化是通过为参数支付 代价 的方式,降低系统复杂度的方法。牛顿方法是一种适用于逻辑回归的求解方法,相比梯度上升法具有迭代次数少,消耗资源多的特点。 过拟合与欠拟合 回顾线性回归和逻辑回归这两 阅读全文
摘要:
前置知识 求导 知识地图 逻辑回归是用于分类的算法,最小的分类问题是二元分类。猫与狗,好与坏,正常与异常。掌握逻辑回归的重点,是理解 S型函数 在算法中所发挥的作用,以及相关推导过程。 从一个例子开始 假设我们是信贷工作人员,有 阅读全文
摘要:
前置知识 矩阵的逆 知识地图 首先我们将了解一种叫升维的方法,用已有特征构造更多的特征。接着通过对空间与投影建立一定的概念后,推导出最小二乘法。 当特征数量不足时 在上一篇《初识线性回归》中,我们假设要处理的问题有足够的样本数量 阅读全文
摘要:
前置知识 矩阵、求导 知识地图 学习一个新事物之前,先问两个问题,我在哪里?我要去哪里?这两个问题可以避免我们迷失在知识的海洋里,所以在开始之前先看看地图。 此前我们已经为了解线性回归做了一点准备工作,现在开始正式进入主题, 阅读全文
摘要:
前置知识 无 知识地图 自学就像在海中游泳 当初为什么会想要了解机器学习呢,应该只是纯粹的好奇心吧。AI似乎无处不在,又无迹可循。为什么一个程序能在围棋的领域战胜人类,程序真的有那么聪明吗?如果掌握机器学习,就能创造属于自己的AI吗? &e 阅读全文