摘要：svm是专门用于二分类问题的办法之一，由于mnist有10类，因此我们需要制定一个多分类的方案。常用的方案有： 1.“一对其他“：把y=i看成一类，其余看成一类,这样一来我们需要训练10组svm,每次都需要训练全部样例，将未知x向量带入取结果最大的对应的类别作为结果类别 2.“一对一”：任选两类做训 阅读全文

摘要：一.介绍反向传播算法+推导 反向传播算法是人工神经网络最常用且最有效的算法，其算法思路为： 1.前向传播：输入层以及偏置经加权求和被激活函数“打包”送到隐藏层，再经隐藏层以及偏置加权求和被激活函数“打包”送到输出层，在输出层中，我们可以输出总误差。 2.反向传播：a.从输出层反向到隐藏层，通过链式法 阅读全文

摘要：一.感知机概述 感知机适用于：线性可分的数据，用于二分类 目的：找到分离超平面，完全分离不同的类 感知机公式：，一元多维的函数 感知机学习策略：通过求min(所有误分类点到超平面距离)，即损失函数，来确定权重和偏置 求解方法：梯度下降法 求解步骤：1.初始化权重和偏置 2.任选点（x,y） 3.若y 阅读全文

摘要：一.svm概述 svm是一种二分类模型，学习策略是通过间隔最大化来实现分类的目的，最终转化为了凸二次规划求解，对于svm，处理的问题有三种情况，即： 1.线性可分问题： 为了高效简化计算参数w,b，将问题转化为： 2.线性不可分问题：（不可分是由于特异点outlier的存在引起的，故引入松弛变量） 阅读全文