摘要：
神经网络与机器学习 第12章 支持向量机 §12.1 绪论 支持向量机（support vector machines， SVM）是二分类模型，定义位特征空间上间隔最大的线性分类器，引入核函数，SVM也包含了非线性分类器，其学习策略是间隔最大化，可以化成一个凸二次规划问题。 SVM更关心的是靠近中间 阅读全文
摘要：
神经网络与机器学习 第11章 k近邻算法 §11.1 算法引入 K近邻算法是属于监督学习，不具有显式学习过程，是1968年Cover和Hart提出的[Cover T, Hart P, Nearest neighbor pattern classification, IEEE Trans. On In 阅读全文
摘要：
神经网络与机器学习 第10章 EM算法 §10.1 EM算法引入 EM算法是一种迭代算法，1977年Dempster等提出的，用于隐变量的概率模型参数的极大似然估计，或者极大后验概率估计。 EM算法两步：E步求期望，M步求极大，所以叫做期望最大算法，再高斯混合模型的学习中应用非常成功，后来又推广为广 阅读全文
摘要：
神经网络与机器学习 第6章 反向传播-多层前馈神经网络训练 §6.4 目标函数的选择 上一节详细推导了反向传播算法，并举了两个例子。我们再来回顾一下当取目标函数为均方误差的时候，反向传播敏感度 后向传播 可见敏感度输出层的激活函数导数和误差乘积，特别地分类问题中经常用到的sigmoid函数 sigm 阅读全文
摘要：
2021年3月27日星期六 2020级系统科学研究生李增伟编制的程序：第5章作业 clc,clear rate = 0.003; p = [1 1 2 2 -1 -2 -1 -2;1 2 -1 0 2 1 -1 -2]; t = [-1 -1 -1 -1 1 1 1 1;-1 -1 1 1 -1 - 阅读全文
摘要：
神经网络与机器学习 第9章 卷积神经网络 在机器视觉和其他很多问题上，卷积神经网络取得了当前最好的效果，它的成功促使我们思考一个问题，卷积神经网络为什么会这么有效？本章将学习卷积神经网络背后的奥秘。 Hubel和Weisel庆祝获得1981年诺贝尔生理医学奖 上世纪60年代，Hubel和Weisel 阅读全文
摘要：
神经网络与机器学习 第8章 泛化与正则化 神经网络设计中一个重要的问题是如何确定神经元数目，当神经元数目很大时，虽然在测试数据集合上表现非常好，但是在新的数据集合进行测试时却表现很差，我们称为泛化（generalization）能力差，泛化能力就是指在测试数据集合和新的测试数据集合都表现好。原因就是 阅读全文
摘要：
神经网络与机器学习 第7章 反向传播算法局限性和变形 为什么反向传播算法可以训练神经网络，这是因为假如权值$w_{i,j}^m$做了一个小小的改动$\Delta w_{i,j}^m$改变，会引起性能函数的改变$\Delta F$ 图7.1 多层前馈神经网络 \[\Delta F=\frac{\par 阅读全文
摘要：
神经网络与机器学习 神经网络应用遍及各个领域，是机器学习和数据挖掘的核心技术。然而神经网络的发展曾历经十余年的停滞，生物神经网络仍是科研的前沿待攻克的难题。同样，学习神经网络亦非坦途，初涉其中的神奇感会随着数学知识的加深而快速散去，面临着理论和应用的挑战，本课程提供一个学习路径，而非大而全的道路，也 阅读全文
摘要：
神经网络与机器学习 第5章 随机梯度下降法-BP的起源 神经网络的训练有很多方法，以数值优化为基础的随机梯度学习算法能够处理大规模的数据集合，它也是后面多层神经网络后向传播算法的基础。 随机梯度下降是以均方误差为目标函数的近似最速下降算法，该算法被广泛用于自适应信号处理领域，是Widrow与学生Ho 阅读全文