zhchoice

摘要： 定力内容：一个 两层的前馈神经网络（只要隐藏层足够大，且使用非线性激活函数），就可以逼近任意连续函数。 • 对分类问题的启示： 分类其实就是在寻找一个函数 \(f(x)\)，让它在不同类别上输出不同的值。 接下来我们通过代码演示 激活函数引入非线性 → 决策边界可以弯曲； 如图所示的问题我们通过原有 阅读全文

摘要： MLP：Multi-Layer percretron 多层感知机 单层感知机的局限性 • 单层感知机能做的只是用 一条直线 / 超平面 来分隔数据。 • 问题：遇到 异或（XOR）问题 或者更复杂的数据分布，就没办法仅靠一条直线来分开。 例如： • 点 (0,0) 和 (1,1) 属于一类 • 点 阅读全文

摘要： 1：感知机本质上是一个线性二分类器。 \(y = f(w^{\mathsf{T}} x + b)\) 其中： • x：输入向量（例如图像拉直后的像素向量） • w：权重向量 • b：偏置项 激活函数： \[f(z)= \begin{cases} +1, & z \ge 0 \\ -1, & z < 阅读全文

摘要： 1. 1943：McCulloch & Pitts 提出人工神经元模型 —— 神经网络的雏形。 2. 1957：Rosenblatt 提出感知机（Perceptron） —— 最早的可训练神经网络。 3. 1970s：Vapnik 提出统计学习理论（VC维、泛化误差界） —— 机器学习的数学基础。 阅读全文