第04章 单层网络: 回归

1. 线性回归

1.1 基函数

多项式基函数

高斯基函数

Sigmoid基函数

常用作神经网络激活函数，将输入映射到非线性空间

在数学物理方法这种传统学科下, 可在不同的坐标系下构建不同的基础正交系.

• 直角坐标系: 傅立叶级数
• 柱状坐标系: 贝塞尔函数
• 球状坐标系: 勒让德函数

1.2 似然函数

当对本章公式迷蒙的时候, 可以参考这个案例的矩阵运算, 关注矩阵的阶

1.3 最大似然

1.5 序贯学习

1.6 正则化最小二乘法

4.7 多重输出

https://www.science.org/doi/10.1126/sciadv.1700578

​ 地震信号可以拆分成三分量, 在每个分量上都可以用傅立叶函数作为基函数来合成.类似的RGB三通道.

​ 多重输出对应的是把在似然函数小节分析的单维列向量w扩充到多维度列向量. 每个列向量在地震信号这个案例里面对应的是不同的方向.

​ 证明类似, 不用过多赘述.

2. 决策理论

3. 偏差-方差权衡

依据第一章的拟合实验, 用了25个数据集, 加入正则化进行的预测值绘图