xu999

摘要： 神经网络与深度学习学习笔记（三） 一、卷积神经网络基础 1. 全连接网络问题 1.1 全连接网络的局限性 参数爆炸：输入为 (1000 \times 1000) 图像时，隐含层1M节点需 (10^{12}) 级参数 空间相关性未利用：图像局部特征未被有效提取 改进方案： 局部连接网络：每个节点仅连接 阅读全文

摘要： 神经网络与深度学习学习笔记（二） 性能优化 1. 常用技巧 1.1 模型初始化 目的 通过合理的权重初始化避免梯度消失或爆炸，促进网络信息流动。 方法 简单初始化：权值在 $$[-1, 1]$$ 区间内按均值或高斯分布初始化。 Xavier初始化（适用于激活函数为线性或类线性的场景）：\[W \si 阅读全文