xu999

摘要： 一、视觉模型深度解析 Vision Transformer (ViT) Patch处理 输入图像（224×224）分割为196个16×16 Patch，线性投影为768维向量。 添加类别Token（[class]）和位置编码（一维正弦函数）：PE_{(pos,2i)} = \sin(pos/1000 阅读全文

摘要： 神经网络与深度学习学习笔记（三） 一、卷积神经网络基础 1. 全连接网络问题 1.1 全连接网络的局限性 参数爆炸：输入为 (1000 \times 1000) 图像时，隐含层1M节点需 (10^{12}) 级参数 空间相关性未利用：图像局部特征未被有效提取 改进方案： 局部连接网络：每个节点仅连接 阅读全文

摘要： 神经网络与深度学习学习笔记（二） 性能优化 1. 常用技巧 1.1 模型初始化 目的 通过合理的权重初始化避免梯度消失或爆炸，促进网络信息流动。 方法 简单初始化：权值在 $$[-1, 1]$$ 区间内按均值或高斯分布初始化。 Xavier初始化（适用于激活函数为线性或类线性的场景）：\[W \si 阅读全文

摘要： 神经网络与深度学习学习笔记(一） 第一部分：线性回归与分类 1. 线性回归 定义 通过回归分析确定变量间定量关系的统计方法。 学习过程 模型 假设函数： 线性模型：$$y = h_\theta(x) = \theta^T x$$ 一维特例：$$y = kx + b$$ 损失函数（均方误差，MSE） 阅读全文