2025年10月27日
批量归一化--改变有些参数改变可能梯度很平滑，有些参数改变可能梯度很陡峭
摘要： 批量归一化--改变有些参数改变可能梯度很平滑，有些参数改变可能梯度很陡峭 有些参数改变可能梯度很平滑，有些参数改变可能梯度很陡峭 怎么改变这个，使每个参数改变尽可能梯度都一样呢 特征归一化 对于每个维度i：均值：(\(m_i\))标准差：(\(\sigma_i\)) \(\widetilde{x}_i^r \leftarrow \frac{x_i^r - m_i}{\si 阅读全文
posted @ 2025-10-27 15:42 -一叶知秋- 阅读(4) 评论(0) 推荐(0)
如何解决一堆向量的问题？Self-attention
摘要： 如何解决一堆向量的问题？Self-attention 接CNN 如何解决一堆向量的问题？ 输入 一个单词一个编码，一句话是一堆向量 声音信号是一堆向量 一个图也是一堆向量 输出 输入多少，输出多少（Sequence labeling） 输入很多，输出一个 输入很多，但不知道输出多少，让机器自己决定 输入多少，输出多少（Sequence labeling 阅读全文
posted @ 2025-10-27 15:40 -一叶知秋- 阅读(4) 评论(0) 推荐(0)