立体风

2026年9月12日

摘要：概率质量和概率密度严格来说说的是概率质量（probability mass）在连续情形下对应的“小区间概率”，而 (p_X) 是概率密度函数。把这几个概念分清楚，后面的变量换元、Jacobian、生成模型就会非常清楚。 1. 先从“概率”开始假设： \[X=\text{一个随机变量} \]例如抛阅读全文

posted @ 2026-09-12 09:43 立体风阅读(17) 评论(0) 推荐(0)

复合积分换元在神经网络的应用

摘要： 1. 最直接的实际作用：把“难积分”变成“容易积分” 例如： \[\int 2x\cos(x^2)\,dx \]看到 (x^2)，令： \[y=x^2 \]那么： \[dy=2x\,dx \]所以： \[\int 2x\cos(x^2)\,dx = \int\cos y\,dy = \sin y+C 阅读全文

posted @ 2026-09-12 09:41 立体风阅读(15) 评论(0) 推荐(0)

积分和复合积分

摘要：积分积分号的几何直觉连续世界里的“累加”积分符号： \[\boxed{\int} \]它被称为积分号（integral sign），由莱布尼茨于 17 世纪引入。它本质是一个拉长的拉丁字母 S，源自拉丁语 summa（总和、求和）。离散累加 (\(\sum\))：将有限或可数个离散量相加，\ 阅读全文

posted @ 2026-09-12 09:30 立体风阅读(51) 评论(0) 推荐(0)

2026年9月11日

反函数的导数

摘要：用链式法则 + 反函数关系可得。已知 \[y=f(x) \]其反函数为 \[x=g(y) \]也就是说： \[g=f^{-1} \]要证明： \[\boxed{g'(y)=\frac1{f'(x)}} \]其中要求 \[f'(x)\ne0 \]第一步：利用反函数的关系因为 (g) 是 (f) 的阅读全文

posted @ 2026-09-11 23:47 立体风阅读(34) 评论(0) 推荐(0)

乘积求导

摘要：乘积求导的本质的原因是：一个整体的微小变化，可以由多个彼此独立的变化来源叠加起来。先看： \[[\,u(x)v(x)\,]'=u'(x)v(x)+u(x)v'(x) \]可以把 (u(x)v(x)) 想象成一个矩形的面积： \[S=u\times v \]当 (x) 发生一个很小的变化 (\Del 阅读全文

posted @ 2026-09-11 22:43 立体风阅读(24) 评论(0) 推荐(0)

numpy 编写梯度下降的简单例子（优化版）

摘要：对之前的《numpy编写梯度下降的简单例子》进行了修正，在这里进行总结。由于有了一下变动，但前文也有可取之处，故重开一篇文章，对照学习，能更加深刻理解梯度下降。整体说，这篇教程主线非常好：从房价问题引出线性模型、均方误差、偏导、梯度、梯度下降和 NumPy 实现，逻辑完整，也很适合初学者。但有几个阅读全文

posted @ 2026-09-11 09:34 立体风阅读(16) 评论(0) 推荐(0)

梯度下降法简洁介绍

摘要： “梯度指向上升最快方向，所以加负号就是下降最快”是不严谨的，应从公式推导得出结论。需要注意三点：偏导数不是增量，而是单位自变量变化对应的局部变化率；\(u_i\) 不是实际增量，而是单位方向中第 \(i\) 个坐标分量；最终得到的严格对象是方向导数，而不是任意有限距离下的函数增量。完整介绍如下阅读全文

posted @ 2026-09-11 07:54 立体风阅读(32) 评论(0) 推荐(0)

sklearn 源码关于梯度下降的学习

摘要： “梯度下降及其各种改进算法”，建议你把 Scikit-learn 当成一个可以阅读优化算法实现的教材。对于确定的 scikit-learn 1.6.1，我建议按下面的顺序研究源码。一、第一优先级：neural_network/_stochastic_optimizers.py 这是你目前最值得啃阅读全文

posted @ 2026-09-11 06:49 立体风阅读(12) 评论(0) 推荐(0)

2026年9月10日

numpy 编写梯度下降的例子（二）

摘要：正规方程（Normal Equation）是线性回归在最小二乘准则下的解析解（闭式解，Closed-Form Solution）。与梯度下降通过迭代逼近极值点不同，正规方程利用微积分极值条件，一步直接求出最优参数。一、正规方程的数学推导 1. 矩阵与符号定义设数据集包含 \(n\) 个样本，\( 阅读全文

posted @ 2026-09-10 22:12 立体风阅读(19) 评论(0) 推荐(0)

numpy 编写梯度下降的简单例子

摘要：根据房屋面积，预测房屋价格。这样你可以完整看到： \[\boxed{\text{现实问题}\rightarrow\text{数学模型}\rightarrow\text{损失函数}\rightarrow\text{偏导数}\rightarrow\text{梯度}\rightarrow\text{梯度阅读全文

posted @ 2026-09-10 21:21 立体风阅读(16) 评论(0) 推荐(0)

公告