摘要：
凸函数，二阶导数检验：f''(x) > 0 意味着凸函数。 凸函数真正美妙之处在于，如果你在凸函数上取任意两点，并在它们之间画一条直线，这条线总是在曲线上方，永远不会低于曲线。 数学上：对于 0 到 1 之间的任意 λ，f(λx + (1-λ)y) ≤ λf(x) + (1-λ)f(y)。 曲线越“ 阅读全文
posted @ 2025-10-16 20:51
CathyBryant
阅读(23)
评论(0)
推荐(0)
摘要：
下面我们进入微调中最棘手、最活跃的部分之一：当模型开始出现问题迹象时，该怎么办？困惑度上升、损失函数震荡、过拟合，或者普遍感觉它“学错了东西”。 在某种程度上，这时训练不像雕塑，更像是园艺，修剪、调整、适量浇水。所有这些都不需要把植物拔掉再重新开始。 1. 学习率调整，倾听地形 最简单、最强大的杠杆 阅读全文
posted @ 2025-10-16 20:21
CathyBryant
阅读(8)
评论(0)
推荐(0)
摘要：
经过预训练后，模型的参数有数十亿个，它们形成了一个向量： \theta_0 \in \mathbb{R}^n 它编码了模型所学到的一切关于语言的知识：结构、语义、节奏。但这些权重是通用的，而非个性化的。模型此刻知道单词的含义，但不知道如何使用它们来表达善意、安全或清晰。 然后是有监督微调： \the 阅读全文
posted @ 2025-10-16 13:45
CathyBryant
阅读(12)
评论(0)
推荐(0)
浙公网安备 33010602011771号