qlhh

摘要： 首先看一下KL的基础公式 KL KL1: 大模型的KL一般是反向的： \[KL(\pi_\theta||\pi_{ref}) = E_{x\sim\pi_\theta(\cdot|o_{<t})}log\frac{\pi_\theta(x|o_{<t})}{\pi_{ref}(x|o_{<t})} 阅读全文