KL 散度

http://joschu.net/blog/kl-approx.html
KL近似计算代码： https://github.com/THUDM/slime/blob/main/slime/utils/ppo_utils.py

• KL 散度定义
  

• 标准的 k1 估计KL 散度， 方差大， 应为k1 有正有负
  

• k3 也是KL 散度的无偏估计， 但是元素都是正的， 方差小很多