Bregman 散度

定义

设 F: Ω→R 是一定义在闭凸集 Ω 上的连续可微的实值严格凸函数。

 为关于函数 F 的 Bregman 散度，当且仅当

亦可写作

其中  

L(p) 表示函数 F 在 q 点的切平面方程。

Bregman 散度就是一个函数与该函数的线性近似之间的差。

 

性质

1. 非负   

2. 凸性    是关于其第一个参数 p 的凸函数。

3. 线性算子    

 

例子

1. 

2. 

3. 泛化的 KL(Kullback-Leibler) 散度，

在  时

 

 

参考

[1] http://en.wikipedia.org/wiki/Bregman_divergence.