机器学习技法笔记-Lecture 14 Radial basis function network

径向基函数网络， RBF network

 

回忆一下SVM里面的高斯核

radial：描述x与中心点的距离

basis function：用来组合的基本函数

RBFN也是一种NN.

 RBF网络是对一组RBF的线性组合

RBF也是一种描述相似性的方式，RBFN通过 点与中心的距离（相似性）来做特征转换。

 

full RBFN是指每个样本点都是center，都有权发表对新进x的意见。

引出KNN模型

 

在回归问题上，输出直接是对RBF的线性组合，RBF看做是transform

利用平方误差损失求最佳的beta

L2正则的full RBFN，联系到 L2 kernel regression

 

继续看对RBFN的正则，减少center，也就是减少变量，basis_function变少。

 

如何减少center呢？找好的代表，就联系到了聚类问题。

 

将样本分为S1..Sm份，每份的代表为mu_i，损失函数Ein里面S与mu都是变量，怎么求呢？

 

这个问题称为组合最佳化问题，思路是交叉进行最优化。

先固定mu，求最佳S，然后根据S更新mu.....这就是 k-means 算法。

 

使用 k-means 算出每类的最佳代表后，就可以使用rbfn了