RelieF

Relief 被认为是一种评估特征质量的非常成功的算法。

Relief的伪代码：

1. Initialization:given ,set ,
2. for t=1:T
3. Randomly select a pattern x from D;
4. Find the nearest hit NH(x) and the miss NM(x) of x ;
5. for i=1:
6. Compute:
7. end
8. end

ReliefF 是Relief 的用于处理多类情况的改进算法如下

1. Initialization:given ,set ,
2. for t=1:T
3. Randomly select a pattern x from D;
4. Find the nearest hit NH(x) and the miss NM(x) of x ;
5. for i=1:
6. Compute:
7. end
8. end

   其中是NH 的大小，

   是的大小

   是在类中的nearest miss 集合

   为类的先验概率

   可以看出relief 是一种类似启发式的搜索，但是对relief的进一步研究比如,I-RELIEF 从数学上解释了relief 为什么具有特征选择的功能