libsvm简介和函数调用参数说明

1.      libSVM简介

       libSVM是台湾林智仁(Chih-Jen Lin) 教授2001年开发的一套支持向量机库,这套库运算速度挺快,可以很方便的对数据做分类或回归。由于libSVM程序小,运用灵活,输入参数少,并且是开源的,易于扩展,因此成为目前国内应用最多的SVM的库。
    本实验使用libSVM3.18版本。


2.      libSVM 3.18包含的内容
(1)Java文件夹  ,主要应用于java平台;  
(2)Python文件夹,是用来参数优选的工具,稍后介绍;  
(3)tools文件夹,主要包含四个python文件,用来数据集抽样(subset),参数优选(grid),集成测试(easy), 数据查(checkdata);  
(4)windows文件夹 —— 包含libSVM四个exe程序包,我们所用的库就是他们,里面还有个heart_scale,是一 个样本文件,可以用                       记事本打开,用来测试用的。  
(5)svm-toy文件,一个可视化的工具,用来展示训练数据和分类界面,里面是源码,其编译后的程序在windows文件夹下;  
(6)heart_scale文件,是测试用的训练文件
(7)其他.h和.cpp文件都是程序的源码,可以编译出相应的.exe文件。其中,最重要的是svm.h和svm.cpp文件,svm-predict.c、svm-scale.c和svm-train.c(还有一个svm-toy.c在svm-toy文件夹中)都是调用的这个文件中的接口函数,编译后就是windows下相应的四个exe程序。另外,里面的 README 跟 FAQ 是很好的帮助文件。


3.      最简单的SVM实验
(1)首先解压工具包,切记工具包解压到英文的目录,因为很多DOS无法输入中文;
(2)由于SVM的执行必须有参数,所以必须在DOS下输入执行文件,并输入参数才能运行,所以先打开MS-DOS,Win+R;
(3) 定位到SVM中的windows目录下,DOS命令见附录1,我的目录是:D:\MyTests\SVM\libSVM-3.18\windows;
(4)进行训练,输入命令:svm-train heart_scale train.model,其中heart_scale是训练文本(如图1)、train.Model是训练后的输  出文本,输出权系数及各支持向量。
(5)运行后,可以在DOS界面看到如下结果:

                                           *  

optimization finished, #iter = 162  

nu = 0.431029  

obj = -100.877288, rho = 0.424462  

nSV = 132, nBSV = 107  

Total nSV = 132

            其中,#iter为迭代次数,nu 是你选择的核函数类型的参数,obj为SVM文件转换为的二次规划求解得到的最小值,rho为判决函数的偏置项b,nSV 为标准支持向量个数(0<a<c),nBSV为边界上的支持向量个数(a=c),Total nSV为支持向量总个数(对于两类来说,因为只有一个分类模型Total nSV = nSV,但是对于多类,这个是各个分类模型的nSV之和)。

(6)      在train.Model中,生成了许多相关系数(如图3),如下:
svm_type c_svc                     //所选择的svm类型,默认为c_svc  
  kernel_type rbf                       //训练采用的核函数类型,此处为RBF核  
  gamma 0.0769231                   //RBF核的参数γ  
nr_class 2                               //类别数,此处为两分类问题  、
total_sv 132                           //支持向量总个数  
  rho 0.424462                          //判决函数的偏置项b  
  label 1 -1                                 //原始文件中的类别标识  
  nr_sv 64 68                           //每个类的支持向量机的个数  
  SV                                          //以下为各个类的权系数及相应的支持向量

(7)      至此,SVM最基本的训练已经完成。

    下面进行实际的数据训练:

4.      libSVM的训练文本的格式
    首先必须了解libSVM数据格式,格式如下:
    Label 1:value 2:value ….
       Label:是类别的标识,比如上节train.model中提到的1 -1,可以自己随意定,比如-10,0,15。当然,如果是回归,这是目标值,就要实事求是了。Value:就是要训练的数据,从分类的角度来说就是特征值,数据之间用空格隔开。如果特征值为0,特征冒号前面的(姑且称做序号)可以不连续。从编程的角度来说,这样做可以减少内存的使用,并提高做矩阵内积时的运算速度。

5.      数据缩放svm-scale

       svm-scale是用来对原始样本进行缩放的,范围可以自己定,一般是[0,1]或[-1,1]。缩放的目的主要是  (1)防止某个特征过大或过小,从而在训练中起的作用不平衡;  (2)为了计算速度,因为在核计算中,会用到内积运算或exp运算,不平衡的数据可能造成计算困难。
    用法:svm-scale [-l lower] [-u upper]  

                             [-y y_lower y_upper]  

                             [-s save_filename]  

                            [-r restore_filename] filename

    其中,[]中都是可选项:-l:设定数据下限;lower:设定的数据下限值,缺省为-1 ;-u设定数据上限;upper:设定的数据上限值,缺省为 1;-y:是否对目标值同时进行缩放;y_lower为下限值,y_upper为上限值;  -s save_filename:表示将缩放的规则保存为文件save_filename;  -r restore_filename:表示将按照已经存在的规则文件restore_filename进行缩放;   filename:待缩放的数据文件,文件格式按照libSVM格式。 默认情况下,只需要输入要缩放的文件名就可以了:比如(已经存在的文件为)heart_scale。比如:svmscale –l 0 –u 1 –s test.rangeheart_scale > out.txt,其中-l是数据下限,-u是数据上限,-s是保存文件,规则信息保存的文件名为test.range,需要缩放的文件时heart_scale,数据缩放的结果文件保存为out.txt。

6.      训练数据svm-train
        svm-train主要实现对训练数据集的训练,并可以获得SVM模型。用法: svm-train [options] training_set_file [model_file],其中options为操作参数,可用的选项即表示的涵义如下所示:

        -s 设置svm类型:  
         0 – C-SVC  ;1 – v-SVC  ; 2 – one-class-SVM  ; 3 – ε-SVR  ;  4 – n - SVR
        -t 设置核函数类型,默认值为2
         0 -- 线性核:u'*v  ;                     1 -- 多项式核: (g*u'*v+ coef 0)degree  
         2 -- RBF 核:exp(-γ*||u-v||2)       3 -- sigmoid 核:tanh(γ*u'*v+ coef 0) 
        -d degree: 设置多项式核中degree的值,默认为3 
        -gγ: 设置核函数中γ的值,默认为1/k,k为特征(或者说是属性)数;  
        -r coef 0:设置核函数中的coef 0,默认值为0;  
        -c cost:设置C-SVC、ε-SVR、n - SVR中从惩罚系数C,默认值为1;  
        -n v :设置v-SVC、one-class-SVM 与n - SVR 中参数n ,默认值0.5;  
        -p ε :设置v-SVR的损失函数中的e ,默认值为0.1;  
        -m cachesize:设置cache内存大小,以MB为单位,默认值为40;  
        -e ε :设置终止准则中的可容忍偏差,默认值为0.001;  
        -h shrinking:是否使用启发式,可选值为0 或1,默认值为1;  
        -b 概率估计:是否计算SVC或SVR的概率估计,可选值0 或1,默认0;  
        -wi weight:对各类样本的惩罚系数C加权,默认值为1; 
        -v n:n折交叉验证模式;  
        model_file:可选项,为要保存的结果文件,称为模型文件,以便在预测时使用。
    训练完了之后,我们就可以对数据进行预测了,但是,训练的数据未必是最优参数,所以需要进一步优化。LibSVM提供了优化工具,就是tools文件夹,其中包含了grid.py文件和easy.py文件,grid文件可以针对训练数据优选出最佳参数值,而easy则提供了对样本文件做了“一条龙服务”,从参数优选,到文件预测。

7.      grid.py参数优化

grid.py和easy.py这两个文件都要用python和绘图工具gnuplot。我的python安装在C:\Python33下,而gnuplot解压到D:\MyTests\SVM\gnuplot,libSVM放在了D:\MyTests\SVM\libSVM-3.18中。
    文件grid.py是对C-SVC的参数c和γ做优选的,原理也是网格遍历,假设我们要对目录d:\libSVM\program\tools下的样本文件heart_scale做优选,其具体用法为:
    第一步:打开D:\MyTests\SVM\libSVM-3.18下的tools文件夹,找到grid.py文件。用python打开(不能双击,而要右键选择“Edit with IDLE”),修改svmtrain_exe和gnuplot_exe的路径(由于我是win7 64位,所以修改的是64位的地址)。
    r'D:\MyTests\SVM\libSVM-3.18\windows\svm-train.exe'
       r'D:\MyTests\SVM\gnuplot\bin\pgnuplot.exe'
       第二步:运行cmd,进入dos环境,定位到d:\libSVM\program\tools文件夹,输入:
    python grid.py heart_scale,会看到dos窗口中飞速乱串的[local]数据,以及一个gnuplot的动态绘图窗口,如图7和图8:



图8 调优时gnuplot训练文本所形成的向量机

大约过10秒钟,就会停止。Dos窗口中的[local]数据时局部最优值,这个不用管,直接看最后一行:
    2048.0 0.0001220703125 84.0741
      其意义表示:C = 2048.0;γ=0.0001220703125;交叉验证精度CV Rate = 84.0741%,这就是最优结果。
    第四步:打开目录d:\libSVM\program\tools,我们可以看到新生成了两个文件:heart_scale.out和heart_scale.png,第一个文件就是搜索过程中的[local]和最优数据,第二个文件就是gnuplot图像。

现在grid.py已经运行完了,可以把最优参数输入到svm-train中进行训练了。
    OK,同开始一样,定位到svm的windows下,输入:
    svm-train –c 2048.0 –g 0.0001220703125 heart_scaletrainagain1.model
       其中-c和-g就是优化后的参数。

可以看出,迭代次数从162次上升到了1046次,边界上的支持向量个数从107下降到了91,说明在优化以前边界向量有10多个错误分类,同时,总支持向量个数从132减到了103。

8.      测试文本预测

之后,根据训练模型进行数据分类预测。用法:
    svmpredict [options] test_file model_file output_file
      其中,options为操作参数,可用的选项即表示的涵义如下所示:
      b probability_estimates:是否需要进行概率估计预测,可选值为0 或者1,默认值为0。     
      model_file:是由svmtrain 产生的模型文件; 
      test_file:是要进行预测的数据文件,格式也要符合libSVM格式,即使不知道label的值,也要任意填一个,svmpredict会在output_file中给出正确的label结果,如果知道label的值,就会输出正确率; 
      output_file:是svmpredict 的输出文件,表示预测的结果值。  

总结:

       使用libSVM的关键在于熟悉SVM的工作原理以及文本的格式化,了解各部分的参数含义。预测的关键在于参数调优过程。libSVM只对惩罚系数C和核函数γ系数进行修改,其他参数不进行调优。

附录1:
需要了解两个命令 
盘符:  例如想进入D盘   d:  
cd      进入到当前盘某个目录。
cd \    进入当前盘根目录
cd \windows  进入到当前盘Windows目录
cd..   退出到上一级目录
注:进入含有特殊字符目录时需要加引号  例如 cd"c:\program files"

 

posted @ 2016-04-21 10:27  贾慧玉  阅读(15858)  评论(3编辑  收藏  举报