基于MATLAB的粒子群算法（PSO）优化libsvm参数完整实现

一、优化原理与流程

1. 优化目标

• 参数空间：SVM关键参数为惩罚系数C和RBF核参数gamma
• 目标函数：最大化交叉验证准确率（分类）或最小化均方误差（回归）

2. PSO算法流程

graph TD A[初始化粒子群] --> B{适应度评估} B --> C[更新个体最优] C --> D[更新全局最优] D --> E{终止条件?} E -->|是| F[输出最优参数] E -->|否| B

---

二、代码实现

1. 数据准备与预处理

% 加载数据（示例使用鸢尾花数据集）
load fisheriris
X = meas';  % 特征矩阵 (4维)
Y = grp2idx(species);  % 类别标签

% 数据归一化
[X, ps_input] = mapminmax(X', 0, 1);
X = X';

% 划分训练集/测试集
cv = cvpartition(Y,'HoldOut',0.3);
X_train = X(cv.training,:);
Y_train = Y(cv.training);
X_test = X(cv.test,:);
Y_test = Y(cv.test);

2. PSO参数设置

% PSO参数
pso_option = struct(...
    'maxgen', 100,    % 最大迭代次数
    'sizepop', 30,    % 粒子数量
    'c1', 1.5,        % 个体学习因子
    'c2', 1.7,        % 群体学习因子
    'w', 0.7,         % 惯性权重
    'vmax', 0.5,      % 速度上限
    'vmin', -0.5,     % 速度下限
    'pc1', 0.1,       % 参数c1变异概率
    'pc2', 0.1);     % 参数c2变异概率

% SVM参数范围
param_range = [0.01, 100;   % C的范围
               0.001, 10];  % gamma的范围

3. 适应度函数定义

function fitness = svmFitness(params, X_train, Y_train)
    % 参数解码
    C = 10^params(1);
    gamma = 10^params(2);
    
    % 交叉验证参数
    cmd = sprintf('-v 5 -c %f -g %f', C, gamma);
    
    % 训练SVM并返回交叉验证准确率
    accuracy = svmtrain(Y_train, X_train, cmd);
    fitness = -accuracy;  % 最小化问题
end

4. PSO优化过程

% 初始化粒子群
num_particles = pso_option.sizepop;
dim = 2;  % C和gamma两个参数
particles = rand(num_particles, dim) .* (param_range(:,2)' - param_range(:,1)') + param_range(:,1)';
velocities = rand(num_particles, dim) .* (pso_option.vmax - pso_option.vmin) + pso_option.vmin;

% 初始化个体最优
pbest = particles;
pbest_fitness = inf(num_particles,1);

% 初始化全局最优
[gbest_fitness, gbest_idx] = min(pbest_fitness);
gbest = pbest(gbest_idx,:);

% 迭代优化
for iter = 1:pso_option.maxgen
    for i = 1:num_particles
        % 适应度评估
        current_fitness = svmFitness(particles(i,:), X_train, Y_train);
        
        % 更新个体最优
        if current_fitness < pbest_fitness(i)
            pbest(i,:) = particles(i,:);
            pbest_fitness(i) = current_fitness;
        end
        
        % 更新全局最优
        if current_fitness < gbest_fitness
            gbest = particles(i,:);
            gbest_fitness = current_fitness;
        end
    end
    
    % 速度更新
    r1 = rand(num_particles,dim);
    r2 = rand(num_particles,dim);
    velocities = pso_option.w*velocities ...
        + pso_option.c1*r1.*(pbest - particles) ...
        + pso_option.c2*r2.*(gbest - particles);
    
    % 速度限制
    velocities = max(min(velocities, pso_option.vmax), pso_option.vmin);
    
    % 位置更新
    particles = particles + velocities;
    
    % 参数范围限制
    particles(:,1) = max(min(particles(:,1), param_range(1,2)), param_range(1,1));
    particles(:,2) = max(min(particles(:,2), param_range(2,2)), param_range(2,1));
    
    % 自适应变异
    if rand < pso_option.pc1
        particles(:,1) = 10^randn(num_particles,1);
    end
    if rand < pso_option.pc2
        particles(:,2) = 10^randn(num_particles,1);
    end
    
    % 显示迭代信息
    fprintf('Iter %d: Best Fitness=%.4f (C=%.4f, gamma=%.4f)\n',...
        iter, -gbest_fitness, 10^gbest(1), 10^gbest(2));
end

5. 模型训练与评估

% 使用最优参数训练SVM
best_C = 10^gbest(1);
best_gamma = 10^gbest(2);
cmd = sprintf('-c %f -g %f', best_C, best_gamma);
model = svmtrain(Y_train, X_train, cmd);

% 测试集预测
[predict_label, accuracy, dec_values] = svmpredict(Y_test, X_test, model);

% 结果输出
fprintf('测试集准确率: %.2f%%
', accuracy(1));

---

三、改进

1. 自适应参数调整

• 惯性权重动态调整：

  w = pso_option.w * (1 - iter/pso_option.maxgen);  % 线性递减
  

• 学习因子自适应：

  c1 = pso_option.c1 * (1 - iter/pso_option.maxgen);
  c2 = pso_option.c2 * (1 + iter/pso_option.maxgen);
  

2. 多目标优化扩展

% 同时优化准确率和模型复杂度
fitness = -accuracy + 0.1*(sum(W.^2));  % W为支持向量权重

3. 并行计算加速

parfor i = 1:num_particles
    % 并行计算适应度
end

参考代码 小波神经网络预测代码 www.youwenfan.com/contentcni/64776.html

四、可视化分析

1. 参数收敛曲线

figure;
plot(1:pso_option.maxgen, -gbest_fitness*ones(1,pso_option.maxgen), 'r--');
hold on;
plot(1:pso_option.maxgen, mean(pbest_fitness,1), 'b-.');
legend('全局最优', '平均适应度');
xlabel('迭代次数'); ylabel('适应度值');
title('PSO收敛曲线');

2. 参数分布热力图

figure;
histogram2(pbest(:,1), pbest(:,2), 'DisplayStyle','tile');
xlabel('log10(C)'); ylabel('log10(gamma)');
title('最优参数分布');
colorbar;