▲基于双深度Qlearning强化学习(DDQN)的稀疏圆阵非均匀阵列位置优化算法matlab仿真

✅1.问题描述

✨2.稀疏圆阵优化原理

2.1 稀疏圆阵信号模型

2.2 优化目标函数

✅1.问题描述

在现代雷达探测、无线通信、声呐定位以及电子侦察等工程应用领域，阵列信号处理技术扮演着至关重要的角色。其中，波达方向(DOA, Direction of Arrival)估计是阵列信号处理的核心任务之一。传统均匀圆形阵列(UCA)虽然结构对称、易于实现二维DOA估计，但当阵元数量受限时，其孔径利用率较低，分辨力和估计精度均难以满足高性能需求。

稀疏圆形阵列(Sparse Circular Array, SCA)通过非均匀地放置阵元于圆周上，可在通道数受限条件下显著扩展虚拟孔径、降低旁瓣电平，从而提升DOA估计性能。然而，稀疏阵列位置优化属于典型的组合优化问题(NP-hard)，传统遗传算法、模拟退火、粒子群等启发式方法存在收敛慢、易陷入局部最优等弊端。近年来，深度强化学习(DRL)特别是双深度Q学习(DDQN, Double Deep Q-Network)在解决高维离散决策问题中展现出卓越性能。本文系统介绍基于DDQN的稀疏圆阵非均匀位置优化设计方法。

✨2.稀疏圆阵优化原理

2.1 稀疏圆阵信号模型

设半径为R的圆周上均匀划分N个候选位置，从中选取M个(M<N)作为实际阵元位置。第m个阵元的坐标为：

2.2 优化目标函数

为兼顾DOA估计精度和角度分辨力，构建双指标优化目标：

二维DOA估计Ziv-Zakai下界

ZZB是均方误差（MSE）的全局紧致下界，能在低信噪比下仍准确刻画估计性能：

峰值旁瓣电平（PSL）

PSL用以衡量阵列方向图的旁瓣抑制能力：

综合代价函数

α,β为权重系数，p=[n1,n2,…,nM]为阵元位置索引向量。

🔍3.双深度Q学习(DDQN)原理

强化学习以马尔可夫决策过程（MDP）描述：智能体在状态st下选择动作at，环境反馈奖励rt 并转移到新状态st+1。目标是最大化累积折扣回报：

3.1 Q学习与DQN

动作价值函数Q(s,a)定义为状态s下执行动作a的期望累积回报。Bellman最优方程：

3.2 DDQN的改进

标准DQN在目标值计算中使用max⁡max操作易导致过估计偏差。DDQN将动作选择与价值评估解耦：

由当前网络选动作、目标网络评估Q值，从而显著降低偏差，提升训练稳定性与最终策略质量。

🚀4.MATLAB程序

params.N         = 36;        % 圆周候选位置数
params.M         = 10;        % 实际阵元数量
params.R         = 0.5;       % 圆阵半径(单位: 波长)
params.lambda    = 1.0;       % 工作波长
params.c         = 3e8;       % 光速
params.fc        = 3e8 / params.lambda;

% ----- DOA扫描栅格 -----
params.thetaGrid = linspace(-pi,  pi, 181);   % 方位角
params.phiGrid   = linspace( 0, pi/2, 46);    % 俯仰角
params.targetTheta = 0;                       % 主波束方位
params.targetPhi   = pi/4;                    % 主波束俯仰

% ----- 优化目标权重 -----
params.alpha = 0.5;   % ZZB权重
params.beta  = 0.5;   % PSL权重

% ----- DDQN超参数 -----
hyper.numEpisodes   = 300;     % 训练回合
hyper.maxSteps      = 60;      % 每回合最大步数
hyper.gamma         = 0.92;    % 折扣因子
hyper.lr            = 1e-3;    % 学习率
hyper.batchSize     = 32;      % 小批量大小
hyper.memCap        = 3000;    % 经验回放池容量
hyper.targetUpdate  = 25;      % 目标网络更新间隔(回合)
hyper.epsStart      = 1.0;     % 初始探索率
hyper.epsMin        = 0.05;    % 最小探索率
hyper.epsDecay      = 0.985;   % 探索率衰减
hyper.hiddenDim1    = 256;     % 隐藏层1节点数
hyper.hiddenDim2    = 128;     % 隐藏层2节点数
hyper.gradClip      = 1.0;     % 梯度裁剪阈值