基于QLearning强化学习的城市交通拥堵治理matlab仿真

1.引言

该程序通过Q-Learning强化学习算法对4×4网格状城市路网的交通拥堵进行智能治理，核心是让智能体（决策模块）通过与路网环境的交互学习最优拥堵治理策略，最终实现降低路网平均通行时间、缓解拥堵的目标。

2.算法测试效果

3.算法涉及理论知识概要

程序将拥堵治理拆解为环境建模、Q-Learning决策、奖励反馈、经验回放四大核心模块，参数配置服务于 “探索 - 利用” 平衡和训练稳定性。

核心流程为“状态编码→动作选择 →环境交互→奖励计算→Q 表更新→参数衰减”，具体如下：

3.1 状态编码（encode_state）

将16个节点的车辆分布（二维矩阵）转化为1维状态值（1~16），作为Q表的行索引，实现“拥堵状态→数值化编码”，便于Q表查询。

路网环境建模

拓扑：4×4网格（16个节点、24条路段，横向+纵向各12条）

状态量化：节点拥堵程度 = 关联路段车辆数平均值

初始状态：路段车辆数随机初始化（0.25×最大阈值内）

3.2 ε-贪心动作选择
探索阶段（训练初期）：以50%概率随机选动作（覆盖所有策略，避免局部最优）；

利用阶段（训练后期）：以1-ε概率选择Q表中当前状态下奖励最大的动作（复用已学习的最优策略）。

3.3 环境交互（step_environment）
执行选中的治理动作，更新路网状态：

输入：当前路段车辆数、节点分布、动作编号；

输出：更新后的路段 / 节点车辆分布（下一状态）。

若选择 “路径诱导-均衡分配”，则将拥堵路段的车辆分流至负载低的路段，降低局部节点车辆数。

拥堵治理动作集

信号灯配时：短周期（30s，低拥堵）、中周期（60s，中拥堵）、长周期（90s，高拥堵）

路径诱导：优先主干道、全局均衡分配、封闭超拥堵路段（极端策略）

3.4 奖励计算
计算所有路段车辆数与 max_vehicle 的偏离度（偏离越小，奖励越高）；

结合动作类 型调整奖励（如“封闭超拥堵路段” 仅在路段车辆数超阈值时奖励，否则惩罚）；

奖励值由“路段车辆数偏离阈值程度”和“动作合理性”计算，核心目标：

惩罚：路段车辆数接近/超过max_vehicle（100辆）

奖励：路段负载均衡、平均通行时间降低

同步计算平均通行时间（作为拥堵治理效果的辅助指标）。