Dsp Tian

摘要： LQR 是一种优化控制方法，设计目标是找到一组控制输入，使得线性系统的状态轨迹尽可能地接近目标，同时使控制输入尽可能小。其目标函数是一个二次型成本函数。 分为以下几个步骤： 1. 设系统动态方程为： 其中x为状态量，u为控制输入，A和B为状态转移和控制矩阵。 2. 定义一个性能指标，即控制器的优化目 阅读全文

摘要： 之前有实现Q-Learning走迷宫，本篇实现SARSA走迷宫。 Q-Learning是一种off-policy算法，当前步采取的决策action不直接作用于环境生成下一次state，而是选择最优的奖励来更新Q表。 更新公式： SARSA是一种on-policy算法，当前步采取的策略action既直 阅读全文

摘要： 之前有通过ode和simulink解线性常微分方程组。 除了上面两种方法，线性常微分方程组还可以通过矩阵的方法求解。 比如下面这个之前使用的方程组： x'' = x' - x + y' -z' y'' = y' - y - x' z'' = z' - z + x' 可以写成下面矩阵形式： 设这个矩阵 阅读全文

摘要： 如果想做基于图像cnn的深度强化学习，需要拿到gym的截图，下面是两种截图方法。 1. 利用render结果生成图像： import gym import warnings import os from PIL import Image warnings.filterwarnings("ignore 阅读全文

摘要： 上一篇配置成功gym环境后，就可以利用该环境做强化学习仿真了。 这里首先用之前学习过的qlearning来处理CartPole-v1模型。 CartPole-v1是一个倒立摆模型，目标是通过左右移动滑块保证倒立杆能够尽可能长时间倒立，最长步骤为500步。 模型控制量是左0、右1两个。 模型状态量为下 阅读全文

摘要： gym是python中的一个强化学习环境，想要完整配置并跑起来坑还是比较多的。 下面记录一下Windows完整安装过程，Linux下过程基本类似。 1. 执行pip install gym直接安装的是0.26.2版本，网上常见的代码无法兼容，这里安装0.25.2版，并且安装对应的pygame。 执行 阅读全文

摘要： 当时写stanley就实现了，贴上来记录一下。 方法示意图： 控制率公式： 其中L为轴距，e为横向误差，v为车辆速度，lambda和c为控制参数。 算法步骤如下： 1. 根据当前定位结果找到路径最邻近点。 2. 计算该点与定位结果横向误差e。 3. 根据控制率公式计算出前轮转角。 4. 将前轮转角转 阅读全文

摘要： 如果一个机器上有多个gpu，可以使用多gpu训练。 一般数据量和模型比较大的时候训练速度会有明显的提升，模型和数据比较小的时候反而可能因为数据通信原因导致性能下降。 下面是一个简单的例子： import time import torch import torchvision.models from 阅读全文

摘要： 有时候pip下载安装特别慢，可以考虑更换下载源： 清华源： pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple 阿里源： pip config set global.index-url https://mi 阅读全文

摘要： 主要用了两个库：pipdeptree和pyecharts。 pipdeptree用来解析所有库的依赖关系。 pyecharts用来显示依赖的网络关系。 通常的方法应该是通过输入下面命令： pipdeptree --json-tree > pkg.json 得到关系树文件，然后解析该文件并在pyech 阅读全文