离心律

摘要： SAM3 是 Meta 在 SAM 系列上的进一步扩展：它不再只是“给点/框后抠出一个 mask”的图像分割模型，而是统一处理 图像和视频中的检测、分割、跟踪，并支持文本、exemplar、visual prompt 等更高层的目标提示；SAM 的发展可以概括为：SAM1 提出 promptable segmentation，用点、框、mask 等提示在图像中分割任意目标，并基于 1100 万图像、10 亿级 masks 训练，核心价值是强 zero-shot 分割能力；SAM2 把能力从图像扩展到视频，引入适合视频的实时交互分割和 streaming memory；SAM3 则进一步从“交互式分割某个目标”走向“根据概念找出所有相关目标并分割/跟踪”，也就是更接近 open-vocabulary detection + segmentation + tracking 的统一模型。 阅读全文

摘要： 本文围绕 RT-1、RT-2、OpenVLA、CogACT 和 π₀ 五项代表性工作，结合论文架构图与机器人演示，简要梳理 VLA（Vision-Language-Action）模型 的发展脉络，介绍各模型的基本架构、主要思路及其区别，包括从离散动作预测到 Diffusion / Flow Matc 阅读全文

摘要： 上采样 最近邻插值 最简单的上采样。没有可学习参数，不训练。做法是：新位置的值直接复制离它最近的旧位置。 缺点是结果容易块状，不平滑。 双线性插值 固定上采样方法，也没有可学习参数。它不是直接复制，而是根据周围 4 个点做加权平均。 低分辨率图像不是只有孤立的几个点，而是可以想象成一张连续的平面，只 阅读全文

摘要： 从手写 PPO 到 SB3 SAC：MaMuJoCo Humanoid 连续控制项目报告 项目地址：https://github.com/xlcooper/Humanoid-locomotion-rl 1. 项目背景 Humanoid 是 MuJoCo 中经典的高维连续控制 locomotion 任 阅读全文

摘要： DDPG 算法直觉 DDPG 是一种面向连续动作空间的 off-policy Actor-Critic 算法，它将 DPG 与 DQN 的经验回放、目标网络等稳定训练机制结合，使智能体能够直接学习连续控制任务中的动作策略。 DDPG 算法类型 off-policy DDPG 训练中采样时需要添加噪声 阅读全文

摘要： 1. Double DQN DQN 在实际 Atari 任务中确实会发生明显的 \(Q\) 值高估，而且这种高估会伤害策略表现；Double DQN 把这两件事拆开，选动作和评估动作不再用同一个 max。 回顾经典的 Q-learning 算法： \[Y_t^Q = R_{t+1} + \gamma 阅读全文

摘要： Advantage 优势函数 在强化学习中，智能体并不只是关心“一个动作最后得到了多少回报”，更重要的是判断：在当前状态下，这个动作是否比正常选择更好。仅使用回报 \(G_t\) 或动作价值 \(Q(s,a)\) 进行策略更新，容易受到状态本身难易程度的影响；有些状态天然容易获得高回报，有些状态即使 阅读全文

摘要： PPO 算法 Proximal Policy Optimization (PPO) 是一种强化学习（RL）算法，由 OpenAI 于 2017 年提出，用于在连续或离散动作空间中高效训练智能体。其核心思想是在保证学习稳定性的同时提升样本效率，是一种策略梯度方法的改进形式。 PPO算法类型 on-po 阅读全文

摘要： REINFORCE 算法 标准 REINFORCE 方法属于最基础的基于策略的强化学习算法，也叫 Monte Carlo Policy Gradient。基于策略的强化学习算法，核心是直接学习“应该怎么选动作”，直接学习一个策略：\(π(a∣s)\) （在状态 \(s\) 下，选择动作 \(a\) 阅读全文

摘要： 基于 Windows + Ubuntu 练习 MuJoCo 模拟 在本地 Windows 电脑上学习 MuJoCo 时，如果服务器是无图形界面的 Ubuntu 环境，最常见的问题是：仿真程序可以运行，但看不到 MuJoCo Viewer 的可视化窗口。本文记录了一套基于 Windows + Ubun 阅读全文