2026年2月13日
LLM | 常用的数学数据集：MATH、GSM8K、AIME24 等
摘要： 提供了 MATH、GSM8K、AIME24 等常用数学数据集的 基本信息和链接。 阅读全文
posted @ 2026-02-13 13:13 MoonOut 阅读(569) 评论(0) 推荐(0)
LLM | REINFORCE++：好像是近期的 LLM RL 新方法
摘要： REINFORCE++ 把 GRPO“prompt 小组内归一化优势”升级为“全局 batch 上标准化优势”，并搭配稳定的 KL 估计方式，比 PPO 轻量级，比 GRPO 稳定和泛化性强。 阅读全文
posted @ 2026-02-13 11:51 MoonOut 阅读(172) 评论(0) 推荐(0)
2026年2月3日
论文速读记录 | 2026.02
摘要： 2026.02 | 速读文章纪录 阅读全文
posted @ 2026-02-03 08:50 MoonOut 阅读(80) 评论(0) 推荐(0)
2026年1月30日
如何传输本地大文件至 Linux 服务器
摘要： rsync -avzP --progress /本地/大文件.zip user@服务器IP:/目标/路径/ 阅读全文
posted @ 2026-01-30 13:34 MoonOut 阅读(195) 评论(0) 推荐(1)
2026年1月20日
LLM | 正在尝试使用 verl
摘要： 主要参考官方文档，介绍了如何基于 verl 使用 RL 微调大模型。 阅读全文
posted @ 2026-01-20 16:20 MoonOut 阅读(184) 评论(0) 推荐(0)
2026年1月10日
LLM | 正在尝试使用 LLaMA-Factory
摘要： 主要参考知乎博客，介绍了如何基于 LLaMA-Factory 部署和 SFT 微调大模型。 阅读全文
posted @ 2026-01-10 17:22 MoonOut 阅读(63) 评论(0) 推荐(0)
基于梯度组合的多任务 / 多目标学习
摘要： 面对多任务 / 多目标学习中，可能相互冲突的梯度信号，现有方法通过加权、投影、统一符号等方法，调合这些梯度信号。 阅读全文
posted @ 2026-01-10 17:17 MoonOut 阅读(804) 评论(0) 推荐(1)
2026年1月7日
LLM | ARC-AGI：有趣的 benchmark
摘要： ARC-AGI benchmark 提供了基于视觉网格的谜题，它们是“对于人类简单、对于大模型困难”的问题。 阅读全文
posted @ 2026-01-07 19:57 MoonOut 阅读(595) 评论(0) 推荐(2)
2026年1月6日
（已解决）代·理核心崩溃“failed to ■■■ core, logs are not available”
摘要： 管理员打开 cmd，输入 netsh winsock reset，重启电脑就可以了。补档重传。 阅读全文
posted @ 2026-01-06 15:48 MoonOut 阅读(22) 评论(0) 推荐(0)
2026年1月3日
LLM | multi-turn 任务下的 RL 微调：RAGEN, ArCHer, GiGPO, VinePPO
摘要： 最近读了一些在多轮（multi-turn）任务上用 RL 微调 LLM 的文章，记录阅读笔记。 阅读全文
posted @ 2026-01-03 16:54 MoonOut 阅读(121) 评论(0) 推荐(0)
2026年1月2日
Contrastive Learning 对比学习 | InfoNCE loss 与互信息的数学关联
摘要： InfoNCE loss 可以表示互信息的下界：I(X;Y) ≥ log N - L_InfoNCE 。 阅读全文
posted @ 2026-01-02 20:07 MoonOut 阅读(956) 评论(0) 推荐(0)
2026年1月1日
论文速读记录 | 2026.01
摘要： 2026.01 | 速读文章纪录 阅读全文
posted @ 2026-01-01 22:08 MoonOut 阅读(82) 评论(0) 推荐(0)
2025年12月20日
论文速读记录 | 2025.12（2）
摘要： 2025.12 | 速读文章纪录 - 下半月 阅读全文
posted @ 2025-12-20 23:30 MoonOut 阅读(95) 评论(0) 推荐(0)
2025年12月15日
PbRL · MARL | 近期 preference-based MARL 工作速读
摘要： 简单看看近期的 Pb-MARL 工作。 阅读全文
posted @ 2025-12-15 14:20 MoonOut 阅读(67) 评论(0) 推荐(0)
2025年12月13日
offline meta-RL | 近期工作速读记录
摘要： offline meta RL 近期工作的速读记录。 阅读全文
posted @ 2025-12-13 17:36 MoonOut 阅读(819) 评论(0) 推荐(2)
2025年12月7日
offline meta-RL | 经典论文速读记录
摘要： offline meta RL 经典论文的速读记录。 阅读全文
posted @ 2025-12-07 10:35 MoonOut 阅读(1126) 评论(0) 推荐(1)
2025年12月2日
论文速读记录 | 2025.12（1）
摘要： 2025.12 | 速读文章纪录 - 上半月 阅读全文
posted @ 2025-12-02 23:13 MoonOut 阅读(82) 评论(0) 推荐(0)
2025年11月29日
PbRL | 近两年论文阅读的不完全总结
摘要： 存档，博士生资格考试的 20 篇文献。 阅读全文
posted @ 2025-11-29 15:04 MoonOut 阅读(1119) 评论(0) 推荐(2)
2025年11月22日
MORL | Envelope Q-Learning：有收敛性保证的 MORL 算法
摘要： EQL 将单目标的 bellman 算子拓展到多目标 RL 上，并复刻了 value iteration 的收敛性保证。 阅读全文
posted @ 2025-11-22 21:18 MoonOut 阅读(947) 评论(0) 推荐(1)
数据中心 + 事件驱动优化：面向数据中心绿色可靠运行的强化学习方法
摘要： 贾庆山老师团队的事件驱动优化 + 数据中心工作。 阅读全文
posted @ 2025-11-22 16:10 MoonOut 阅读(26) 评论(0) 推荐(0)
2025年11月2日
论文速读记录 | 2025.11
摘要： 2025.11 | 速读文章纪录 阅读全文
posted @ 2025-11-02 12:25 MoonOut 阅读(117) 评论(0) 推荐(0)
2025年10月31日
Skill Discovery | RGSD：基于高质量参考轨迹，预训练 skill space
摘要： ① 用对比学习把参考轨迹的 embedding 尽可能拉远，② 使用 DIAYN reward 同时做模仿学习和 skill discovery。 阅读全文
posted @ 2025-10-31 00:50 MoonOut 阅读(142) 评论(0) 推荐(1)
2025年10月8日
RL | 速读 IJCAI 2025 的强化学习论文
摘要： 速读一下 IJCAI 2025 的 RL 相关论文。 阅读全文
posted @ 2025-10-08 20:53 MoonOut 阅读(761) 评论(4) 推荐(1)
2025年10月2日
论文速读记录 | 2025.10
摘要： 2025.10 | 速读文章纪录 阅读全文
posted @ 2025-10-02 23:00 MoonOut 阅读(121) 评论(0) 推荐(0)
2025年9月2日
论文速读记录 | 2025.09
摘要： 2025.09 | 速读文章纪录 阅读全文
posted @ 2025-09-02 14:16 MoonOut 阅读(98) 评论(0) 推荐(0)
2025年8月6日
论文速读记录 | 2025.08
摘要： 2025.08 | 速读文章纪录 阅读全文
posted @ 2025-08-06 14:10 MoonOut 阅读(58) 评论(0) 推荐(0)
2025年7月18日
Skill Discovery | METRA：让策略探索 state 的紧凑 embedding space
摘要： 为 state space 训练一个紧凑的 embedding space，使得 embedding 间的距离与 temporal distance 相匹配，然后让 policy 尽可能覆盖 embedding space。 阅读全文
posted @ 2025-07-18 23:32 MoonOut 阅读(249) 评论(0) 推荐(0)
2025年7月16日
Skill Discovery | LGSD：用描述 state 的语言 embedding 的距离，作为 metra 的 d(x,y) 距离约束
摘要： 用语义距离 d_lang(x,y) = cos_sim[ l(s_1), l(s_2)] ，来作为 metra 的 1-Lipschitz 约束。 阅读全文
posted @ 2025-07-16 17:50 MoonOut 阅读(223) 评论(0) 推荐(0)
2025年7月15日
Skill Discovery | FoG：使用 LLM / CLIP 给出 dodont 权重，以引导 agent 安全探索
摘要： 使用 LLM / CLIP 模型，输出 state / pixel observation 与人类意图的匹配程度，作为 dodont 的加权权重。 阅读全文
posted @ 2025-07-15 20:34 MoonOut 阅读(101) 评论(0) 推荐(0)
2025年7月14日
Skill Discovery | DoDont：使用 do + don't 示例视频，引导 agent 学习人类期望的 skill
摘要： dodont 将好坏行为的分类器 p hat 融入了 metra 框架里，因此看起来很有直觉。 阅读全文
posted @ 2025-07-14 12:38 MoonOut 阅读(300) 评论(0) 推荐(1)
2025年7月4日
论文速读记录 | 2025.07
摘要： 2025.07 | 速读文章纪录 阅读全文
posted @ 2025-07-04 11:01 MoonOut 阅读(121) 评论(0) 推荐(0)
2025年6月13日
RL | AIR-DREAM Lab 最新论文的速读
摘要： 偶然看到了 AIR-DREAM Lab 的主页，读一下。 阅读全文
posted @ 2025-06-13 22:15 MoonOut 阅读(144) 评论(0) 推荐(0)
2025年6月7日
RL | 如何推导 MaxEnt RL（最大熵 RL）的策略形式 π(a|s) ∝ exp(Q(s, a))
摘要： 考虑一步策略改进，把选 action 的概率 $\pi (a|s)$ 当作变量，$\sum \pi (a|s) = 1$ 作为约束条件，使用拉格朗日乘子 $\lambda$ 干掉。对 $V^\text{new}(s)$ 求偏导，偏导数 = 0。 阅读全文
posted @ 2025-06-07 21:31 MoonOut 阅读(238) 评论(0) 推荐(0)
2025年6月1日
论文速读记录 | 2025.06
摘要： 2025.06 | 速读文章纪录 阅读全文
posted @ 2025-06-01 07:14 MoonOut 阅读(177) 评论(0) 推荐(0)
2025年5月11日
最近读的 MARL 文章
摘要： （一时半会写不完了） 阅读全文
posted @ 2025-05-11 17:43 MoonOut 阅读(246) 评论(0) 推荐(0)
2025年5月2日
论文速读记录 | 2025.05
摘要： 2025.05 | 速读文章纪录 阅读全文
posted @ 2025-05-02 17:47 MoonOut 阅读(197) 评论(0) 推荐(0)
2025年4月15日
Git | 如何将一个 remote branch 拉到本地
摘要： git fetch origin, git stash, git checkout -b [] origin/[] 阅读全文
posted @ 2025-04-15 15:32 MoonOut 阅读(50) 评论(0) 推荐(0)
2025年4月11日
RL · Exploration | ETD：使用时序距离构造 intrinsic reward，鼓励 agent 探索
摘要： 鼓励 agent 探索与当前 episode 历史在到达时间（temporal distance）上较远的状态。 阅读全文
posted @ 2025-04-11 23:40 MoonOut 阅读(257) 评论(1) 推荐(0)
2025年4月2日
（总集篇）Linux | 如何创建一个 home 目录在 /data 磁盘的 sudo 用户
摘要： 在 ubuntu 服务器上，如何创建一个 home 目录在 /data 磁盘的 sudo 用户。 阅读全文
posted @ 2025-04-02 16:52 MoonOut 阅读(523) 评论(1) 推荐(0)
2025年4月1日
论文速读记录 | 2025.04
摘要： 2025.04 | 速读文章纪录 阅读全文
posted @ 2025-04-01 15:10 MoonOut 阅读(237) 评论(2) 推荐(0)