boerduo

摘要： 为什么会存在高估(低估现象) TL;DR 在带噪声的 Q 估计上做最大化，会更容易选中被误差偶然抬高的动作，从而产生系统性正偏差。 一切的起源 零均值假设： \[\hat{Q}(s,a)=Q(s,a)+\epsilon_a, \quad \mathbb{E}[\epsilon_a] = 0 \]从 阅读全文

摘要： 概要：移动平均是一种常用的平滑处理技术，常用与深度学习/深度强化学习的loss或者reward曲线的绘制，其核心思想是当前的点和历史的点之间的加权平均 QA-before Q: 为什么要加权平均？ A: - 消除噪声 - 识别趋势 - 训练稳定性评估 常见的移动平均方法 在深度学习中常用的移动平均算 阅读全文

摘要： 最近由于有编程的需要，但是Vscode的copilot使用量又少的可怜，看到Github有学生认证，因此自己也来试一试。下面来讲讲我是如何进行Github学生身份认证的。 前置条件： 需要准备一个教育邮箱 (以edu.cn结尾，例如 xxx@thu.edu.cn） 断开所有的VPN连接(包括校园网) 阅读全文