SkyRainWind

摘要： 由于去年打的不错（+运气比较好），能去两个 Final 打打旅游，最后都铜了，没铁也算能接受毕竟单论实力确实打不过其他学校的一二队。 EC-Final 时间地点：2024.1.12-1.14，上海 过去的有点久，可能有些记不太清楚的地方。 开场过了几分钟有人过 B，我们几个去看 B，想了一会胡了一个 阅读全文

摘要： 主要记录一下自己仔细学习 RL 时的感悟。记录一下防止遗忘 Q-learning 和 DQN 都是基于值函数的（如 \(V\) 和 \(Q\) 函数），而策略梯度（policy gradient）则是基于策略的。后者显式的训练一个策略，对这个策略使用梯度下降等方法。 actor-critic 本质上 阅读全文

摘要： 伫立在时间的十字路口，连接着过去和未来。学期伊始，是时候总结上学期、展望新学期了。 上个学期，是非常精彩的一个学期，我取得了不错的成绩，也为我的保研之路打下了坚实基础。 文化课方面，在期末月和平时常请假外出打比赛的情况下，我没有放松，而是努力拼搏，最后成绩也十分稳定，3 门理科课接近满分，马原虽然比 阅读全文

摘要： 之前提到过，强化学习中有 policy gradient 的方法，其实质是利用 MC 的方法对于当前的模型（\(\theta\) 或者 \(\pi\)，可以认为是由状态到行为的映射）重复跑很多次，求出估计的“期望值”，最终目标是最大化他们的 reward（因此可以将 loss 设置成负的期望）。 这 阅读全文

摘要： 可能要写点轮子。。。先学学前端知识吧，记录一下。 遍历： for(let i of S){i...} for(let i in S){S[i]...} 数组增长： S = [] S.push(1) S.push([1, 2, 3]) S.pop() JS 是弱类型的语言。目前感觉到的特性有： 数组不 阅读全文

摘要： 不是很难做的作业，调调 epoch，改改权重就能过 medium，最后按照论文调一下可变的权重就能过 strong。 题目大意是说给定训练集是 10 种现实里的生物和他们的标签，希望对测试集中种类相同但是画风不同的生物进行分类。 采用 DaNN 的架构，feature extractor 用于 “提 阅读全文

摘要： 引入 给一张动物的图片，分辨是什么动物。这个问题可以用 CNN 解决（HW3）。核心是通过有标注（label）的图片进行学习。 而在下围棋时，如何落子是一个难以标注的问题，但是机器可以学到什么是好的，什么是不好的。这就是强化学习的适用场景。 结构 总的目标是想找一个 Actor（或称 policy） 阅读全文

摘要： 重新学习了一下 ResNet。。这作业平均一跑就是3、4个小时 题目大意是让你做异常检测（anomaly detection），即给你一些正常的图片，再让你测试图片是正常的还是异常的（可以理解为 2 分类问题，只不过其中一个类别是无限大的） 代码：https://www.kaggle.com/cod 阅读全文

摘要： 原文发于百度贴吧。 前言 这两天爆肝总算把后篇打完了，前篇由于是在 steam 玩的英文版，加上还要应付学校里的事，前前后后打了1个多月。后篇打的就快多了。 当打完后篇之后去看前篇的op，看到了许多以前没注意到的细节，不得不狠狠夸赞诚哥的才能。唉，诚哥以前这么牛，为啥现在越来越拉了…… 接下来钝评一 阅读全文

摘要： 相对比较轻松的作业，不用做大的修改，代码写的也挺清晰的。。。 题目是要求实作一个截取版的 QA，即给一个文档和一个问题，要求在文档中找这个问题的答案（同时保证是连续的一段），给训练集、dev集（个人感觉就是认为划定了 training set 和 validation set）和答案集 代码：htt 阅读全文