摘要：
笔记 深度优先搜索 位运算 随机化算法 线段树优化 dp && 扫描线 [动态规划] 线性 dp [动态规划] 背包 dp 单调队列优化 dp 斜率优化 dp 简单二分 与 wqs 二分 [字符串专题] KMP Hash Trie [暴力数据结构] 简单分块 [暴力数据结构] 块状链表 [Trick 阅读全文
posted @ 2022-11-05 23:05
PassName
阅读(253)
评论(0)
推荐(1)
摘要：
Scaling Laws（缩放定律） 我们现在所需要研究的问题是，给定固定的计算预算 \(C\)（FLOPs），如何分配模型参数量 \(N\) 和数据量 \(D\) 才能使 Loss \(L\) 最小？ 三大 Scaling Laws 公式 参数缩放律 (Parameter Scaling) 当数据 阅读全文
posted @ 2026-07-09 09:16
PassName
阅读(9)
评论(0)
推荐(0)
摘要：
Attention 机制的核心参数与学习过程 在基础的 Attention 模块中，输入 Input 通常是经过 Embedding 处理后的向量 \(x\)。Query (\(q\))、Key (\(k\)) 和 Value (\(v\)) 均由该输入 \(x\) 乘以各自对应的可学习参数矩阵（如 阅读全文
posted @ 2026-07-07 15:55
PassName
阅读(5)
评论(0)
推荐(0)
摘要：
核心思维：Mechanics vs. Mindset Mechanics（机械层面）：如何用 PyTorch 的 API 搭建张量、模块、优化器和训练循环。 Mindset（思维层面）：每写一段代码，都要有显存与 FLOPs 的概念，知道这段代码“贵不贵”，瓶颈在哪里。 Memory Account 阅读全文
posted @ 2026-07-07 09:57
PassName
阅读(8)
评论(0)
推荐(0)
摘要：
核心理念：Maximize Efficiency（效率优先）。 在给定固定资源（数据量 + GPU算力）下，我们如何才能训练出最优模型？不仅仅是“跑通代码”，而是要关注 FLOPs（计算量）、Memory（显存）、Communication（通信带宽） 的极致利用。 概念区分：内存、显存、缓存 我们 阅读全文
posted @ 2026-07-06 16:25
PassName
阅读(13)
评论(0)
推荐(0)
摘要：
斯坦福 CS336 课程入门笔记 由于作者水平有限，在听课时很多部分都没有听懂，并且为自学，大部分代码实现都是作者手写完之后存在问题，扔给 AI （包括但不限于智谱、千问）进行完善和修改，代码正确性仍然存疑，并且跳过了很多部分。以及参考了一些前辈的文章。 笔记的整理思路为 CS336 所要求的 As 阅读全文
posted @ 2026-07-05 16:37
PassName
阅读(23)
评论(0)
推荐(0)
摘要：
Part1.函数、数列与极限 映射 1. 定义 设 \(X, Y\) 是两个非空集合，若存在一个法则 \(f\)，使得对 \(X\) 中每个元素 \(x\)，按法则 \(f\)，在 \(Y\) 中有唯一确定的元素 \(y\) 与之对应，则称 \(f\) 为从 \(X\) 到 \(Y\) 的映射，（矩 阅读全文
posted @ 2026-06-14 10:58
PassName
阅读(39)
评论(0)
推荐(0)
摘要：
2024.11.2 模拟赛 T1 P11242 碧树 把 \(n\) 个点往外连即可。最终答案为 \(n - \max_{i=1}^na_i + 1\) T2 P11243 繁花 感觉我的做法麻烦了，而且随机复杂度（） 显然的，从左往右看可以分层，遇到一次大于号分一次。对于每段，遍历一遍，每遇到一次 阅读全文
posted @ 2024-11-03 11:14
PassName
阅读(86)
评论(0)
推荐(0)
摘要：
2024.10.23-25 杂题 P7323 [WC2021] 括号路径 如果存在 \((a,b,w)\),\((c,b,w)\)。那么 \((a,c)\) 就是一条合法路径。所以把 \(a,c\) 放入一个集合。然后合并新的的时候把 \(w\) 一样的合并了就行。最后统计每个"块"的数量，答案就是 阅读全文
posted @ 2024-10-25 09:30
PassName
阅读(61)
评论(0)
推荐(0)
摘要：
杭州集训 Day 5,6 Day 4 晚上 Day 4 晚上一直在赤石所以没有整理笔记。抽象 syk。 找 syk 要了 QQ，要到了 上下午还是正常的讲课，晚上就开始抽象了 首先是 syk 抛出了一个问题 “你们会加法？请证明加法结合律” “你凭什么说 1 + 2 = 3” “加法的定义是什么” 阅读全文
posted @ 2024-10-23 09:09
PassName
阅读(50)
评论(0)
推荐(0)
摘要：
数学问题 初等数论 \(a | b\)：\(a\) 整除 \(b\)，也就是 \(a\) 是 \(b\) 的因数，\(b\) 是 \(a\) 的倍数，\(b = ka\) 取模 取整：\(b = ka + r\)，其中 \(0 ≤ r < a\)，则称 \(⌊\frac{b}{a}⌋ = k\)，\ 阅读全文
posted @ 2024-10-23 09:09
PassName
阅读(47)
评论(0)
推荐(0)
浙公网安备 33010602011771号