摘要：
笔记 深度优先搜索 位运算 随机化算法 线段树优化 dp && 扫描线 [动态规划] 线性 dp [动态规划] 背包 dp 单调队列优化 dp 斜率优化 dp 简单二分 与 wqs 二分 [字符串专题] KMP Hash Trie [暴力数据结构] 简单分块 [暴力数据结构] 块状链表 [Trick 阅读全文
posted @ 2022-11-05 23:05
PassName
阅读(253)
评论(0)
推荐(1)
摘要：
GPU 硬件架构与执行模型 要写出高性能代码，必须理解 A100/H100 等 GPU 硬件结构： 流式多处理器 (SM) 与核心：GPU 由数十上百个 SM 组成（如 A100 有 128 个 SM）。每个 SM 包含大量的 FP32/FP16/BF16 计算核心（CUDA Core / Tens 阅读全文
posted @ 2026-07-23 08:46
PassName
阅读(2)
评论(0)
推荐(0)
摘要：
Course Goal The main goal is : Make CUDA and GPUs less magic In Deep Learning era，Compute leads to predictable performance。计算量能带来可预测的性能表现，通常情况下，计算量的增加 阅读全文
posted @ 2026-07-21 11:30
PassName
阅读(5)
评论(0)
推荐(0)
摘要：
Scaling Laws（缩放定律） 我们现在所需要研究的问题是，给定固定的计算预算 \(C\)（FLOPs），如何分配模型参数量 \(N\) 和数据量 \(D\) 才能使 Loss \(L\) 最小？ 三大 Scaling Laws 公式 参数缩放律 (Parameter Scaling) 当数据 阅读全文
posted @ 2026-07-09 09:16
PassName
阅读(10)
评论(0)
推荐(0)
摘要：
插入语：本笔记不止包含第三节课内容，插入了后续内容进行调整。为了方便代码实现，我在本节课笔记整理中直接实现了手写 Transformer，即将第五节课的 FLashAttention 代码实现扔到了这里，便于复习。 Attention 机制的核心参数与学习过程 在基础的 Attention 模块中， 阅读全文
posted @ 2026-07-07 15:55
PassName
阅读(6)
评论(0)
推荐(0)
摘要：
核心思维：Mechanics vs. Mindset Mechanics（机械层面）：如何用 PyTorch 的 API 搭建张量、模块、优化器和训练循环。 Mindset（思维层面）：每写一段代码，都要有显存与 FLOPs 的概念，知道这段代码“贵不贵”，瓶颈在哪里。 Memory Account 阅读全文
posted @ 2026-07-07 09:57
PassName
阅读(11)
评论(0)
推荐(0)
摘要：
核心理念：Maximize Efficiency（效率优先）。 在给定固定资源（数据量 + GPU算力）下，我们如何才能训练出最优模型？不仅仅是“跑通代码”，而是要关注 FLOPs（计算量）、Memory（显存）、Communication（通信带宽） 的极致利用。 概念区分：内存、显存、缓存 我们 阅读全文
posted @ 2026-07-06 16:25
PassName
阅读(18)
评论(0)
推荐(0)
摘要：
斯坦福 CS336 课程入门笔记 首先，由于作者水平有限，大部分代码只是展现了算法的核心逻辑，并不能作为工程代码，局限性和正确性存在问题。后续笔记补充里代码也存在问题，正确代码建议去找通过了所有样例的开源代码。 由于作者水平有限，在听课时很多部分都没有听懂，并且为自学，大部分代码实现都是作者手写完之 阅读全文
posted @ 2026-07-05 16:37
PassName
阅读(36)
评论(0)
推荐(0)
摘要：
Part1.函数、数列与极限 映射 1. 定义 设 \(X, Y\) 是两个非空集合，若存在一个法则 \(f\)，使得对 \(X\) 中每个元素 \(x\)，按法则 \(f\)，在 \(Y\) 中有唯一确定的元素 \(y\) 与之对应，则称 \(f\) 为从 \(X\) 到 \(Y\) 的映射，（矩 阅读全文
posted @ 2026-06-14 10:58
PassName
阅读(43)
评论(0)
推荐(0)
摘要：
2024.11.2 模拟赛 T1 P11242 碧树 把 \(n\) 个点往外连即可。最终答案为 \(n - \max_{i=1}^na_i + 1\) T2 P11243 繁花 感觉我的做法麻烦了，而且随机复杂度（） 显然的，从左往右看可以分层，遇到一次大于号分一次。对于每段，遍历一遍，每遇到一次 阅读全文
posted @ 2024-11-03 11:14
PassName
阅读(87)
评论(0)
推荐(0)
摘要：
2024.10.23-25 杂题 P7323 [WC2021] 括号路径 如果存在 \((a,b,w)\),\((c,b,w)\)。那么 \((a,c)\) 就是一条合法路径。所以把 \(a,c\) 放入一个集合。然后合并新的的时候把 \(w\) 一样的合并了就行。最后统计每个"块"的数量，答案就是 阅读全文
posted @ 2024-10-25 09:30
PassName
阅读(61)
评论(0)
推荐(0)
浙公网安备 33010602011771号