摘要：
笔记 深度优先搜索 位运算 随机化算法 线段树优化 dp && 扫描线 [动态规划] 线性 dp [动态规划] 背包 dp 单调队列优化 dp 斜率优化 dp 简单二分 与 wqs 二分 [字符串专题] KMP Hash Trie [暴力数据结构] 简单分块 [暴力数据结构] 块状链表 [Trick 阅读全文
posted @ 2022-11-05 23:05
PassName
阅读(262)
评论(0)
推荐(1)
摘要：
看到专栏的游记里都是大家的退役记，那高中毕业选手就来写点轻松愉快的东西（ 8.21 这是暑假非常平淡的一天，我一如既往坐在电脑前发呆，这时收到了来自学长的微信。 『机构单，数学物理，新高二，晚上三个小时答疑，日薪 1200，来不来』 『有这种好事儿能想起我？』 『实习呢，去不了，来不来？』 『来。』 阅读全文
posted @ 2026-08-26 17:32
PassName
阅读(11)
评论(0)
推荐(0)
摘要：
非常好性质题。看一眼往区间 DP 想。假设一次操作选择的三个数，在原序列中对应：\(a_l,\ a_k,\ a_r\)，其中 \(l<k<r\)。 因为这三个数在当前序列中已经连续了，所以：\([l+1,k-1]\) 以及 \([k+1,r-1]\) 中的数都已经被删掉。发现在这个过程中 \(a_k 阅读全文
posted @ 2026-08-15 10:27
PassName
阅读(5)
评论(0)
推荐(0)
摘要：
GPU 硬件架构与执行模型 要写出高性能代码，必须理解 A100/H100 等 GPU 硬件结构： 流式多处理器 (SM) 与核心：GPU 由数十上百个 SM 组成（如 A100 有 128 个 SM）。每个 SM 包含大量的 FP32/FP16/BF16 计算核心（CUDA Core / Tens 阅读全文
posted @ 2026-07-23 08:46
PassName
阅读(10)
评论(0)
推荐(0)
摘要：
Course Goal The main goal is : Make CUDA and GPUs less magic In Deep Learning era，Compute leads to predictable performance。计算量能带来可预测的性能表现，通常情况下，计算量的增加 阅读全文
posted @ 2026-07-21 11:30
PassName
阅读(20)
评论(0)
推荐(0)
摘要：
Scaling Laws（缩放定律） 我们现在所需要研究的问题是，给定固定的计算预算 \(C\)（FLOPs），如何分配模型参数量 \(N\) 和数据量 \(D\) 才能使 Loss \(L\) 最小？ 三大 Scaling Laws 公式 参数缩放律 (Parameter Scaling) 当数据 阅读全文
posted @ 2026-07-09 09:16
PassName
阅读(28)
评论(0)
推荐(0)
摘要：
插入语：本笔记不止包含第三节课内容，插入了后续内容进行调整。为了方便代码实现，我在本节课笔记整理中直接实现了手写 Transformer，即将第五节课的 FLashAttention 代码实现扔到了这里，便于复习。 Attention 机制的核心参数与学习过程 在基础的 Attention 模块中， 阅读全文
posted @ 2026-07-07 15:55
PassName
阅读(21)
评论(0)
推荐(0)
摘要：
核心思维：Mechanics vs. Mindset Mechanics（机械层面）：如何用 PyTorch 的 API 搭建张量、模块、优化器和训练循环。 Mindset（思维层面）：每写一段代码，都要有显存与 FLOPs 的概念，知道这段代码“贵不贵”，瓶颈在哪里。 Memory Account 阅读全文
posted @ 2026-07-07 09:57
PassName
阅读(28)
评论(0)
推荐(0)
摘要：
核心理念：Maximize Efficiency（效率优先）。 在给定固定资源（数据量 + GPU算力）下，我们如何才能训练出最优模型？不仅仅是“跑通代码”，而是要关注 FLOPs（计算量）、Memory（显存）、Communication（通信带宽） 的极致利用。 概念区分：内存、显存、缓存 我们 阅读全文
posted @ 2026-07-06 16:25
PassName
阅读(47)
评论(0)
推荐(0)
摘要：
斯坦福 CS336 课程入门笔记 首先，由于作者水平有限，大部分代码只是展现了算法的核心逻辑，并不能作为工程代码，局限性和正确性存在问题。后续笔记补充里代码也存在问题，正确代码建议去找通过了所有样例的开源代码。 由于作者水平有限，在听课时很多部分都没有听懂，并且为自学，大部分代码实现都是作者手写完之 阅读全文
posted @ 2026-07-05 16:37
PassName
阅读(69)
评论(0)
推荐(0)
摘要：
Part1.函数、数列与极限 映射 1. 定义 设 \(X, Y\) 是两个非空集合，若存在一个法则 \(f\)，使得对 \(X\) 中每个元素 \(x\)，按法则 \(f\)，在 \(Y\) 中有唯一确定的元素 \(y\) 与之对应，则称 \(f\) 为从 \(X\) 到 \(Y\) 的映射，（矩 阅读全文
posted @ 2026-06-14 10:58
PassName
阅读(65)
评论(0)
推荐(0)
浙公网安备 33010602011771号