操作系统（实验班）

Memory

Sources of Cache Misses

What Factors Lead to Misses in Page Cache?

• Compulsory Misses：prefetching
• Capacity Misses：开大
• Conflict Misses：TLB 是全相连的，不可能。
• Policy Misses：用更好的策略。

Page Replacement Policies

• FIFO
• RANDOM
  • Typical solution for TLB's: Simple hardware
  • 难预测
• MIN
  • 换出最长时间时候都不用的页（但一般不知道是哪个页）
• LRU（Least Recent Used）
  • 换出最长时间没有用过的页
  • 可用 List 维护（缺点：Many instructions for each hardware access）

Memory 相关工作

每个里两个选项上边的是对分布式内存相关，下边是针对 GPU。

FaRM: Fast Remote Memory

硬件趋势：Main Memory is cheap（服务器有 100GB ~ 1TB memory（不是磁盘空间，是内存空间）），New data centra network（40GBps 的网络，1-3 微秒的延迟），基于 RDMA 构建的高吞吐低延迟。

RDMA：Remote direct memory access

就是网卡可以绕过 CPU 直接读内存，加快通信，提高远端读写的性能

vLLM

大概就是 KV Cache 太大了，内部碎片大，用页表状物维护，区别是是只用单级页表和遇到空间不够重新计算而不是用 swap 驱逐维护。

Infiniswap

空间不够，用别的机子的空间（直接 RDMA 绕过 CPU）

AIFM

也是远程的内存，不过是 userspace runtime 做的（用户需要用它提供的数据结构（如栈、队列等） api 管理内存），上一个是在 kernel 层用 paging 做的。

PipeSwitch

推理和训练用流水线的方式上下文切换。

TGS

透明化提供 GPU 的内存共享

File system

A Little Queuing Theory

File system 相关工作

FAST’08 Dedup

去冗余？

学不完了！！！