行远自迩 登高自卑

摘要： Pytorch 模型的存储与加载 本文主要内容来自Pytorch官方文档推荐的一篇英文博客, 本文主要介绍了在Pytorch中模型的存储方法, 以及存储形式, 以及Pytorch存储模型正真存储的是模型的什么结构. 以及加载模型的时候, 模型的哪些数据会被加载. 以及加载后的形式. 首先大致讲下三个 阅读全文

摘要： Jensen's inequality 及其应用 对于一个 convex function $f(x)$ , 最常见的形式是: $$ f\left(t x_{1}+(1 t) x_{2}\right) \leq t f\left(x_{1}\right)+(1 t) f\left(x_{2}\rig 阅读全文

摘要： Handling Page Faults 产生却也中断的时候, 需要保留当前的虚拟地址到寄存器 CR2, Exercise 5. Modify trap_dispatch() to dispatch page fault exceptions to page_fault_handler(). You 阅读全文

摘要： Lab3 以后内存出现的问题 对于GCC 7.0 以上的版本在Lab3以后, 会出现 kernel panic at kern/pmap.c:147: PADDR called with invalid kva 00000000 这个错误, 我本身也很疑惑, 明明在 Lab2 代码是正确的, 这里为 阅读全文

摘要： 内存管理 内存管理的内容 内核页表机制的启动过程: 详细内容可以这篇博客 传送门 ,这里我们简单概述下, BIOS 与 boot loader 都是工作在实模式下的, 启用页表机制是在 entry.S 文件中启动的, 并且将页目录的物理地址存入 CR3 寄存器中, 这是一个静态初始化的页目录与页表, 阅读全文

摘要： Pytorch 剪枝操作实现 首先需要版本为 1.4 以上, 目前很多模型都取得了十分好的结果, 但是还是参数太多, 占得权重太大, 所以我们的目标是得到一个稀疏的子系数矩阵. 这个例子是基于 LeNet 的 Pytorch 实现的例子, 我们从 CNN 的角度来剪枝, 其实在全连接层与 RNN 的 阅读全文

摘要： XLM 预训练模型的使用 本文使用的是 "Transformer" 库的预训练模型, 主要是对 xlm 部分的翻译. xlm 模型是在 BERT 模型的基础上使用多种语言或者跨语言语料库训练得到的预训练模型, 根据训练数据与训练方法的不同, 有三张预训练模型, 分别是 a causal langua 阅读全文

摘要： 内核 操作系统的内核往往运行在高的虚拟地址空间, 使低的地址空间留给用户程序.上一节我们知道, 内核运行的入口物理地址是 0x0010000c , 这个地址是在 0~ 4MB 地址空间范围内的, 这个空间完全足够内核开始运行. 内核的虚拟地址是内核希望执行的地址, 但是内存并没有那么大的空间, 所以 阅读全文

摘要： 训练过程中的 Mask实现 mask 机制的原理是, 在 decoder 端, 做 self-Attention 的时候, 不能 Attention 还未被预测的单词, 预测的信息是基于encoder 与以及预测出的单词. 而在 encoder 阶段的, Self_Attention 却没有这个机制 阅读全文

摘要： 8088,8086代 CPU Intel 最初的 cpu 型号, 这种 cpu 只提供 16bit 的寄存器, 分别是: AX, BX, CX, DX, SI, DI, BP, SP, CS, DS, SS, ES, IP, FLAGS. 改 cpu 一共有 20 根地址线, 且只能工作在实模式中, 阅读全文