落云宗-韩立

摘要： 大模型结构 总体结构组成 tokenizer:负责将文本转换为LLM能理解的token IDs Embedding：嵌入，比如将词向量与位置向量进行相加，那么词向量特征图中就嵌入了位置编码信息，用于区分不同词之间的一个位置关系。 RMSNorm：将输入特征进行等比缩小，一直梯度消失和爆炸，相比Nor 阅读全文

摘要： 快速入门 环境准备 显卡：NVIDIA Geforce 3060(12GB) OS：Windows11专业版 显卡驱动： nvidia-smi查看显卡驱动 使用conda创建python环境 推理引擎的好处 操作系统角色 推理引擎角色 内存分配 GPU内存管理 进程调度 请求批处理与调度 虚拟内存 阅读全文

摘要： CUDA 补充教程 - 进阶与深入 目录 第九课：CUDA 错误处理 第十课：原子操作 第十一课：CUDA 流与异步执行 第十二课：CUDA 事件与性能计时 第十三课：统一内存 第十四课：常量内存 第十五课：纹理内存 第十六课：并行归约算法 第十七课：前缀和（扫描）算法 第十八课：Warp 级编程 阅读全文

摘要： CUDA 系统学习教程 课程大纲 课次 主题 重点内容 1 CUDA 基础概念 GPU 架构、异构计算模型 2 线程层级结构 Grid、Block、Thread 3 内核函数 __global__、__device__、启动语法 4 内存管理 cudaMalloc、cudaMemcpy、cudaFr 阅读全文

摘要： CMake 系统学习指南 第一部分：CMake 基础概念 1.1 什么是 CMake？ CMake 是一个跨平台的构建系统生成器。它不直接构建项目，而是生成平台特定的构建文件： Linux/Unix: 生成 Makefile Windows: 生成 Visual Studio 项目文件 macOS: 阅读全文

摘要： 异构计算 就是一个计算机或者服务器，同时包含不同类型的处理器，如我们个人电脑常用的CPU+GPU，另外还有别的，在工业上也很常见，如CPU+DSP、CPU+FPGA等等。 异构架构 以深度学习服务器为例，最常见的搭配是1*CPU + n*GPU CPU：复杂的逻辑控制和指令调度，通常成为主机端HOS 阅读全文

摘要： 计算机架构 冯.诺依曼架构（哈佛架构） 明确指出计算机主要由四部分组成： 中央控制单元（Center Control Unit） 逻辑运算单元（Logic Unit） 输入输出（Input/Output） 数据内存和指令内存（Data Memmory & Zhiling Memmory） 架构图如下 阅读全文