zhangkele

vLLM 批处理机制详解：静态批处理 vs 连续批处理

摘要： vLLM 批处理机制详解：静态批处理 vs 连续批处理一、静态批处理（Static Batching） ┌─────────────────────────────────────────────────────────────────┐ │ 静态批处理流程 │ └──────────────── 阅读全文

posted @ 2026-03-10 11:07 zhangkele 阅读(6) 评论(0) 推荐(0)

连续批处理html展示其原理用浏览器打开

摘要： <!DOCTYPE html> <html lang="zh-CN"> <head> <meta charset="UTF-8"> <title>vLLM: 连续批处理 vs 静态批处理</title> <style> * { box-sizing: border-box; margin: 0; p 阅读全文

posted @ 2026-03-05 16:00 zhangkele 阅读(15) 评论(0) 推荐(0)

Self-Attention 学习

摘要：深入剖析Self-Attention中最核心、最关键的数学操作：Q, K, V矩阵运算。现代所有大语言模型基础架构的基石。核心比喻：信息检索系统想象一个高度智能的图书馆：你（Query）：带着一个明确的问题走进图书馆，比如“我想找关于人工智能伦理的哲学论述”。书籍的索引卡（Key）：每本书都阅读全文

posted @ 2026-01-26 16:21 zhangkele 阅读(16) 评论(0) 推荐(0)

小白理解模型推理

摘要：用一个搜索引擎工程师熟悉的例子来解释：核心类比：搜索联想词的延伸想象在Google搜索框里打字：第一步：基础联想你输入："如何学习" 搜索引擎立即给出联想："如何学习英语"、"如何学习编程"、"如何学习做饭"... 大语言模型的第一步，就像这些联想词，但它能算出每个可能的"下一个词"的概率阅读全文

posted @ 2026-01-14 15:35 zhangkele 阅读(5) 评论(1) 推荐(0)

接受模板参数的类模版

摘要： template <template <typename...> typename E> class A 这个定义，在C++中通常被称为类模板，并且因为它接受一个模板模板参数，所以更具体地可以称作 “接受模板模板参数的类模板” 专业术语称为 “带有模板模板参数的类模板” 阅读全文

posted @ 2025-10-29 10:31 zhangkele 阅读(17) 评论(0) 推荐(0)

模型训练和计算过程中的一些优化

摘要：优化 I/O 加载主要是为了减少 CPU-GPU 之间的数据传输瓶颈，提升推理效率。DeepSeek 可能采用了以下几种极致优化方案： 🔹 1. CPU-GPU 直接访问（Pinned Memory & Zero Copy） ✅ 问题：普通数据传输 • CPU 内存（系统 RAM）和 GPU 阅读全文

posted @ 2025-02-18 17:24 zhangkele 阅读(309) 评论(0) 推荐(0)

大模型计算和模型训练过程中-量化/稀疏计算 (Sparsity Pruning)技术的学习

摘要：在大模型计算（如深度学习模型）中，量化是一种用较低精度数据类型表示模型参数和激活值的技术。它可以带来以下主要收益： 1. **降低存储需求**: - 使用低精度数据表示（如 `int8` 而不是 `float32`）可以显著减少模型所需的存储空间。这对于在内存有限的设备（如移动设备、嵌入式系统）上部阅读全文

posted @ 2025-02-18 16:04 zhangkele 阅读(761) 评论(0) 推荐(0)

FAISS 三种向量检索方式学习

摘要： FAISS（Facebook AI Similarity Search）是一个高效的向量检索库，特别适用于大规模高维数据的相似度搜索。它的核心原理是通过不同类型的索引结构来加速相似度搜索过程。三个基础索引类型是： 1. IndexFlatL2 2. IndexIVFFlat 3. IndexIVFP 阅读全文

posted @ 2025-02-09 23:43 zhangkele 阅读(2381) 评论(1) 推荐(2)

差异编码（Delta Encoding）和字典压缩（Dictionary Encoding）

摘要： 1. 差异编码（Delta Encoding）：倒排列表中可能会采用差异编码，即存储相邻文档 ID 之间的差值，而不是直接存储每个文档 ID，这样可以进一步压缩空间。 2. 字典压缩（Dictionary Encoding）：对于倒排列表中的文档 ID，可以使用字典进行压缩，进一步减少存储需求。举阅读全文

posted @ 2025-01-21 20:11 zhangkele 阅读(270) 评论(0) 推荐(0)

倒排索引中 “term” 词项为什么要转换成 id

摘要：当我们提到存储压缩时，尤其是在处理倒排索引（Inverted Index）时，主要的目标是减少存储空间和提高查询效率。通过将词项映射到ID 和使用位图代替传统的倒排列表，我们能有效减少存储空间的占用，尤其是在处理具有大量重复词项的数据时。下面我将详细解释词项映射到ID 的收益，并通过具体阅读全文

posted @ 2025-01-21 18:01 zhangkele 阅读(51) 评论(0) 推荐(0)