摘要：
远端 KV Cache 传输 大模型推理正在逐渐从单机内的 Prefill-Decode 连续执行，扩展到 Prefill-Decode 分离、分层 KV Cache 和跨节点 Prefix Cache 复用。随着计算阶段和缓存空间被拆分到不同设备，KV Cache 也开始频繁跨越 GPU、CPU 阅读全文
posted @ 2026-08-11 11:24
木杉的园子
阅读(27)
评论(0)
推荐(0)
摘要：
在存储分离的大模型推理系统中，Prefill 节点负责处理提示词并生成 KV Cache，Decode 节点通过共享存储复用已有前缀状态，再继续执行后续计算。表面上看，这一过程类似于“Prefill 写入对象、Decode 读取对象”；实际实现还需要解决三个更具体的问题： vLLM 中的 KV Ca 阅读全文
posted @ 2026-08-07 00:35
木杉的园子
阅读(26)
评论(0)
推荐(0)
摘要：
当设计无法达到目标性能时，可以借助 Vivado 提供的 Report QoR Assessment（RQA）与 Report QoR Suggestions（RQS）进行分析，并据此选择后续的优化方向。RQA 用于评估当前设计的 QoR 状态，RQS 则在此基础上给出可执行的优化建议。二者配合使用 阅读全文
posted @ 2026-04-10 19:35
木杉的园子
阅读(118)
评论(0)
推荐(0)
摘要：
数据中心 FPGA 中多数配置了 PCIe IP 用于与主机进行数据传输，还可以利用 PCIe 链路用于 FPGA 配置。本博客将介绍在 Xilinx FPGA 上使用 PCIe 进行 DFX 配置的流程。 UltraScale 器件引入了 Media Configuration Access Po 阅读全文
posted @ 2026-01-02 11:01
木杉的园子
阅读(367)
评论(0)
推荐(0)
摘要：
在上一部分中，我们已经完成了硬件平台的搭建，并成功地将包含加速核心的比特流烧写进 FPGA 中。现在，FPGA 已经具备了执行加速计算的能力。 本部分将重点介绍如何在主机端搭建推理框架，并调用 FPGA 对其中的计算进行加速。 1. 搭建推理框架 推理框架是对模型推理过程作专门优化的工具套件。主流的 阅读全文
posted @ 2025-12-19 21:29
木杉的园子
阅读(223)
评论(0)
推荐(0)
摘要：
在上一部分中，我们已经完成了加速核心的编写，并通过 Vitis-HLS 将其综合为可以被 Vivado 使用的 IP。 本部分将重点介绍如何在 Vivado 中搭建完整的硬件平台。 1. 平台概览 在进行具体的 IP 配置之前，我们首先看一下 FPGA 硬件平台的整体结构，如下图所示。 可以看到，硬 阅读全文
posted @ 2025-12-19 21:26
木杉的园子
阅读(312)
评论(0)
推荐(0)
摘要：
在这一部分中，我们将重点介绍如何在 FPGA 上编写加速核心，以加速大模型推理过程中最关键的计算环节。 与在 CPU 上通过指令顺序执行程序不同，FPGA 的核心优势在于可以将计算过程直接“固化”为硬件结构，从而实现高度并行的执行方式。针对特定计算任务进行的硬件定制，正是 FPGA 能够获得加速效果 阅读全文
posted @ 2025-12-19 21:19
木杉的园子
阅读(262)
评论(0)
推荐(0)
摘要：
近年来，大语言模型（Large Language Models, LLMs）已经成为人工智能领域最重要的技术方向之一。从对话系统到代码生成，再到各类智能助手，模型规模和应用场景都在不断扩展。然而，与模型能力同步增长的，是推理阶段对算力、能耗和系统效率的持续压力。 目前，大多数大模型推理仍然依赖 GP 阅读全文
posted @ 2025-12-19 21:16
木杉的园子
阅读(460)
评论(0)
推荐(0)
摘要：
C++ 完美转发是泛型编程里一个关键特性，用来在模板函数中保持参数的“原始值类别”（lvalue/rvalue）和属性（const、引用）。 背景 在模板编程中，函数参数往往需要被“原封不动”地传递到另一个函数。例如： 如果传入的是左值，就要继续作为左值传给目标函数； 如果传入的是右值，就要继续作为 阅读全文
posted @ 2025-10-08 11:31
木杉的园子
阅读(45)
评论(0)
推荐(0)
摘要：
C++11 引入了移动语义，它的出现主要是为了解决对象频繁拷贝带来的性能开销问题。移动语义的核心思想是：当对象的资源不再需要时，可以“转移”它的内部资源，而不是进行昂贵的深拷贝。 背景 在传统 C++ 中，函数参数传递或者返回值通常依赖拷贝构造函数。比如，在调用函数前，通常需要在调用者的作用域中创建 阅读全文
posted @ 2025-10-08 11:11
木杉的园子
阅读(50)
评论(0)
推荐(0)
浙公网安备 33010602011771号