摘要：
在上一部分中，我们已经完成了硬件平台的搭建，并成功地将包含加速核心的比特流烧写进 FPGA 中。现在，FPGA 已经具备了执行加速计算的能力。 本部分将重点介绍如何在主机端搭建推理框架，并调用 FPGA 对其中的计算进行加速。 1. 搭建推理框架 推理框架是对模型推理过程作专门优化的工具套件。主流的 阅读全文
posted @ 2025-12-19 21:29
木杉的园子
阅读(18)
评论(0)
推荐(0)
摘要：
在上一部分中，我们已经完成了加速核心的编写，并通过 Vitis-HLS 将其综合为可以被 Vivado 使用的 IP。 本部分将重点介绍如何在 Vivado 中搭建完整的硬件平台。 1. 平台概览 在进行具体的 IP 配置之前，我们首先看一下 FPGA 硬件平台的整体结构，如下图所示。 可以看到，硬 阅读全文
posted @ 2025-12-19 21:26
木杉的园子
阅读(44)
评论(0)
推荐(0)
摘要：
在这一部分中，我们将重点介绍如何在 FPGA 上编写加速核心，以加速大模型推理过程中最关键的计算环节。 与在 CPU 上通过指令顺序执行程序不同，FPGA 的核心优势在于可以将计算过程直接“固化”为硬件结构，从而实现高度并行的执行方式。针对特定计算任务进行的硬件定制，正是 FPGA 能够获得加速效果 阅读全文
posted @ 2025-12-19 21:19
木杉的园子
阅读(36)
评论(0)
推荐(0)
摘要：
近年来，大语言模型（Large Language Models, LLMs）已经成为人工智能领域最重要的技术方向之一。从对话系统到代码生成，再到各类智能助手，模型规模和应用场景都在不断扩展。然而，与模型能力同步增长的，是推理阶段对算力、能耗和系统效率的持续压力。 目前，大多数大模型推理仍然依赖 GP 阅读全文
posted @ 2025-12-19 21:16
木杉的园子
阅读(34)
评论(0)
推荐(0)
浙公网安备 33010602011771号