博客园  :: 首页  :: 新随笔  :: 管理

随笔分类 -  Transformer AI

LLM推理加速相关技术及框架

摘要：PagedAttention KVCache vllm TensorRT-LLM 阅读全文

posted @ 2025-11-22 01:32 wsg_blog 阅读(7) 评论(0) 推荐(0)

Attention论文及Transformer工作原理概述

摘要：Attention及Transformer工作原理概述 这篇论文是目前所有大语言模型的基石，ChatGPT、DeepSeek等等，在图像领域也有不错的应用，可以说是继NN、CNN、RNN之后新一轮AI革命的引领者。 Transformer架构和Self-Attention自注意力机制核心思想：提出Q 阅读全文

posted @ 2025-11-06 19:09 wsg_blog 阅读(10) 评论(0) 推荐(0)