摘要：
位置编码是Transformer架构的核心组件之一，用于为模型提供序列中词汇的顺序信息。 核心问题：为什么需要位置编码？ 原始的Transformer模型的自注意力机制本质上是排列不变的。这意味着打乱输入序列的顺序，其输出的集合是不会改变的（尽管顺序也打乱了），模型自身无法感知词的先后顺序。因此，必 阅读全文
posted @ 2025-08-20 14:59
Jcpeng_std
阅读(626)
评论(0)
推荐(0)
摘要：
将 CUDA Graph 和 INT4 量化相结合，是优化 T4 GPU 上大语言模型（LLM）推理性能的黄金组合。 T4 GPU 虽然内存带宽相对充足（320 GB/s），但计算能力（尤其是 FP16/INT8 的 TOPS）相较于 A100/H100 较弱。因此，优化的核心思路是：1. 减少计算 阅读全文
posted @ 2025-08-20 14:51
Jcpeng_std
阅读(240)
评论(0)
推荐(0)
摘要：
从零开始实现Transformer模型架构及训练测试代码 下面是一个完整的Transformer模型实现，包括编码器、解码器、多头注意力机制，以及训练和测试代码。 实现位置编码（Positional Encoding） 实现多头注意力机制（Multi-Head Attention） 实现前馈神经网络 阅读全文
posted @ 2025-08-20 14:39
Jcpeng_std
阅读(155)
评论(0)
推荐(0)
浙公网安备 33010602011771号