2024年12月3日
Transformer模型变长序列优化：解析PyTorch上的FlashAttention2与xFormers
摘要： 随着生成式AI（genAI）模型在应用范围和模型规模方面的持续扩展，其训练和部署所需的计算资源及相关成本也呈现显著增长趋势，模型优化对于提升运行时性能和降低运营成本变得尤为关键。作为现代genAI系统核心组件的Transformer架构及其注意力机制，由于其计算密集型的特性，成为优化的重点对象。 在 阅读全文
posted @ 2024-12-03 09:52 deephub 阅读(113) 评论(0) 推荐(0)