2024年12月25日
TurboAttention：基于多项式近似和渐进式量化的高效注意力机制优化方案，降低LLM计算成本70%
摘要： 随着大型语言模型(LLMs)在AI应用领域持续发展，其计算成本也呈现显著上升趋势。数据分析表明，GPT-4的运行成本约为700美元/小时，2023年各企业在LLM推理方面的总支出超过50亿美元。这一挑战的核心在于注意力机制——该机制作为模型处理和关联信息的计算核心，同时也构成了主要的性能瓶颈。 Tu 阅读全文
posted @ 2024-12-25 10:36 deephub 阅读(58) 评论(0) 推荐(0)