2025年7月6日
大模型推理加速概述
摘要： 半年前我开始了一份新工作，干的就是让现有业务的大模型跑得更快。我从一开始的懵懵懂懂到现在的初窥门径，感觉跌跌撞撞浪费了不少时间。如果半年前我能读到一些提纲挈领性的文章，整个进程会不会加快一些？这就是本文的初衷，写给半年前对推理加速懵懂无知的自己。 现如今几乎所有人都会认可，以Transformers 阅读全文
posted @ 2025-07-06 15:45 zrq96 阅读(475) 评论(0) 推荐(0)