rolandhe

摘要： 先建立一个分类框架 推理工具可以按两个维度来区分: 维度 1:抽象层次(从低到高) 推理引擎(Inference Engine):直接执行模型 forward pass,管显存、KV cache、算子调度 推理服务器(Inference Server):包装引擎 + 提供 HTTP API、批处理、 阅读全文