会员
周边
新闻
博问
闪存
众包
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
-银光-
学而时习之,温故而知新
博客园
首页
新随笔
联系
管理
订阅
2026年1月12日
基于 nano-vLLM 学习大模型推理关键功能
摘要: 注:本文已于2025.12.31 发表于知乎和公众号 1. 背景 如果要向一位完全不了解大模型推理技术的开发者介绍这个领域,我应该从哪里讲起? 大模型推理的最简流程可以概括为:输入一串文本 → 文本通过词典映射表转换成一串数字序号 → 序号再经过 embedding 层的计算,变成一组能代表语义的浮
阅读全文
posted @ 2026-01-12 12:38 -银光-
阅读(242)
评论(0)
推荐(0)
公告