姚伟峰 - 博客园

Intel 显卡单机多卡 FSDP 模型 checkpointing 时 Assert Out

摘要： Intel 显卡单机多卡 FSDP 模型 checkpointing 时 Assert Out Intel 显卡单机多卡 FSDP 模型 checkpointing 时 Assert Out 现象根因顺藤摸瓜抽丝剥茧解法最后的话现象使用 Hugging Face Trainer 在单机阅读全文

posted @ 2024-05-10 16:05 姚伟峰阅读(251) 评论(0) 推荐(0)

辅助式文本生成 - 文本生成新范式

摘要：辅助式文本生成 - 文本生成新范式辅助式文本生成 - 文本生成新范式引言现有方法 vanilla 自投机解码 SpecInfer LADE 总结参考文献引言 LLM 要跨越从早期采用者到大众市场的鸿沟，其必要条件是价格大众化，也就是降低每词元的价格。这种降低最好是“免费”的降低，而不是“ 阅读全文

posted @ 2024-04-26 10:58 姚伟峰阅读(206) 评论(0) 推荐(0)

使用开源 LLM 充当 LangChain 智能体

摘要：太长不看版开源 LLM 现已达到一定的性能水平，可堪作为智能体工作流的推理引擎。在我们的测试基准上，Mixtral 甚至已超越 GPT-3.5，而且我们还可以通过微调轻松地进一步提高其性能。引言经由因果语言建模任务训练出的大语言模型（LLM）可以处理很多任务，但在逻辑、计算及搜索等类型的任务上阅读全文

posted @ 2024-02-04 15:44 姚伟峰阅读(304) 评论(0) 推荐(0)

详解 MoE

摘要：详解 MoE 随着 Mixtral 8x7B 的发布（公告，模型卡），MoE transformer（Mixture of Experts，混合专家）模型已经成为开放 AI 社区的热门话题。本文，我们主要讨论 MoE 模型的基础模块、训练方式以及针对推理场景的主要考量。我们开始吧！目录详解 M 阅读全文

posted @ 2023-12-22 12:21 姚伟峰阅读(5384) 评论(0) 推荐(0)

乱弹 LLM 的工程化

摘要：乱弹 LLM 的工程化仅为个人观点，乱弹而已。这一波 LLM 狂热很有意思，从现象上来看跟智能手机 + 移动互联网那一拨有点相像。首先是 OpenAI 扮演了当年 Apple 的角色，以 ChatGPT 这一杀手级产品搅动了一池春水，此时整个学术界、工业界及 AI 社区对 AI 表现出的那种食之阅读全文

posted @ 2023-05-09 07:47 姚伟峰阅读(480) 评论(0) 推荐(0)

Transformer 估算 101

摘要： Transformer 估算 101 本文主要介绍用于估算 transformer 类模型计算量需求和内存需求的相关数学方法。引言其实，很多有关 transformer 语言模型的一些基本且重要的信息都可以用很简单的方法估算出来。不幸的是，这些公式在 NLP 社区中鲜为人知。本文的目的是总结这些阅读全文

posted @ 2023-05-08 22:39 姚伟峰阅读(1243) 评论(0) 推荐(0)

优化故事: BLOOM 模型推理

摘要：优化故事: BLOOM 模型推理经过“九九八十一难”，大模型终于炼成。下一步就是架设服务，准备开门营业了。真这么简单？恐怕未必！行百里者半九十，推理优化又是新的雄关漫道。如何进行延迟优化？如何进行成本优化（别忘了 OpenAI 8K 上下文的 GPT-4 模型，提示每 1000 词元只需 0.03 阅读全文

posted @ 2023-03-28 07:16 姚伟峰阅读(621) 评论(0) 推荐(0)

BLOOM 训练背后的技术

摘要： BLOOM 训练背后的技术假设你现在有了数据，也搞到了预算，一切就绪，准备开始训练一个大模型，一显身手了，“一朝看尽长安花”似乎近在眼前…… 且慢！训练可不仅仅像这两个字的发音那么简单，看看 BLOOM 的训练或许对你有帮助。近年来，语言模型越训越大已成为常态。大家通常会诟病这些大模型本身的信息阅读全文

posted @ 2023-03-21 08:09 姚伟峰阅读(782) 评论(0) 推荐(0)

ChatGPT 与 AIGC 简问乱答

摘要： ChatGPT 与 AIGC 简问乱答 * 仅代表个人观点。 * [Q1] ChatGPT 最近非常火爆，2 个月突破 1 亿月活，从产品形态来看，我们知道的微软、谷歌的搜索引擎都会嵌入。那么我们如何看待它的用户粘性，真的会有那么多人持续使用吗还是说只是一阵热潮？ [A1] 首先，工业界长久以来对搜阅读全文

posted @ 2023-02-25 11:04 姚伟峰阅读(351) 评论(0) 推荐(0)

CPU AMX 详解

摘要： CPU AMX 详解 CPU AMX 详解概述算力如何问题定义 AVX如何解决矩阵乘问题 AMX如何解决矩阵乘问题如何实现的计算部分数据部分路才开始概述 2016 年开始，随着 NV GPU AI 能力的不断加强，隐隐感觉到威胁的 Intel 也不断在面向数据中心的至强系列 CPU 阅读全文

posted @ 2023-02-23 22:03 姚伟峰阅读(3412) 评论(2) 推荐(0)

足迹