摘要： 当然。将代码文本有效地切分成多个部分（Chunking）对于 RAG（检索增强生成）和大模型理解至关重要，因为它直接影响到检索的准确性和模型处理信息的质量。代码不同于自然语言，它有**严谨的结构**（语法、依赖关系、块状作用域）和**多种抽象层级**（项目、模块、类、函数、单行代码）。因此，不能简单 阅读全文

摘要： 阅读全文

摘要： Memory是外脑，外脑中的内容可以定期训练内化到大模型 阅读全文

摘要： 阅读全文

摘要： 前言 最近大半年的时间，我基本都泡在大模型的RLHF 训练里，反复跑了很多轮实验。这个过程中，遇到了各种各样的问题和现象，光看论文理论往往不够，很多时候还是要靠实际调试来解决。我把这段时间踩过的坑、网上查到的资料以及自己摸索总结出来的一些调参思路和解决方案整理了一下。下边就分享给大家，希望能给同样在 阅读全文

摘要： Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE 在信息学奥赛（尤其是NOI系列比赛）中，矩阵乘法并不是简单地“算两个矩阵相乘”，而是作为一种高效工具来解决以下几类经典问题： ✅ 1. 线性递推加速（矩阵快速幂） 典型题目：斐波那契数列第 阅读全文

摘要： OpenAI非常由下而上，尤其是在研究领域。我刚来的时候，开始询问下个季度的路线图。我得到的答案是：“这东西不存在”（虽然现在有了）。好的想法可以来自任何地方，而且事先往往并不清楚哪些想法会最有成效。进展不是来自一个宏伟的“总体规划”，而是迭代式的，随着新研究成果的出现而逐步揭示。得益于这种由下而上 阅读全文

摘要： SFT和RLHF阶段主要要培养模型的三个能力:(1) 领域内问题的判别能力，对领域外的问题需要能拒识 (2) 基于召回的知识回答问题的能力 (3) 领域内风格对齐的能力。 pretrain 的技术方法正在全面入侵 post training（退火、课程学习、多阶段训练。。。） 阅读全文

摘要： 想象你在读一本悬疑小说，但许多关键线索却不知去向。你努力拼凑故事的碎片，但这些信息却被分散在各个章节里。这就好比AI模型在缺乏必要的信息的情况下回答问题时，它们就会胡言乱语。他们猜测，他们填补空白处——而他们也会出错。即使在像检索增强生成（RAG）这样的先进系统中，如果检索到的上下文片段不够明确或不 阅读全文

摘要： Agent：搭建任务结构，能精确地引导模型做事在有明确的 context 和清晰的任务范围时，Agent 已经能处理很复杂的任务了，可一旦任务变得模糊、需要探索环境或迭代开发，Agent 就开始吃力人类是可以做到在工作中学习的，如果能让模型在真实世界中学习，而不是人类需要花几十亿收集每个具体任务的数 阅读全文