szhAC

摘要： 📘今日学习总结 tokenization分词算法 BPE分词（Byte-Pair Encoding） BPE 算法从一组基本符号（例如字母和边界字符）开始，迭代地寻找语料库中的两个相邻词元，并将它们替换为新的词元，这一过程被称为合并。 合并的选择标准是计算两个连续词元的共现频率，也就是每次迭代中， 阅读全文

摘要： 📘 大语言模型全面学习笔记 一、大语言模型评测体系 1.1 常见评测指标 任务类型 评测指标 说明 分类任务 精确率、召回率、F1 基于混淆矩阵计算 语言建模 困惑度（PPL） 衡量文本建模概率 文本生成 BLEU、ROUGE 衡量与参考文本的重叠度 问答任务 准确率、EM、F1 判断答案正确性 阅读全文

摘要： 大语言模型学习笔记 一、大语言模型的局限性 1.1 规划能力不足 示例：汉诺塔问题中步骤错误，缺乏校验与修正机制。 需引入规划策略与反思检查策略。 1.2 知识时效性与计算能力不足 示例：GPT-4回答“美国总统”错误，数值计算不准确。 需外部工具支持（如搜索引擎、计算器）。 1.3 缺乏记忆与身份 阅读全文

摘要： 📘今日学习总结 大语言模型提示技术学习笔记 1 提示工程 1.1 提示设计关键要素 五大核心要素： 任务描述：清晰明确的任务指令，包含目标、限制条件、数据格式等 上下文信息：提供背景知识，帮助模型突破知识局限 输入数据：具体的查询内容或问题 提示策略：问题分解、多步思考等策略 输出格式：期望的回答 阅读全文

摘要： 📘今日LLM学习笔记总结 一、大模型解码策略 1.1 自回归解码 定义：逐词生成下一个词，基于已生成内容继续生成。 流程： 输入词序列 ( u ) 重复： 模型输出下一个词的概率分布 ( P ) 采样或选择下一个词 ( u' ) 将 ( u' ) 拼接到 ( u ) 直到生成结束词或达到最大长度 阅读全文