limingqi - 博客园

RewardBench 2测评数据集精确指令指标下降

摘要：在 RewardBench 2 测试中，精确指令遵循（如 “回答时不要使用字母 u”）和高质量切题答案这两个指标下降明显，通常反映了模型在指令理解精度、意图对齐能力或生成约束控制等核心环节存在问题。具体可从以下几个角度分析可能的原因：一、精确指令遵循能力下降的核心原因精确指令遵循考验模型对细粒度阅读全文

posted @ 2025-07-23 10:53 limingqi 阅读(12) 评论(0) 推荐(0)

奖励模型训练数据的分布情况

摘要：奖励模型（Reward Model, RM）的训练数据通常是偏好数据（如包含prompt、chosen（优选响应）、rejected（非优选响应）的三元组），其分布情况直接影响模型的偏好学习和泛化能力。查看分布需从数据基本特征、文本内容特性、任务 / 元数据标签等多个维度分析，以下是具体方法和工具：阅读全文

posted @ 2025-07-22 14:05 limingqi 阅读(33) 评论(0) 推荐(0)

少量数据微调通用模型指标下降明显

摘要：用 Qwen2.5-3B 通用模型在少量数据集上微调后出现 “掉点”（性能下降），本质是模型在微调过程中未能有效学习目标任务模式，甚至破坏了预训练的通用能力，核心原因可从以下几个方面分析：一、数据层面：少量数据的固有缺陷过拟合风险剧增少量数据集（如几百到几千样本）难以覆盖目标任务的完整分布，模型阅读全文

posted @ 2025-07-22 11:39 limingqi 阅读(82) 评论(0) 推荐(0)

评估两个数据集的分布情况

摘要：评估两个数据集的分布差异，需要根据数据类型（如结构化数据、文本、图像）和分布特性（如单变量 / 多变量、连续 / 离散）选择合适的方法。以下是常用的评估方法，按 “直观性→量化性→复杂场景适配性” 排序：一、可视化方法（直观判断分布差异）通过可视化直接观察两个数据集的分布形态，适合快速定性分析。阅读全文

posted @ 2025-07-22 11:38 limingqi 阅读(232) 评论(0) 推荐(0)

GPT原理

摘要： 1.GPT的定义与发展历程 1.1生成式预训练模型 GPT 是 “Generative Pre-trained Transformer” 的缩写，即生成式预训练变换器，是由 OpenAI 开发的一系列自然语言处理模型。它是一种基于 Transformer 架构的生成模型，通过在大规模文本数据上进行预阅读全文

posted @ 2025-07-20 14:38 limingqi 阅读(373) 评论(0) 推荐(0)

GPT生成参数微调

摘要：在 GPT 等大语言模型中，top-p（核采样）和top-k（顶部 k 采样）是控制文本生成多样性与质量的核心参数，属于生成阶段的超参数调优范畴（与训练时的参数优化不同）。以下是其技术原理、调优方法及实际应用策略：一、核心概念与原理 1. top-k 采样：固定范围的候选词筛选 · 定义：从概率分阅读全文

posted @ 2025-07-20 14:35 limingqi 阅读(64) 评论(0) 推荐(0)

Self-Attention

摘要：故事引入想象你在图书馆找一本编程书籍： 1. 你的需求（Query）是"Python数据科学" 2. 书架标签（Key）显示"机器学习"、"Web开发"等 3. 通过比对需求与标签，你找到最相关（Value）的书籍这个找书的过程就是注意力机制的生动体现！核心概念解释注意力权重：就像找书时要判阅读全文

posted @ 2025-07-20 12:35 limingqi 阅读(17) 评论(0) 推荐(0)

Tokenization

摘要：分词（Tokenization）是自然语言处理（NLP）中的基础预处理步骤，它架起了原始文本与机器学习模型之间的桥梁。分词过程涉及将文本分解为称为“token”的更小单元，随后这些token被转换为数字ID。这些ID会作为LLM的输入，并通过嵌入层映射为捕捉语义含义的向量表示。分词方法的选择对LL 阅读全文

posted @ 2025-07-19 19:24 limingqi 阅读(53) 评论(0) 推荐(0)

Transformer原理与实现详解：从零入门到实战

摘要：本文将从 Transformer的本质、Transformer的原理和 Transformer架构改进三个方面，搞懂Transformer。一、Transformer的本质 Transformer的核心原理基于自注意力机制，通过编码器-解码器架构实现序列到序列的转换，其核心创新在于并行处理能力和阅读全文

posted @ 2025-07-18 22:46 limingqi 阅读(1437) 评论(0) 推荐(0)

图像数据增强以及python实现

摘要：一、数据增强概述数据增强是一种通过使用已有的训练样本数据来生成更多训练数据的方法，可以应用于解决数据不足的问题。数据增强技术可以用来提高模型的泛化能力，减少过拟合现象。比如在狗猫识别项目中，通过随机旋转、翻转和裁剪等数据增强方法，可以使模型具有对不同角度和尺寸的狗猫图像的识别能力。其主要作用包括：阅读全文

posted @ 2025-07-17 22:53 limingqi 阅读(55) 评论(0) 推荐(0)