摘要： Transformers中PreTrainedModel量化相关代码梳理 你提供的PreTrainedModel类中包含了大量模型量化相关的实现逻辑，核心围绕模型量化的加载、预处理、后处理、存储以及量化模型的特殊约束展开，以下是系统性梳理： 一、核心量化相关核心对象与常量 1. 量化器核心类：HfQ 阅读全文

摘要： 奖励模型训练逻辑详细梳理 这份代码实现了基于人类偏好数据的奖励模型（RM）训练，核心是让模型学习区分"优选响应（chosen）"和"劣选响应（rejected）"，并输出对应的文本质量评分。接下来将结合具体代码片段，从顶层训练脚本和底层RewardTrainer核心实现两个层面，逐环节拆解详细逻辑。 阅读全文

摘要： Hugging Face Trainer 类核心训练流程（完整梳理版） 你需要一份对 Hugging Face Trainer 类核心训练流程的完整梳理，保留所有核心细节且逻辑连贯，下面将从整体架构、三大核心方法、关键核心概念三个维度进行全面整合梳理： 一、整体架构：Trainer 训练的「三段式」 阅读全文

摘要： 笔记：load_dataset 函数层层向下拆解（完整调用链路与核心逻辑） 一、整体概览：load_dataset 向下调用的五层核心链路 load_dataset 并非直接执行数据处理，而是一个层层封装、向下委托的入口函数，整体遵循「入口封装 → 构建器创建 → 数据源识别 → 格式映射 → 实例 阅读全文

摘要： Hugging Face Datasets 库核心教程笔记 一、核心定位与学习前提 库的目标：提供简单高效的方式加载、预处理、分享各类数据集，支持文本、图像、音频等多模态数据，兼容 PyTorch、TensorFlow 等主流机器学习框架。 学习前提：具备基础 Python 知识，了解至少一种机器学 阅读全文

摘要： 笔记：TrainingArguments 核心实现与 __post_init__ 作用 一、TrainingArguments 核心定位 功能：Hugging Face Transformers 库中训练循环配置的一站式管理类，封装训练、评估、优化、分布式、日志等全流程参数。 设计理念 专注训练循环 阅读全文

摘要： Hugging Face Transformers 分词器核心类笔记 一、 核心类关系与定位 1. 继承关系 graph TD PreTrainedTokenizerBase --> PreTrainedTokenizer PreTrainedTokenizerBase --> PreTrained 阅读全文

摘要： Transformers AutoModel.from_pretrained 中 Config 核心逻辑笔记（精简版） 一、核心概念 Config（模型配置类）：每个模型的「结构说明书」（如 BertConfig），存储 hidden_size、num_attention_heads 等决定模型结构 阅读全文

摘要： Hugging Face AutoClass 核心逻辑 一、AutoClass 是什么？ AutoClass 不是一个具体的类，而是 Hugging Face Transformers 库中一系列以 Auto 开头的工具类的统称（比如 AutoModel、AutoTokenizer、AutoMode 阅读全文

摘要： LoRA 核心原理与轻量化微调方法对比笔记 一、 前置数学基础：矩阵与向量乘法的分配律 1. 核心公式推导 对于同维度矩阵 \(A、B\)（行数、列数分别相等），以及维度与矩阵列数匹配的向量 \(v\)，满足分配律： \[A \cdot v + B \cdot v = (A+B) \cdot v \ 阅读全文