limingqi - 博客园

大模型生成分数（Generating scores）深度解析

摘要：这部分内容聚焦 LLM-as-a-Judge 中 “以分数形式呈现评估结果” 的核心逻辑，从 “分数的本质特性” 到 “不同复杂度的评分设计方法” 展开，核心是解决 “如何让 LLM 输出既直观又符合评估目标的分数” 这一问题，以下分维度拆解：一、核心前提：为什么用 “分数” 做评估？ “It i 阅读全文

posted @ 2025-08-29 13:30 limingqi 阅读(385) 评论(0) 推荐(0)

上下文学习（In-Context Learning, ICL）

摘要：如何通过 “上下文学习（In-Context Learning, ICL）” 定义评估任务，明确了 ICL 方法的两大关键组成（输入设计、提示设计）及具体实践维度，本质是为 “让 LLM 理解‘评什么’‘怎么评’” 提供可操作的框架。以下从 “ICL 的核心作用→输入设计的 3 个维度→提示设计的阅读全文

posted @ 2025-08-29 13:18 limingqi 阅读(423) 评论(0) 推荐(0)

A Survey on LLM-as-a-Judge

摘要：一、论文核心定位与背景 1.1 研究背景：评估体系的痛点与 LLM 的机遇传统评估方法存在难以调和的矛盾：专家驱动评估：优势是能整合全局推理和上下文理解（如学术同行评审），但成本高、难以规模化，且存在主观不一致性；自动指标评估（如 BLEU、ROUGE）：优势是可扩展性强、一致性高，但仅依赖表阅读全文

posted @ 2025-08-28 17:46 limingqi 阅读(645) 评论(0) 推荐(0)

A Minimaximalist Approach to Reinforcement Learning from Human Feedback

摘要：基于强化学习的 SPO（Self-Play Preference Optimization，自博弈偏好优化），该论文针对传统从人类反馈强化学习（RLHF/PbRL）方法的缺陷，提出自博弈偏好优化（Self-Play Preference Optimization, SPO）算法，核心思想可概括为阅读全文

posted @ 2025-08-26 18:18 limingqi 阅读(73) 评论(0) 推荐(0)

奖励模型场景适配以及效率优化

摘要：要解决 “奖励方法的场景适配” 与 “在线 RL 评估效率优化” 问题，需先明确在线 RL（实时交互、策略动态更新）与离线评测（依赖固定数据集、评估静态策略）的核心差异，再针对性拆解奖励方法的适配逻辑，以及评估效率的瓶颈解决方案。一、常见奖励方法的在线 RL / 离线评测适配性不同奖励方法的设计阅读全文

posted @ 2025-08-26 18:15 limingqi 阅读(147) 评论(0) 推荐(0)

自我博弈偏好优化（Self-Play Preference Optimization，SPO）能否奖励模型？

摘要：自我博弈偏好优化（Self-Play Preference Optimization, SPO）是一种通过自我博弈机制直接优化策略的方法，其核心特点是无需显式奖励模型，也不依赖对抗性训练。从技术本质来看，SPO 确实在特定场景下取代了奖励模型，但这一取代并非绝对，而是取决于任务类型和优化目标。以下从阅读全文

posted @ 2025-08-22 11:07 limingqi 阅读(295) 评论(0) 推荐(0)

程序员的结构化表达课程大纲

摘要：以下是针对程序员的结构化表达课程体系大纲，结合技术场景特点（逻辑严谨性、受众多样性、内容技术性）设计，分为「基础逻辑层」「技术场景层」「实战深化层」三个递进模块，兼顾口头表达与书面表达能力：课程总目标帮助程序员掌握「技术内容结构化传递」的核心能力，实现：口头表达：清晰传递技术方案、需求、故障等阅读全文

posted @ 2025-08-21 10:38 limingqi 阅读(117) 评论(0) 推荐(0)

数据并行真能 “瘦身” 内存？

摘要：数据并行（Data Parallelism）** 不能减少单卡的内存占用，反而可能略微增加总内存消耗。但它能通过分摊计算压力 **，让大模型或大批次训练在有限显存的 GPU 上可行。以下是具体分析：一、数据并行的原理与内存关系数据并行的核心逻辑是：每个 GPU 保存 ** 完整的模型副本 * 阅读全文

posted @ 2025-08-19 10:36 limingqi 阅读(80) 评论(0) 推荐(0)

Qwen2.5-3B 奖励模型显存瘦身术：轻量运行，性能不减

摘要：要优化 Qwen2.5-3B 奖励模型的显存占用，需从模型加载、数据处理、训练策略三个维度综合优化。以下是具体可落地的方案，按显存节省效果排序：一、缩短序列长度（显存优化最显著） Qwen2.5-3B 在 8192 tokens 时显存需求极高，优先缩短序列长度： python运行 # 在toke 阅读全文

posted @ 2025-08-19 10:20 limingqi 阅读(410) 评论(0) 推荐(0)

从 “工具” 到 “共生”：GPT-5 藏着哪些颠覆认知的新可能？

摘要：概要从GPT-5来看，通用LLM的性能逼近上限，Scaling Law在失灵；从头部企业来看，MoE取代Dense架构成为了LLM的主流架构； OpenAI开源模型 8 月 6 日，OpenAI 宣布推出两款开源模型 GPT-oss-120b 和 GPT-oss-20b，这是自 2020 年发布阅读全文

posted @ 2025-08-18 11:56 limingqi 阅读(222) 评论(0) 推荐(0)