摘要：
《从统计方法到大语言模型：NLP 的问题与方法演进》 导言 今天的语言模型可以续写、翻译、摘要、回答问题，也可以根据少量示例改变输出形式。回看这段历史，容易把各项研究排成一条通向大模型的直线。然而，早期论文通常只解决一个具体困难：离散词串难以泛化，循环网络难以训练，固定向量难以承载长句，或者预训练模 阅读全文
posted @ 2026-09-30 11:53
石头开会
阅读(182)
评论(1)
推荐(1)
摘要：
看一遍就懂-大模型架构及encoder-decoder详细训练和推理计算过程 一、特殊Token的意思 不同模型架构的特殊token体系 BERT（Encoder-only，用于理解任务）： <CLS>：放在句首，用于分类任务，其输出向量代表整句语义 <SEP>：分隔符，用于句对任务（如问答、文本蕴 阅读全文
posted @ 2026-01-25 18:21
石头开会
阅读(1056)
评论(0)
推荐(0)
摘要： 
从点预测到分布建模：小红书-EGMN在视频观看时长预测中的方法与实践 原文：https://arxiv.org/pdf/2508.12665 一、引言：问题背景与研究动机 在短视频推荐系统中，观看时长（Watch Time）被广泛视为衡量用户满意度与内容质量的核心信号之一。与点击、点赞等离散反馈不同 阅读全文
从点预测到分布建模：小红书-EGMN在视频观看时长预测中的方法与实践 原文：https://arxiv.org/pdf/2508.12665 一、引言：问题背景与研究动机 在短视频推荐系统中，观看时长（Watch Time）被广泛视为衡量用户满意度与内容质量的核心信号之一。与点击、点赞等离散反馈不同 阅读全文
posted @ 2025-12-29 17:56
石头开会
阅读(1127)
评论(1)
推荐(1)
摘要：
从负反馈中学习并衡量序列推荐系统的响应能力 Google RecSys’23 —Learning from Negative User Feedback and Measuring Responsiveness for Sequential Recommenders 一、问题背景与研究动机 在工业级 阅读全文
posted @ 2025-12-24 15:04
石头开会
阅读(887)
评论(0)
推荐(0)
摘要：
深度剖析RQ-VAE：从向量量化到生成式推荐的语义ID技术 引言 近年来，大规模推荐系统正经历一场深刻的范式演进，其趋势是从传统的双塔召回模型（Dual-Encoder + ANN）向更为灵活和强大的生成式检索（Generative Retrieval）范式迁移。后者借鉴了自然语言处理领域的成功经验 阅读全文
posted @ 2025-09-16 16:10
石头开会
阅读(9233)
评论(2)
推荐(2)
摘要： 
注意力机制：从核心原理到前沿应用 如果你关注人工智能，无论是惊艳世人的GPT-4，还是精准洞察你购物偏好的推荐引擎，它们的背后都有一个共同的技术基石——注意力机制 (Attention Mechanism)。 然而，随着技术飞速发展，Attention的“家族”也日益庞大：Self-Attentio 阅读全文
注意力机制：从核心原理到前沿应用 如果你关注人工智能，无论是惊艳世人的GPT-4，还是精准洞察你购物偏好的推荐引擎，它们的背后都有一个共同的技术基石——注意力机制 (Attention Mechanism)。 然而，随着技术飞速发展，Attention的“家族”也日益庞大：Self-Attentio 阅读全文
posted @ 2025-09-15 10:17
石头开会
阅读(1187)
评论(0)
推荐(2)
摘要：
大语言模型的 Scaling：扩展方向、收益规律与训练配置 Scaling laws 的核心价值，是估计扩大模型与训练量的收益，并在计算预算内找到更好的配比。 它把“投入更多资源通常能降低损失”的经验，变成可以测量、拟合和检验的关系。这里的主要质量指标是语言建模交叉熵；具体任务是否改善，还要单独评估 阅读全文
posted @ 2026-10-04 15:49
石头开会
阅读(131)
评论(0)
推荐(1)
摘要：
Decoder-only 架构全景：任务统一、信息交互与表示更新 Decoder-only 将任务描述、输入内容和生成历史组织成一条连续的 Token序列，并以自回归方式预测下一个 Token。自然语言理解、问答、摘要、代码生成和部分逻辑推理任务都可以转换为这种序列形式，进而使用统一的训练目标和主要 阅读全文
posted @ 2026-09-03 21:38
石头开会
阅读(161)
评论(2)
推荐(1)
摘要：
模型训练稳定性：从训练链路到排障手册 我写这篇手册，不是为了追求一条毫无波动的 loss 曲线，而是为了回答一个更实际的问题：怎样让模型在训练预算内持续、有效、可控地学习，并在出现异常时尽快找到真正原因？ 导读：先把目标说清楚——什么才算训练稳定 0.1 loss 有波动，不等于训练不稳定 大模型训 阅读全文
posted @ 2026-08-28 16:51
石头开会
阅读(130)
评论(0)
推荐(0)
摘要：
为什么 Transformer 在推荐领域难以复现 NLP 的成功？ 很多人说，Transformer 不擅长处理推荐系统中的异质特征。 我认为这个说法并不准确。 用户 ID、商品 ID、城市、类目等特征，都可以转成相同维度的 embedding，再输入 Transformer。多张 embeddi 阅读全文
posted @ 2026-08-14 22:34
石头开会
阅读(171)
评论(0)
推荐(1)
摘要：
RankMixer 中 Semantic Split 与 Auto Split 的 Token 构造方式分析 在 RankMixer 中，原始推荐特征需要先被组织成若干 Token，再进入后续的 Token Mixing 和 Per-token FFN。不同 Token 构造方式，本质上决定了模型在 阅读全文
posted @ 2026-08-09 11:11
石头开会
阅读(141)
评论(0)
推荐(0)
摘要：
推荐模型到底在干什么：条件估计、信息组织与排序决策 大家有没有这种感觉：推荐模型看多了，脑子里全是 FM 做交叉、DIN 做兴趣、Transformer 做序列、RankMixer 做扩展——每个都懂一点，但合在一起就是一张散乱的标签清单。新论文出来就往上贴一张，越贴越碎，始终拼不出一张完整的地图。 阅读全文
posted @ 2026-08-01 16:39
石头开会
阅读(152)
评论(0)
推荐(2)
摘要：
从固定数据到在线策略：SFT、RL 与 OPD 如何重塑模型分布 理解大模型后训练中的能力学习、泛化与遗忘 引言：后训练究竟在改变什么？ 大语言模型在预训练阶段阅读海量文本，并通过“预测下一个 token”学习语言规律、世界知识、代码结构与一定程度的推理能力。然而，一个完成预训练的模型并不天然知道怎 阅读全文
posted @ 2026-07-27 17:35
石头开会
阅读(119)
评论(0)
推荐(1)
摘要：
一、Agent 系统设计 当前 Agent 的设计已经不再只是“给大模型接几个工具”，也不是简单套用 ReAct、AutoGPT 或多 Agent 对话范式。真正可落地的 Agent 系统，本质上是一个由用户入口、系统编排、任务流程、模型运行时、工具接入、上下文管理、权限治理、产物管理和评测观测共同 阅读全文
posted @ 2026-06-10 16:01
石头开会
阅读(403)
评论(1)
推荐(4)
摘要：
 阅读全文
posted @ 2026-04-01 11:40
石头开会
阅读(588)
评论(2)
推荐(0)
浙公网安备 33010602011771号