GlenTt

摘要： 深度学习激活函数：从原理到选型 1. 引言：激活函数的根本作用 在构建神经网络时，我们习惯性地在层与层之间添加激活函数，但其根本作用是什么？简而言之，激活函数是为网络引入非线性表达能力的核心组件。 如果一个深度神经网络完全由线性层（如全连接层、卷积层）堆叠而成，而没有非线性激活，那么无论网络有多少层 阅读全文

摘要： 注意力机制：从核心原理到前沿应用 如果你关注人工智能，无论是惊艳世人的GPT-4，还是精准洞察你购物偏好的推荐引擎，它们的背后都有一个共同的技术基石——注意力机制 (Attention Mechanism)。 然而，随着技术飞速发展，Attention的“家族”也日益庞大：Self-Attentio 阅读全文

摘要： 推荐系统中负采样策略的剖析与实践 摘要 (Abstract) 负采样（Negative Sampling）是训练基于隐式反馈的现代推荐系统的核心技术。通过为观测到的正样本构建高质量的负样本，模型能够学习到用户的个性化偏好。然而，负采样的策略并非一成不变，其选择与推荐系统的阶段（召回、排序）、用户行为 阅读全文

摘要： 用 Focal Loss 应对类别不平衡 当面临类别极度不平衡的数据时，标准的交叉熵损失会因大量易分样本的主导而失效。Focal Loss 通过引入动态调制因子，强制模型聚焦于训练过程中的“硬核”样本，是解决此类问题的关键技术。 1. 核心公式回顾 Focal Loss 在标准交叉熵的基础上，增加了 阅读全文

摘要： 回归任务的基石：MSE 损失函数详解与实现 在回归问题领域，均方误差 (Mean Squared Error, MSE) 是最常用、最直观的损失函数。它衡量的是模型预测值与真实值之间的差距。今天，我们就来深入探讨 MSE 的核心思想，并给出一个简洁的 NumPy 实现。 1. 核心公式 MSE 的定 阅读全文

摘要： 高效实现 BCE Loss：从理论到数值稳定的代码 在任何二分类任务中，二元交叉熵 (Binary Cross-Entropy, BCE) 损失函数都是基石。然而，一个看似简单的公式背后，却隐藏着数值计算的陷阱。今天，我们直击要点，讲解如何从理论公式演进到工业级的稳定代码实现。 1. 基础 BCE 阅读全文

摘要： 从自注意力到 HSTU：解构下一代推荐系统引擎 摘要: 长期以来，深度学习推荐模型 (DLRMs) 一直是业界的主流。然而，随着数据和算力的爆炸式增长，这些模型逐渐暴露出扩展性的瓶颈——即性能提升饱和的问题。为了突破这一天花板，学术界和工业界开始将目光投向了在自然语言处理领域大放异彩的生成式范式。本 阅读全文

摘要： 推荐系统中正则化技术的理解与剖析 引言：从过拟合的“魔咒”谈起 作为一名深耕推荐系统领域的算法工程师，我深知模型训练中的一个永恒“魔咒”——过拟合。当模型在训练集上表现得天衣无缝，几乎能完美复现每一个历史数据点，却在面对从未见过的新数据时，预测结果大相径庭，这正是过拟合的典型表现。它就像一个精通历史 阅读全文

摘要： 推荐系统中神经网络超参数调优方法 摘要 在深度学习驱动的推荐系统领域，模型性能的提升不仅依赖于创新的架构设计，更关键地取决于对超参数（Hyperparameters）的精细调校。本报告旨在为入门的机器学习工程师和研究人员提供一个系统化的、分阶段的超参数调优工作流。报告的核心论点在于，超参数调优并非一 阅读全文

摘要： infoNCE中正样本边距（Margin）的直观理解。 生活场景 想象你是一位老师，要训练学生识别"真品"和"赝品"古董。最初，你可能只要求学生能够区分出真品就行了——只要判断正确就给满分。但很快你会发现一个问题：学生们只是勉强能区分，一旦遇到制作精良的赝品就容易出错。 这时，一位经验丰富的老师会怎 阅读全文