deephub

摘要： R-Zero框架实现了大语言模型在无外部训练数据条件下的自主进化与推理能力提升。 当前的LLM改进方法高度依赖大规模人工标注数据，这种范式虽然取得了显著成果但面临两个根本性限制：人类生成数据的有限性将导致训练瓶颈，以及人工数据的智能上界制约了模型超越人类能力的可能性。 针对这一挑战，研究人员提出了一 阅读全文

摘要： 匹配网络（Matching Networks）是基于度量的元学习方法，通过计算查询样本与支持集中各样本的相似性实现分类。核心机制依赖距离度量函数，余弦相似度因其对向量幅值不敏感的特性成为主流选择。特征提取阶段与相似度计算之间引入的注意力机制能够为特征向量的不同维度分配差异化权重，这种加权策略在处理图 阅读全文

摘要： 分层检索增强生成系统（Hierarchical Retrieval-Augmented Generation, HiRAG）是一种先进的知识推理框架，专门用于处理复杂知识图中的多层次推理问题。在处理大规模科学文献（如天体物理学或广义相对论相关论文）时，传统的平面知识图往往难以建立远距离概念间的有效连 阅读全文

摘要： DeepSeek在发布其V3.1大语言模型时宣布该模型采用了"UE8M0 FP8 scale data format"进行训练，这一技术细节引发了业界对于新兴量化格式的广泛关注。UE8M0作为FP8格式家族中的一个特殊变体，我们今天来看看这个UE8M0到底是什么。 数值表示格式 我们先看看一般的量化 阅读全文

摘要： PyTorch 2.0+引入的torch.compile功能通过图捕获和优化技术显著提升模型执行性能。该功能将模型转换为计算图形式，并对其进行深度优化。 PyTorch采用eager execution作为默认执行模式，即每个操作在Python中逐行立即执行。这种模式提供了出色的灵活性和调试便利性， 阅读全文

摘要： 近端策略优化(Proximal Policy Optimization, PPO)作为强化学习领域的重要算法，在众多实际应用中展现出卓越的性能。本文将详细介绍PPO算法的核心原理，并提供完整的PyTorch实现方案。 PPO算法在强化学习任务中具有显著优势：即使未经过精细的超参数调优，也能在Atar 阅读全文

摘要： 文本编码技术是现代搜索系统、推荐算法、语义相似度分析和检索增强生成（RAG）系统的基础核心。在众多文本编码策略中，Cross-Encoder和Bi-Encoder两种架构因其独特的设计理念和应用特性而被广泛采用。本文将深入分析这两种编码架构的技术原理、数学基础、实现流程以及各自的优势与局限性，并探讨 阅读全文

摘要： 在实际的机器学习应用中，数据集规模有限且类别分布不均衡是一个普遍存在的问题。以医学影像分析为例，正类样本通常仅占总样本的5%左右。基于此类数据训练的分类模型往往会倾向于预测多数类别，虽然能够达到95%的整体准确率，但在识别关键的少数类样本方面表现不佳。 这种现象会引发过拟合、预测偏差以及关键类别召回 阅读全文

摘要： 现代RAG（Retrieval-Augmented Generation）和智能体架构在处理问答任务时，依赖于能够随时间动态更新的知识库，这类知识库通常包含财务报告、技术文档等持续变化的信息。为确保推理和规划过程的逻辑性与准确性，需要建立相应的时序管理机制。 针对规模不断增长且存在幻觉风险的动态知识 阅读全文

摘要： 大型语言模型（Large Language Models, LLMs）如GPT-OSS、GPT-4、LLaMA和Mixtral的快速发展显著提升了人工智能的能力边界，但同时也带来了严峻的内存资源挑战。以1200亿参数的模型为例，在FP16精度下仅权重存储就需要约240GB的内存空间，这远超单个NVI 阅读全文