deephub

摘要： NeoBERT代表了双向编码器模型的新一代技术发展，通过整合前沿架构改进、现代大规模数据集和优化的预训练策略，有效缩小了传统编码器与高性能自回归语言模型之间的性能差距。该模型在支持4096 tokens的扩展上下文窗口的同时，仅维持250M参数规模的紧凑设计。值得注意的是，尽管参数量较小，NeoBE 阅读全文

摘要： 这个研究探讨了大型语言模型（LLMs）在执行复杂推理任务时面临的计算资源消耗与响应延迟问题。研究特别聚焦于思维链（Chain-of-Thought, CoT）提示范式的效率局限性。CoT虽然有效，但在推理过程中需要生成冗长、详尽的逐步推理，导致计算资源利用率低下且延迟显著增加。这与人类问题解决机制形 阅读全文

摘要： Visual-RFT 代表了视觉语言模型微调领域的技术创新，通过将基于规则的可验证奖励与强化学习相结合，有效克服了传统监督微调 (SFT) 在数据稀缺场景下的局限性。本文将深入剖析 Visual-RFT 的技术原理，结合原始研究论文中的图表解释其架构设计，并探讨该方法在实际应用场景中的潜力。Visu 阅读全文

摘要： 在图神经网络（Graph Neural Networks, GNNs）的发展历程中，注意力机制扮演着至关重要的角色。通过赋予模型关注图中最相关节点和连接的能力，注意力机制显著提升了GNN在节点分类、链接预测和图分类等任务上的性能。尽管这一机制的重要性不言而喻，但其内部工作原理对许多研究者和工程师而言 阅读全文

摘要： 在快速发展的自然语言处理(NLP)领域，分词(tokenization)作为将原始文本转换为机器可处理格式的首要环节，具有不可替代的重要性。分词过程将文本分割成离散单元——即token，这些token构成了后续分析的基础，包括词嵌入(embedding)、语法解析和模型训练等多个环节。从历史视角来看 阅读全文

摘要： 向后淘汰法（Backward Elimination）是机器学习领域中一种重要的特征选择技术，其核心思想是通过系统性地移除对模型贡献较小的特征，以提高模型性能和可解释性。该方法从完整特征集出发，逐步剔除不重要的特征，最终保留对预测结果最具影响力的变量子集。 https://avoid.overfit 阅读全文

摘要： 在时间序列分析领域，评估数据的平稳性是构建准确模型的基础。ADF（Augmented Dickey-Fuller，增广迪基-富勒检验）和KPSS（Kwiatkowski-Phillips-Schmidt-Shin）检验是用于评估时间序列数据平稳性的两种关键统计假设检验方法。当我们遇到ADF检验失败而 阅读全文

摘要： 在大规模深度学习模型训练过程中，GPU内存容量往往成为制约因素，尤其是在训练大型语言模型(LLM)和视觉Transformer等现代架构时。由于大多数研究者和开发者无法使用配备海量GPU内存的高端计算集群，因此掌握有效的内存优化技术变得尤为关键。本文将系统性地介绍多种内存优化策略，这些技术组合应用可 阅读全文

摘要： 本文将介绍如何为大型语言模型(LLM)添加自定义token并进行训练，使模型能够有效地利用这些新增token。以Llama 3.2模型为基础，实现了类似DeepSeek R1中think和answer标记功能的扩展方法，通过监督微调使模型学习使用这些标记进行推理过程与答案输出的区分。![] 本文聚焦 阅读全文

摘要： 特征选择作为机器学习工作流程中的关键环节，对模型性能具有决定性影响。Featurewiz是一个功能强大的特征选择库，具备以下核心能力： 高度自动化的特征选择，仅需少量代码即可完成。 全面的特征工程功能，不仅能够选择特征，还能生成数百个衍生特征并自动筛选最优特征组合。 实现了广受认可的mRMR(最小冗 阅读全文