deephub

摘要： 大语言模型(LLMs)推理过程中的批处理优化面临显著挑战，这主要源于其推理过程的迭代特性。核心问题在于批处理中的各个请求完成时间存在差异，这导致资源释放和新请求整合的复杂性显著提高，特别是在处理不同完成阶段的请求时。当批处理中序列的生成长度差异较大时，GPU资源利用率往往不够理想。如下图所示，序列1 阅读全文

摘要： Graph Transformer是一种将Transformer架构应用于图结构数据的特殊神经网络模型。该模型通过融合图神经网络(GNNs)的基本原理与Transformer的自注意力机制，实现了对图中节点间关系信息的处理与长程依赖关系的有效捕获。 Graph Transformer的技术优势 在处 阅读全文

摘要： 近年来,大语言模型(LLM)在各个领域取得了显著成效。但现有的Transformer架构存在计算复杂度高、内存消耗大等问题。而状态空间模型(SSM)如Mamba虽然具有常数复杂度和优化的硬件性能,但在记忆回溯任务上表现较弱。针对这一问题,NVIDIA提出了Hymba架构,通过在同一层中结合注意力头和 阅读全文

摘要： 人工智能领域正在经历一场深刻的变革。随着深度学习模型的规模呈指数级增长，我们正面临着前所未有的计算挑战。当前最先进的语言模型动辄包含数千亿个参数，这种规模的模型训练已经远远超出了单机系统的处理能力。在这个背景下，分布式机器学习系统已经成为支撑现代人工智能发展的关键基础设施。 分布式机器学习的演进 在 阅读全文

摘要： 随着生成式AI（genAI）模型在应用范围和模型规模方面的持续扩展，其训练和部署所需的计算资源及相关成本也呈现显著增长趋势，模型优化对于提升运行时性能和降低运营成本变得尤为关键。作为现代genAI系统核心组件的Transformer架构及其注意力机制，由于其计算密集型的特性，成为优化的重点对象。 在 阅读全文

摘要： 数据是对现实世界的抽象表征。物理现象、人类行为模式以及自然规律都可以通过数据结构进行编码和表示。通过实现各类算法和模型，可以挖掘数据中的隐含模式，提取具有实际意义的非平凡信息。卷积神经网络（CNN）专门处理具有网格结构的数据（如图像），循环神经网络（RNN）则针对序列数据（如时间序列或文本）进行建模 阅读全文

摘要： 大语言模型（Large Language Models, LLMs）的部署是一项具有技术挑战性的工作。随着模型架构日益复杂，以及硬件需求不断提升，部署过程变得愈发复杂。业界已经发展出多种解决方案，使LLM的部署和扩展变得更加便捷。从适用于个人开发的轻量级本地部署工具，到面向企业级高性能生产环境的推理 阅读全文

摘要： 本文将重点探讨一种替代传统单一检测器的方法：不是采用单一检测器分析数据集的所有特征，而是构建多个专注于特征子集(即子空间)的检测器系统。 在表格数据的异常检测实践中，我们的目标是识别数据中最为异常的记录，这种异常性可以相对于同一数据集中的其他记录衡量，也可以相对于历史数据进行评估。 在实际应用中，寻 阅读全文

摘要： 在数据科学实践中，结果的可靠性评估至关重要。准确理解结果的可靠程度能够为决策制定提供有力支持。 当我们能够量化结果的不确定性水平后，可以将其应用于以下方面： 进行场景规划，评估最优和最劣情况 开展风险评估，分析对决策的影响程度 实施模型评估，对比不同模型的性能表现 向决策者阐述结果的可信程度 不确定 阅读全文

摘要： 微分方程作为一种数学工具在物理学、金融学等诸多领域的动态系统建模中发挥着关键作用。对这类方程数值解的研究一直是学术界关注的重点。 数值方法是一类用于求解难以或无法获得解析解的数学问题的算法集合。这类方法主要处理描述函数在时间或空间维度上演化的微分方程，采用逐步计算的方式获得近似解。在实际应用中，微分 阅读全文