deephub

摘要： 近年来,大语言模型(LLM)在各个领域取得了显著成效。但现有的Transformer架构存在计算复杂度高、内存消耗大等问题。而状态空间模型(SSM)如Mamba虽然具有常数复杂度和优化的硬件性能,但在记忆回溯任务上表现较弱。针对这一问题,NVIDIA提出了Hymba架构,通过在同一层中结合注意力头和 阅读全文

摘要： 人工智能领域正在经历一场深刻的变革。随着深度学习模型的规模呈指数级增长，我们正面临着前所未有的计算挑战。当前最先进的语言模型动辄包含数千亿个参数，这种规模的模型训练已经远远超出了单机系统的处理能力。在这个背景下，分布式机器学习系统已经成为支撑现代人工智能发展的关键基础设施。 分布式机器学习的演进 在 阅读全文

摘要： 随着生成式AI（genAI）模型在应用范围和模型规模方面的持续扩展，其训练和部署所需的计算资源及相关成本也呈现显著增长趋势，模型优化对于提升运行时性能和降低运营成本变得尤为关键。作为现代genAI系统核心组件的Transformer架构及其注意力机制，由于其计算密集型的特性，成为优化的重点对象。 在 阅读全文

摘要： 数据是对现实世界的抽象表征。物理现象、人类行为模式以及自然规律都可以通过数据结构进行编码和表示。通过实现各类算法和模型，可以挖掘数据中的隐含模式，提取具有实际意义的非平凡信息。卷积神经网络（CNN）专门处理具有网格结构的数据（如图像），循环神经网络（RNN）则针对序列数据（如时间序列或文本）进行建模 阅读全文

摘要： 大语言模型（Large Language Models, LLMs）的部署是一项具有技术挑战性的工作。随着模型架构日益复杂，以及硬件需求不断提升，部署过程变得愈发复杂。业界已经发展出多种解决方案，使LLM的部署和扩展变得更加便捷。从适用于个人开发的轻量级本地部署工具，到面向企业级高性能生产环境的推理 阅读全文

摘要： 本文将重点探讨一种替代传统单一检测器的方法：不是采用单一检测器分析数据集的所有特征，而是构建多个专注于特征子集(即子空间)的检测器系统。 在表格数据的异常检测实践中，我们的目标是识别数据中最为异常的记录，这种异常性可以相对于同一数据集中的其他记录衡量，也可以相对于历史数据进行评估。 在实际应用中，寻 阅读全文

摘要： 在数据科学实践中，结果的可靠性评估至关重要。准确理解结果的可靠程度能够为决策制定提供有力支持。 当我们能够量化结果的不确定性水平后，可以将其应用于以下方面： 进行场景规划，评估最优和最劣情况 开展风险评估，分析对决策的影响程度 实施模型评估，对比不同模型的性能表现 向决策者阐述结果的可信程度 不确定 阅读全文

摘要： 微分方程作为一种数学工具在物理学、金融学等诸多领域的动态系统建模中发挥着关键作用。对这类方程数值解的研究一直是学术界关注的重点。 数值方法是一类用于求解难以或无法获得解析解的数学问题的算法集合。这类方法主要处理描述函数在时间或空间维度上演化的微分方程，采用逐步计算的方式获得近似解。在实际应用中，微分 阅读全文

摘要： 在大数据处理领域，性能和效率始终是核心问题。 polars 作为新一代数据处理框架，通过利用Rust语言的底层实现和现代化的并行计算架构，在处理大规模数据集时展现出显著的性能优势。根据性能测试文章的数据显示，在CSV文件读取操作中， polars 的处理速度可达 pandas 的20倍。这种性能提升 阅读全文

摘要： 在机器学习工作流程中,组合估计器通过将多个转换器(Transformer)和预测器(Predictor)整合到一个管道(Pipeline)中,可以有效简化整个过程。这种方法不仅简化了数据预处理环节,还能确保处理过程的一致性,最大限度地降低数据泄露的风险。构建组合估计器最常用的工具是Scikit-le 阅读全文