deephub

摘要： 近年来,大型语言模型(Large Language Models,LLMs)在自然语言处理领域取得了显著进展。受此启发,研究人员开始探索将LLMs应用于时间序列预测任务的可能性。由于时间序列数据与文本数据在特征上存在显著差异,直接将LLMs应用于时间序列预测仍面临诸多挑战。 为了解决这一问题,Jin 阅读全文

摘要： 在现代信息检索领域，单一检索模型的局限性日益显现。本文深入探讨如何通过多模型集成技术提升检索系统的性能，并详细介绍RAPTOR（Recursive Abstractive Processing for Tree-Organized Retrieval）框架的实现机制。这一研究建立在之前探讨的RAG 阅读全文

摘要： 在本地环境下对大规模语言模型（LLMs）进行微调时，由于GPU显存限制，采用大批量训练通常难以实现。为解决此问题，一般普遍会采用梯度累积技术来模拟较大的批量规模。该方法不同于传统的每批次更新模型权重的方式，而是通过在多个小批量上累积梯度，在达到预设的累积次数后才执行权重更新。这种方法有效地实现了大批 阅读全文

摘要： 近年来，随着机器学习技术的进步，深度神经网络已经成为解决时间序列预测问题的主流方法。这反映了学术界和工业界在利用先进技术处理序列数据复杂性方面的持续努力。 自监督学习概述 基本定义 自监督学习是一种创新的学习范式，其特点是模型能够从未标记数据中通过内部生成的监督信号进行学习，通常这种学习通过预文任务 阅读全文

摘要： 时间序列分析和预测在现代数据科学中扮演着关键角色，广泛应用于金融、经济、气象学和工程等领域。本文将总结11种经典的时间序列预测方法，并提供它们在Python中的实现示例。 这些方法包括： 自回归（AR） 移动平均（MA） 自回归移动平均（ARMA） 自回归积分移动平均（ARIMA） 季节性自回归积分 阅读全文

摘要： 在深度学习领域,多头注意力机制一直是Transformer模型的核心组成部分,在自然语言处理和计算机视觉任务中取得了巨大成功。然而,研究表明并非所有的注意力头都具有同等重要性,许多注意力头可以在不影响模型精度的情况下被剪枝。基于这一洞察,这篇论文提出了一种名为混合头注意力(Mixture-of-He 阅读全文

摘要： 空间和时间自相关是数据分析中的两个基本概念,它们揭示了现象在空间和时间维度上的相互依赖关系。这些概念在各个领域都有广泛应用,从环境科学到城市规划,从流行病学到经济学。本文将探讨这些概念的理论基础,并通过一个实际的野火风险预测案例来展示它们的应用。 图1: 空间自相关的不同模式:(a) 负自相关,(b 阅读全文

摘要： 在机器学习领域，特征工程是提升模型性能的关键步骤。它涉及选择、创建和转换输入变量，以构建最能代表底层问题结构的特征集。然而，在许多实际应用中，仅仅依靠统计相关性进行特征选择可能导致误导性的结果，特别是在我们需要理解因果关系的场景中。 因果推断方法为特征工程提供了一个更深层次的框架，使我们能够区分真正 阅读全文

摘要： 在实际应用中，我们经常需要从给定的概率密度函数（PDF）中抽取随机样本。这种需求在多个领域都很常见，例如： 估计统计量 进行蒙特卡洛模拟 生成粒子系统用于物理仿真 对于标准概率分布，如均匀分布或高斯分布（正态分布）， numpy 和 scipy 生态系统提供了现成的解决方案。通过 numpy.ran 阅读全文

摘要： 本文探讨了Python脚本与动态模态分解(DMD)的结合应用。我们将利用Python对从OpenFOAM模拟中提取的二维切片数据进行DMD计算。这种方法能够有效地提取隐藏的流动模式,深化对流体动力学现象的理解。 使用开源CFD软件OpenFOAM,有两种方法可以对CFD数据进行DMD计算。第一种方法 阅读全文