deephub

摘要： 注意力机制已经成为深度学习模型，尤其是卷积神经网络（CNN）中不可或缺的组成部分。通过使模型能够选择性地关注输入数据中最相关的部分，注意力机制显著提升了CNN在图像分类、目标检测和语义分割等复杂任务中的性能。本文将全面介绍CNN中的注意力机制，从基本概念到实际实现，为读者提供深入的理解和实践指导。 阅读全文

摘要： 尽管LLMs的巨大规模使其在广泛的应用场景中表现卓越,但这也为其在实际问题中的应用带来了挑战。本文将探讨如何通过压缩LLMs来应对这些挑战。我们将介绍关键概念,然后通过具体的Python代码实例进行演示。 2023年人工智能领域的主导思想是"更大即更好",改进语言模型的方程相对简单:更多数据 + 更 阅读全文

摘要： 在商业分析中，"时间"是一个核心概念。我们基于时间组件来分析销售数据、收入、利润、增长，甚至进行预测。然而，对于初学者来说，这可能是一个复杂的主题。在处理时间敏感的数据集时，需要考虑时间序列数据的多个细微方面。 在这个领域，没有放之四海而皆准的方法。我们不必总是强制使用传统的时间序列技术，如ARIM 阅读全文

摘要： 在机器学习和深度学习项目中,数据处理是至关重要的一环。PyTorch作为一个强大的深度学习框架,提供了多种灵活且高效的数据处理工具。本文将深入介绍PyTorch中 torch.utils.data 模块的7个核心函数,这些工具可以帮助你更好地管理和操作数据。我们将详细解释每个函数,并提供代码示例来展 阅读全文

摘要： 随着多代理系统的出现,强化学习的复杂性不断增加。为了管理这种复杂性,像 TorchRL 这样的专门工具提供了一个强大的框架,可以开发和实验多代理强化学习(MARL)算法。本文将深入探讨如何使用 TorchRL 解决 MARL 问题,重点关注多代理环境中的近端策略优化(PPO)。 我们将使用 VMAS 阅读全文

摘要： 给定一个模型架构、数据类型、输入形状和优化器,你能否计算出前向传播和反向传播所需的GPU内存量?要回答这个问题,我们需要将流程分解为基本组件,并从底层理解内存需求。以下实验(可以在Google Colab上运行)将帮助你理解核心概念。 数据类型 float32 需要4字节的内存， bfloat16 阅读全文

摘要： 时间序列是一种特殊的存在。这意味着你对表格数据或图像进行的许多转换/操作/处理技术对于时间序列来说可能根本不起作用。 "特征提取"的想法是对我们拥有的数据进行"加工",确保我们提取所有有意义的特征,以便下一步(通常是机器学习应用)可以从中受益。也就是说它是一种通过提供重要特征并过滤掉所有不太重要的特 阅读全文

摘要： 可视化时间序列数据是具有挑战性,尤其是涉及多个数据集时。精心设计的可视化不仅能清晰地传达信息,还能减少观察者的认知负荷,使其更容易提取有意义的洞察。 在本文中,我们将探讨使真实世界的疫苗接种数据来可视化单个时间序列和多个时间序列。 https://avoid.overfit.cn/post/24bc 阅读全文

摘要： 正则化是一种强大的技术,通过防止过拟合来提高模型性能。本文将探索各种XGBoost中的正则化方法及其优势。 为什么正则化在XGBoost中很重要? XGBoost是一种以其在各种机器学习任务中的效率和性能而闻名的强大算法。像任何其他复杂模型一样,它可能会过拟合,特别是在处理噪声数据或过多特征时。XG 阅读全文

摘要： LLM自我改进的典型范式是在自生成数据上训练LLM,但是其中的部分数据可能有害,所以应该被过滤掉。但是目前的工作主要采用基于答案正确性的过滤策略,在这篇论文中,证明过滤掉正确但具有高分布偏移程度(DSE)的样本也可以有利于自我改进的结果。 论文的主要贡献如下: 提出了一个称为DS权重的指标,借助一个 阅读全文