deephub

摘要： 构建预训练时间序列模型时面临的主要挑战是什么？获取高质量、多样化的时间序列数据。目前构建基础预测模型主要有两种方法： 迁移学习LLM：通过针对时间序列任务定制的微调或分词策略，重新利用预训练的大型语言模型（LLM），如GPT-4或Llama。 从零训练：构建大规模时间序列数据集，并从头开始预训练模型 阅读全文

摘要： 闭源与开源嵌入模型比较以及提升语义搜索效果的技术探讨 上图为执行语义搜索前的聚类演示 ，嵌入技术是自然语言处理的核心组成部分。虽然嵌入技术的应用范围广泛，但在检索应用中的语义搜索仍是其最常见的用途之一。 https://avoid.overfit.cn/post/38350e175fa0424b8c 阅读全文

摘要： 在人工智能快速发展的今天，如何有效利用大型语言模型（LLMs）成为了一个普遍关注的话题。这是9月份的一篇论文，提出了LangGPT结构化提示框架和Minstrel多代理提示生成系统，为非AI专家使用LLMs提供了强大支持。 对于非人工智能专家来说，构建高质量的提示以充分利用LLMs的能力仍然是一个巨 阅读全文

摘要： 在深度学习模型的训练过程中，学习率作为一个关键的超参数，对模型的收敛速度和最终性能有着重大影响。传统方法通常采用统一的学习率，但随着研究的深入，我们发现为网络的不同层设置不同的学习率可能会带来显著的性能提升。本文将详细探讨这一策略的实施方法及其在PyTorch框架中的具体应用。 https://av 阅读全文

摘要： 传统上,预测这些趋势涉及针对每种情况的专门模型。最近的进展指向了可以处理广泛预测问题的"基础模型"。 这是9月份刚刚发布的论文TimeMOE。它是一种新型的时间序列预测基础模型,"专家混合"(Mixture of Experts, MOE)在大语言模型中已经有了很大的发展，现在它已经来到了时间序列。 阅读全文

摘要： 特征工程是机器学习流程中的关键步骤，在此过程中，原始数据被转换为更具意义的特征，以增强模型对数据关系的理解能力。 特征工程通常涉及对现有数据应用转换，以生成或修改数据，这些转换后的数据在机器学习和数据科学的语境下用于训练模型，从而提高模型性能。 本文主要介绍处理数值变量特征工程，将探讨使用Pytho 阅读全文

摘要： 大语言模型(LLM)的推理能力可以通过测试时聚合策略来改进,即为每个问题生成多个样本并对它们进行聚合以找到更好的答案。这些方法往往会达到饱和点,超过这个点后额外的样本不会带来更多收益。精炼(refinement)提供了另一种选择,它使用模型生成的反馈不仅采样更多解决方案,还提高它们的质量。但是精炼引 阅读全文

摘要： 在深度学习训练过程中，学习率调度器扮演着至关重要的角色。这主要是因为在训练的不同阶段，模型的学习动态会发生显著变化。 在训练初期，损失函数通常呈现剧烈波动，梯度值较大且不稳定。此阶段的主要目标是在优化空间中快速接近某个局部最小值。然而，过高的学习率可能导致模型跳过潜在的优质局部最小值，从而限制了模型 阅读全文

摘要： 这是9月发布的一篇论文，Pagliardini等人在其论文中提出了一种新的优化算法——AdEMAMix。这种算法旨在解决当前广泛使用的Adam及其变体（如AdamW）在利用长期梯度信息方面的局限性。研究者们通过巧妙地结合两个不同衰减率的指数移动平均（EMA），设计出了这种新的优化器，以更有效地利用历 阅读全文

摘要： 在当代深度学习领域，PyTorch 已成为开发和训练神经网络的主要框架之一。然而随着模型复杂度的增加和数据规模的扩大，开发者常常面临各种调试和优化挑战。本文旨在为 PyTorch 开发者提供一个全面的调试指南，涵盖从基础概念到高级技术的广泛内容。 本指南的目标读者包括： 正在学习 PyTorch 的 阅读全文