deephub

摘要： 选择正确的损失函数对于训练机器学习模型非常重要。不同的损失函数适用于不同类型的问题。本文将总结一些常见的损失函数，并附有易于理解的解释、用法和示例 https://avoid.overfit.cn/post/1435dd9dc90e420e965b3ab939363216 阅读全文

摘要： 人工智能的世界正在经历一场革命，大型语言模型正处于这场革命的前沿，它们似乎每天都在变得更加强大。从BERT到GPT-3再到PaLM，这些AI巨头正在推动自然语言处理可能性的边界。但你有没有想过是什么推动了它们能力的飞速提升？ 在这篇文章中，我们将介绍使这些模型运作的秘密武器——一个由三个关键部分组成 阅读全文

摘要： 在本文中，我们将探讨各种特征选择方法和技术，用以在保持模型评分可接受的情况下减少特征数量。通过减少噪声和冗余信息，模型可以更快地处理，并减少复杂性。 我们将使用所有特征作为基础模型。然后将执行各种特征选择技术，以确定保留和删除的最佳特征，同时不显著牺牲评分（R2 分数）。使用的方法包括： 相关性矩阵 阅读全文

摘要： 在分类问题中，一个常见的难题是决定输出为数字时各类别之间的切分点。例如，一个神经网络的输出是介于0到1之间的数字，比如0.7，这是对应于正类（1）还是负类（0）？常识告诉我们使用0.5作为决策标记，但如果低估正类的风险较高怎么办？或者如果类别不平衡呢？ 在这些情况下，正确估计切分点需要复审概率和贝叶 阅读全文

摘要： 我们已经看到了语言模型的巨大进步，但时间序列任务，如预测呢？今天我们推荐一篇论文，对现有的语言模型和时间序列做了深入的研究。将探讨了是否可以从大型语言模型（LLMs）中获益于时间序列（TS）预测。 时间序列 时间序列是机器学习中最具挑战性的工作领域之一，解决时间序列任务，如异常检测、时间序列预测等， 阅读全文

摘要： DeepSeek-V2是一个强大的开源混合专家（MoE）语言模型，通过创新的Transformer架构实现了经济高效的训练和推理。该模型总共拥有2360亿参数，其中每个令牌激活21亿参数，支持最大128K令牌的上下文长度。 在开源模型中，DeepSeek-V2实现了顶级性能，成为最强大的开源MoE语 阅读全文

摘要： VQ-VAE 是变分自编码器（VAE）的一种改进。这些模型可以用来学习有效的表示。本文将深入研究 VQ-VAE 之前，不过，在这之前我们先讨论一些概率基础和 VAE 架构。 https://avoid.overfit.cn/post/85355d48ece84f77b7c1b02f60de9c8f 阅读全文

摘要： 高斯过程其在回归任务中的应用我们都很熟悉了，但是我们一般介绍的都是针对单个任务的，也就是单个输出。本文我们将讨论扩展到多任务gp，强调它们的好处和实际实现。 本文将介绍如何通过共区域化的内在模型(ICM)和共区域化的线性模型(LMC)，使用高斯过程对多个相关输出进行建模。 https://avoid 阅读全文

摘要： 扩散模型通常是一种生成式深度学习模型，它通过学习去噪过程来创建数据。扩散模型有许多变体，其中最流行的是条件文本模型，能够根据提示生成特定的图像。某些扩散模型（如Control-Net）甚至能将图像与某些艺术风格融合。 在本文中，我们将构建基础的无条件扩散模型，即去噪扩散概率模型（DDPM）。从探究算 阅读全文

摘要： TimesFM是一个为时间序列数据量身定制的大型预训练模型——一个无需大量再训练就能提供准确预测的模型。TimesFM有2亿参数，并在1000亿真实世界时间点上进行了训练。可以允许额外的协变量作为特征。 在本文中，我们将介绍模型架构、训练，并进行实际预测案例研究。将对TimesFM的预测能力进行分析 阅读全文