deephub

摘要： xLSTM的新闻大家可能前几天都已经看过了，原作者提出更强的xLSTM，可以将LSTM扩展到数十亿参数规模，我们今天就来将其与原始的lstm进行一个详细的对比，然后再使用Pytorch实现一个简单的xLSTM。 xLSTM xLSTM 是对传统 LSTM 的一种扩展，它通过引入新的门控机制和记忆结构 阅读全文

摘要： 这篇论文提出了一种高稀疏性基础大型语言模型（LLMs）的新方法，通过有效的预训练和部署，实现了模型在保持高准确度的同时，显著提升了处理速度。 https://avoid.overfit.cn/post/06961c02a12b48a6a3e1436b527fd2b7 阅读全文

摘要： AlphaFold3 是 DeepMind 开发的一款蛋白质结构预测软件，它在AlphaFold2的基础上进行了改进。其中最主要的一个改进就是引入了扩散模型，这使得扩散模型不仅仅可以应用于文生图，其实扩散模型早已经在各个领域中都又所发展，今天我们就来研究一下扩散模型的多元化应用。 https://a 阅读全文

摘要： 基于图的神经网络是强大的模型，可以学习网络中的复杂模式。在本文中，我们将介绍如何为同构图数据构造PyTorch Data对象，然后训练不同类型的神经网络来预测节点所属的类。这种类型的预测问题通常被称为节点分类。 我们将使用来自Benedek Rozemberczki, Carl Allen和Rik 阅读全文

摘要： ATFNet是一个深度学习模型，它结合了时间域和频域模块来捕获时间序列数据中的依赖关系。引入了一种新的加权机制来调整周期性的权重，增强了离散傅立叶变换，并包括一个复杂关系识别的注意力机制，在长期时间序列预测中优于当前方法(每个模型都这么说)。这是4月发布在arxiv上的论文，还包含了源代码。 因为时 阅读全文

摘要： 时间序列分析是数据科学和机器学习领域最广泛的主题之一:无论是预测金融事件、能源消耗、产品销售还是股票市场趋势，这一领域一直是企业非常感兴趣的领域。 随着机器学习模型的不断进步，使除了传统的统计预测方法(如回归模型、ARIMA模型、指数平滑)外，与机器学习(如基于树的模型)和深度学习(如LSTM网络、 阅读全文

摘要： Transformers 是一个强大的架构，但模型因其采用的自注意力机制，虽然能够有效地处理序列数据并捕获长距离依赖关系，但同时也容易导致在训练过程中出现OOM（Out of Memory，内存不足）或者达到GPU的运行时限制。 主要是因为 参数数量庞大：Transformer模型通常包含大量的参数 阅读全文

摘要： 这是微软再5月刚刚发布的一篇论文提出了一种解码器-解码器架构YOCO，因为只缓存一次KV对，所以可以大量的节省内存。 以前的模型都是通过缓存先前计算的键/值向量，可以在当前生成步骤中重用它们。键值(KV)缓存避免了对每个词元再次编码的过程，这样可以大大提高了推理速度。 但是随着词元数量的增加，KV缓 阅读全文

摘要： 图机器学习（Graph Machine Learning，简称Graph ML）是机器学习的一个分支，专注于利用图形结构的数据。在图形结构中，数据以图的形式表示，其中的节点（或顶点）表示实体，边（或链接）表示实体之间的关系。 本篇文章将从基础开始介绍什么是图，我们如何描述和表示它们，以及它们的属性是 阅读全文

摘要： 在机器学习中，L1正则化、L2正则化和Elastic Net正则化是用来避免过拟合的技术，它们通过在损失函数中添加一个惩罚项来实现。 https://avoid.overfit.cn/post/c99ec105e41c4a71a0a1a29735245944 阅读全文