deephub

摘要： 强化学习的基础知识和概念简介（无模型、在线学习、离线强化学习等） 机器学习(ML)分为三个分支:监督学习、无监督学习和强化学习。 监督学习(SL):关注在给定标记训练数据的情况下获得正确的输出 无监督学习(UL):关注在没有预先存在的标签的情况下发现数据中的模式 强化学习(RL):关注智能体在环境中 阅读全文

摘要： python中的魔法方法是一些可以让你对类添加“魔法”的特殊方法,它们经常是两个下划线包围来命名的 Python的魔法方法，也称为dunder(双下划线)方法。大多数的时候，我们将它们用于简单的事情，例如构造函数(init)、字符串表示(__str__， repr)或算术运算符(add/mul)。其 阅读全文

摘要： 随着机器学习模型的复杂性和能力不断增加。提高大型复杂模型在小数据集性能的一种有效技术是知识蒸馏，它包括训练一个更小、更有效的模型来模仿一个更大的“教师”模型的行为。 在本文中，我们将探索知识蒸馏的概念，以及如何在PyTorch中实现它。我们将看到如何使用它将一个庞大、笨重的模型压缩成一个更小、更高效 阅读全文

摘要： AUC到底代表什么呢，我们从另外一个角度解释AUC，我们先看看一个auc曲线 蓝色曲线下的面积(我的模型的AUC)比红线下的面积(理论随机模型的AUC)大得多，所以我的模型一定更好。 我的模型比随机模型好多少呢?理论随机模型只是对角线，这条对角线下的面积是0.5，我们的模型的AUC是0.75 那么这 阅读全文

摘要： 交叉验证应用于时间序列需要注意是要防止泄漏和获得可靠的性能估计本文将介绍蒙特卡洛交叉验证。这是一种流行的TimeSeriesSplits方法的替代方法。 时间序列交叉验证 TimeSeriesSplit通常是时间序列数据进行交叉验证的首选方法。下图1说明了该方法的操作方式。可用的时间序列被分成几个大 阅读全文

摘要： 文档理解是从pdf、图像和Word文档中提取关键信息的技术。这篇文章的目标是提供一个文档理解模型的概述。 文档理解算法使用编码器-解码器结构分析文档内容，该管道结合了计算机视觉(CV)和自然语言处理(NLP)方法。管道的CV部分将文档作为输入图像进行分析，生成transformer可以处理的表示形式 阅读全文

摘要： TensorFlow Probability是一个构建在TensorFlow之上的Python库。它将我们的概率模型与现代硬件(例如GPU)上的深度学习结合起来。 极大似然估计 最大似然估计是深度学习模型中常用的训练过程。目标是在给定一些数据的情况下，估计概率分布的参数。简单来说，我们想要最大化我们 阅读全文

摘要： 2672篇主要论文，63场研讨会，7场受邀演讲，包括语言模型、脑启发研究、扩散模型、图神经网络……NeurIPS包含了世界级的AI研究见解，本文将对NeurIPS 2022做一个全面的总结。 第36届Neural Information Processing Systems Conference(N 阅读全文

摘要： 重新思考的注意力机制，Performers是由谷歌，剑桥大学，DeepMind，和艾伦图灵研究所发布在2021 ICLR的论文已经超过500次引用 传统的Transformer的使用softmax 注意力，具有二次空间和时间复杂度。Performers是Transformer的一个变体，它利用一种新 阅读全文

摘要： 神经网络有许多影响模型性能的超参数。一个最基本的超参数是学习率(LR)，它决定了在训练步骤之间模型权重的变化程度。在最简单的情况下，LR值是0到1之间的固定值。 选择正确的LR值是具有挑战性。一方面较大的学习率有助于算法快速收敛，但它也会导致算法在最小值附近跳跃而没有达到它，甚至在它太大时跳过它。另 阅读全文