deephub

摘要： 我们是否可以通过气象图来预测降水量呢？今天我们来使用CNN和LSTM进行一个有趣的实验。 我们这里使用荷兰皇家气象研究所(也称为KNMI)提供的开放数据集和公共api，来获取数据集并且构建模型预测当地的降水量。 数据收集 KNMI提供的数据集，我们假设气象雷达产生的信号在反射时会被降水（雨、雪、冰雹 阅读全文

摘要： 作为数据科学家，使用正确的工具和技术来最大限度地利用数据是很重要的。Pandas是数据操作、分析和可视化的重要工具，有效地使用Pandas可能具有挑战性，从使用向量化操作到利用内置函数，这些最佳实践可以帮助数据科学家使用Pandas快速准确地分析和可视化数据。 在本文中，我们将重点介绍在DataFr 阅读全文

摘要： 通常在机器学习面试中，问完常见基础知识的技术问题之后会有具体的项目问题的讨论，所以这里准备了一些项目相关的话题，以可以帮助你准备和通过计算机视觉相关的面试。 计算机视觉的主要任务 分类：模型学习图片包含了什么物体 目标检测：模型查找对象位置，并且它周围画一个包围框 目标跟踪：模型定位对象并查看对象下 阅读全文

摘要： 强化学习的基础知识和概念简介（无模型、在线学习、离线强化学习等） 机器学习(ML)分为三个分支:监督学习、无监督学习和强化学习。 监督学习(SL):关注在给定标记训练数据的情况下获得正确的输出 无监督学习(UL):关注在没有预先存在的标签的情况下发现数据中的模式 强化学习(RL):关注智能体在环境中 阅读全文

摘要： python中的魔法方法是一些可以让你对类添加“魔法”的特殊方法,它们经常是两个下划线包围来命名的 Python的魔法方法，也称为dunder(双下划线)方法。大多数的时候，我们将它们用于简单的事情，例如构造函数(init)、字符串表示(__str__， repr)或算术运算符(add/mul)。其 阅读全文

摘要： 随着机器学习模型的复杂性和能力不断增加。提高大型复杂模型在小数据集性能的一种有效技术是知识蒸馏，它包括训练一个更小、更有效的模型来模仿一个更大的“教师”模型的行为。 在本文中，我们将探索知识蒸馏的概念，以及如何在PyTorch中实现它。我们将看到如何使用它将一个庞大、笨重的模型压缩成一个更小、更高效 阅读全文

摘要： AUC到底代表什么呢，我们从另外一个角度解释AUC，我们先看看一个auc曲线 蓝色曲线下的面积(我的模型的AUC)比红线下的面积(理论随机模型的AUC)大得多，所以我的模型一定更好。 我的模型比随机模型好多少呢?理论随机模型只是对角线，这条对角线下的面积是0.5，我们的模型的AUC是0.75 那么这 阅读全文

摘要： 交叉验证应用于时间序列需要注意是要防止泄漏和获得可靠的性能估计本文将介绍蒙特卡洛交叉验证。这是一种流行的TimeSeriesSplits方法的替代方法。 时间序列交叉验证 TimeSeriesSplit通常是时间序列数据进行交叉验证的首选方法。下图1说明了该方法的操作方式。可用的时间序列被分成几个大 阅读全文

摘要： 文档理解是从pdf、图像和Word文档中提取关键信息的技术。这篇文章的目标是提供一个文档理解模型的概述。 文档理解算法使用编码器-解码器结构分析文档内容，该管道结合了计算机视觉(CV)和自然语言处理(NLP)方法。管道的CV部分将文档作为输入图像进行分析，生成transformer可以处理的表示形式 阅读全文

摘要： TensorFlow Probability是一个构建在TensorFlow之上的Python库。它将我们的概率模型与现代硬件(例如GPU)上的深度学习结合起来。 极大似然估计 最大似然估计是深度学习模型中常用的训练过程。目标是在给定一些数据的情况下，估计概率分布的参数。简单来说，我们想要最大化我们 阅读全文