deephub

摘要： 长短期记忆网络（通常称为“ LSTM”）是一种特殊的RNN，经过精心设计LSTM能够学习长期的依赖。正如他的名字，它可以学习长期和短期的依赖。 每个LSTM层都有四个门： Forget gate Input gate New cell state gate Output gate 下面计算一个LST 阅读全文

摘要： 卷积神经网络 (CNN) 得到了广泛的应用并且事实证明他是非常成功的。但是卷积的计算很低效，滑动窗口需要很多计算并且限制了过滤器的大小，通常在 [3,3] 到 [7,7] 之间的小核限制了感受野（最近才出现的大核卷积可以参考我们以前的文章），并且需要许多层来捕获输入张量的全局上下文（例如 2D 图像 阅读全文

摘要： JAX 是一个由 Google 开发的用于优化科学计算Python 库： 它可以被视为 GPU 和 TPU 上运行的NumPy ， jax.numpy提供了与numpy非常相似API接口。 它与 NumPy API 非常相似，几乎任何可以用 numpy 完成的事情都可以用 jax.numpy 完成。 阅读全文

摘要： 在任何数据科学面试中，基本上都会问道一些有关概率的问题。 这些问题有的非常棘手（因为里面包含了一些复杂的数学概念），但是如果逆知道基本公式和概念那么就很容易了。所以在本文中我总结了一些相关的问题供大家参考。 本文假设读者知道基本的概率公式和概念。因为可能有许多不同的方法来解决相同的问题，所以本文提供 阅读全文

摘要： TResNet: High Performance GPU-Dedicated Architecture 来自阿里的达摩院，发布于**2021 WACV,**该论文引入了一系列架构修改，旨在提高神经网络的准确性，同时保持其 GPU 训练和推理效率。 论文首先讨论了面向 FLOP 的优化引起的瓶颈。然 阅读全文

摘要： 本文并不是为了造轮子，只是通过手动实现来介绍建基本深度学习框架所需组件和步骤 Numpy 已经提供了基本上所有需要的计算操作，我们需要的是一个支持自动微分（autograd）的框架来计算多个操作的梯度，这是模块化方法构建神经网络层的标准化方法，通过自动微分的框架，我们可以将优化器、激活函数等组合在一 阅读全文

摘要： softmax 函数在机器学习中无处不在：当远离分类边界时，它假设似然函数有一个修正的指数尾。 但是新数据可能不适合训练数据中使用的 z 值范围。如果出现新的数据点softmax将根据指数拟合确定其错误分类的概率；错误分类的机会并不能保证遵循其训练范围之外的指数（不仅如此——如果模型不够好，它只能将 阅读全文

摘要： 在本篇文章中，我们将介绍回归树及其基本数学原理，并从头开始使用Python实现一个完整的回归树模型。 为了简单起见这里将使用递归来创建树节点，虽然递归不是一个完美的实现，但是对于解释原理他是最直观的。 首先导入库 import pandas as pd import numpy as np impo 阅读全文

摘要： Evaluating Deep Neural Network Ensembles by Majority Voting cum Meta-Learning scheme https://arxiv.org/pdf/2105.03819 Anmol Jain, Aishwary Kumar, Seba 阅读全文

摘要： 在现实世界中开发机器学习（ML）模型的主要瓶颈之一是需要大量手动标记的训练数据。例如，Imagenet数据集由超过1400万手动标记的各种现实的图像组成。 虽然迁移学习的出现极大地缓解了这一要求但是仍然需要数百个标记的示例来进行微调。但是获得此类手动注释通常是耗时的和劳动力密集的，并且容易发生人类的 阅读全文