AI
刷新
聊聊RNN与Attention

博主头像 RNN系列： 聊聊RNN&LSTM 聊聊RNN与seq2seq attention mechanism，称为注意力机制。基于Attention机制，seq2seq可以像我们人类一样，将“注意力”集中在必要的信息上。 Attention的结构 seq2seq存在的问题 seq2seq中使用编码器对时序 ...

聊聊RNN与seq2seq

博主头像 seq2seq模型也称为Encoder-Decoder模型。顾名思义，这个模型有两个模块——Encoder（编码器）和Decoder（解码器）。编码器对输入数据进行编码，解码器对被编码的数据进行解码。此时编码器编码的信息浓缩了翻译所必需的信息，解码器基于这个浓缩的信息生成目标文本。 这里的数据一般指 ...

umich cv-6-2 注意力机制

博主头像 这节课中介绍了循环神经网络的第二部分，主要引入了注意力机制，介绍了注意力机制的应用以及如何理解，在此基础上建立了注意力层以及transformer架构 注意力机制 注意力机制 应用与理解 注意力层 transformer 注意力机制 上次我们没有提到sequence to sequence的RNN结 ...

umich cv-6-1 循环神经网络基本知识

博主头像 这节课中介绍了循环神经网络的第一部分，主要介绍了循环神经网络的基本概念，vanilla循环网络架构，RNN的一些应用，vanilla架构的问题，更先进的rnn架构比如GRU和LSTM 循环神经网络基本知识 vanilla循环网络架构 应用与理解 vanilla架构的问题 LSTM vanilla循环 ...

全面掌握胶囊网络：从基础理论到PyTorch实战

博主头像 本文全面深入地探讨了胶囊网络（Capsule Networks）的原理、构建块、数学模型以及在PyTorch中的实现。通过本文，读者不仅能够理解胶囊网络的基础概念和高级数学原理，还能掌握其在实际问题中的应用方法。 关注TechLead，分享AI与云服务技术的全维度知识。作者拥有10+年互联网服务架构 ...

聊聊RNN&LSTM

博主头像 RNN 用于解决输入数据为，序列到序列(时间序列)数据，不能在传统的前馈神经网络(FNN)很好应用的问题。时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度，即输入内容的上下文关联性强。 整体结构 x、o为向量，分别表示输入层、输出层的值；U、V为权重矩 ...

大模型问答助手前端实现打字机效果

博主头像 ChatGPT，作为 OpenAI 的代表性产品之一，不仅为用户提供了强大的自然语言处理能力，而且关注用户的整体交互体验。在使用 ChatGPT 进行交互时，用户可能已经注意到了一个细节：当它产生回复时，回复会像人类逐字输入的方式逐渐出现，而不是一次性显示完整答案。 ...

ResNet详解：网络结构解读与PyTorch实现教程

博主头像 本文深入探讨了深度残差网络（ResNet）的核心概念和架构组成。我们从深度学习和梯度消失问题入手，逐一解析了残差块、初始卷积层、残差块组、全局平均池化和全连接层的作用和优点。文章还包含使用PyTorch构建和训练ResNet模型的实战部分，带有详细的代码和解释。 关注TechLead，分享AI与云服 ...

umich cv-5-2 神经网络训练2

博主头像 这节课中介绍了训练神经网络的第二部分，包括学习率曲线，超参数优化，模型集成，迁移学习 训练神经网络2 学习率曲线 超参数优化 模型集成 迁移学习 学习率曲线 在训练神经网络时，一个常见的思路就是刚开始迭代的时候学习率较大，然后随着迭代次数的增加，学习率逐渐下降，下面我们就来介绍几种学习率下降的方法： ...

umich cv-5-1 神经网络训练1

博主头像 这节课中介绍了训练神经网络的第一部分，包括激活函数的选择，权重初始化，数据预处理以及正则化方法 训练神经网络1 激活函数 数据预处理 权重初始化 正则化方法 激活函数 这部分主要讨论我们之前提到的几种激活函数的利弊： 首先我们看sigmoid函数，这种激活函数有着激活函数中常见的优点与缺点： 优点方 ...

Variational Autoencoders（VAE）

博主头像 在过去的几年中，基于深度学习的生成模型越来越受到关注，一方面这是因为该领域产生了一些惊人改进，另一方面受到关注也暗示着该领域进展迅猛。 依靠大量数据，精心设计的网络体系结构和智能培训技术，深入的生成模型已经显示出了令人难以置信的能力，可以生成各种高度逼真的各种内容，例如图像，文本和声音。 在这些深层 ...

自编码器AE全方位探析：构建、训练、推理与多平台部署

博主头像 本文深入探讨了自编码器（AE）的核心概念、类型、应用场景及实战演示。通过理论分析和实践结合，我们详细解释了自动编码器的工作原理和数学基础，并通过具体代码示例展示了从模型构建、训练到多平台推理部署的全过程。 关注TechLead，分享AI与云服务技术的全维度知识。作者拥有10+年互联网服务架构、AI产 ...

一文搞懂深度信念网络！DBN概念介绍与Pytorch实战

博主头像 本文深入探讨了深度信念网络DBN的核心概念、结构、Pytorch实战，分析其在深度学习网络中的定位、潜力与应用场景。 关注TechLead，分享AI与云服务技术的全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师 ...

用AI打造一个属于自己的歌手，让她C位霸气出道

博主头像 ​ 一、前言 今天玩儿点儿特别的，AI大行其道的今天，还没玩过AI模型的程序员绝对不是个好厨子。我本人比较喜欢音乐，但是一直没有出道，很是遗憾。那么今天，我就使用AI模型亲手打造一个堪比真人的歌手，让她C位霸气出道。 首先，让这位女歌手露一嗓子：点我试听 唱的还不错吧，接下来咱们来分析这位歌手是如何 ...

DeepSpeed： 大模型训练框架

博主头像 目前，大模型的发展已经非常火热，关于大模型的训练、微调也是各个公司重点关注方向。但是大模型训练的痛点是模型参数过大，动辄上百亿，如果单靠单个GPU来完成训练基本不可能。所以需要多卡或者分布式训练来完成这项工作。 ...

<1···333435···50>