2023年11月25日
多模态-BLIP
摘要： BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generatio Paper 模型参数量 训练数据量 数据集来源 BLIP 224M-361M 14M - 1 阅读全文
posted @ 2023-11-25 15:47 星辰大海,绿色星球 阅读(1305) 评论(0) 推荐(0)
复数
摘要： 复数 虚数定义 英文名称是imageinary number, 表示虚构的数或者不存在的数。其定义为\(i = \sqrt{-1}\)。 在实数域中，\(\sqrt{-1}\)是没有意义的也不存在。虚数在现实世界并没有实际含义，并不像在实数域中那样，比如实数2，可以表示2个苹果，2只羊，或者2厘米等 阅读全文
posted @ 2023-11-25 15:46 星辰大海,绿色星球 阅读(427) 评论(0) 推荐(0)
强化学习 1
摘要： 以下是对李宏毅老师 youtube视频-【机器学习2021】概述增强式学习一、二、三简要记录 https://www.youtube.com/watch?v=XWukX-ayIrs https://www.youtube.com/watch?v=US8DFaAZcp4 https://www.you 阅读全文
posted @ 2023-11-25 15:45 星辰大海,绿色星球 阅读(60) 评论(0) 推荐(0)
2023年11月5日
多种模态数据集
摘要： 图像描述 Image Captioning LAION-5B 2022.3发布的迄今为止最大规模的图文对的多模态数据集。共计约5.85B数据，是基于CLIP过滤的。基于这个大型数据集，作者也发布不同侧重的子集。LAION2B-en是包含英文注释文本的，LAION2B-multi是包含100多种的其它 阅读全文
posted @ 2023-11-05 23:21 星辰大海,绿色星球 阅读(1227) 评论(0) 推荐(0)
多模态-CogVLM
摘要： 图文多模态方向：利用现有强大的预训练图像和语言大模型，冻结其参数并通过可训练模块建立起图像与语言模型间联系，实现对图文数据的联合处理能力。 CoGVLM 结构 整个网络结构由4部分构成： 视觉模型(ViT encoder), 语言模型(LLM), MLP适配器(MLP adapter)，视觉专家模块 阅读全文
posted @ 2023-11-05 14:38 星辰大海,绿色星球 阅读(1191) 评论(0) 推荐(0)
2023年10月22日
Transformer-based Encoder-Decoder Models
摘要： 整理原链接内容方便阅读；最好的阅读体验是复制下述链接内容，并使用$替换全体\)，然后用VSCode进行markdown渲染 源链接： https://github.com/huggingface/blog/blob/main/encoder-decoder.md Transformers-based 阅读全文
posted @ 2023-10-22 12:15 星辰大海,绿色星球 阅读(113) 评论(0) 推荐(0)
FlashAttention 如何加速Attention计算？
摘要： 代数聚合 计算向量\(\mathbf x^l \in \mathbb R^{1 \times d}\)的softmax值 \[m(\mathbf x^l) = max(x_i^{l}) \\ f(\mathbf x^l) = [e^{x_1^l-m(\mathbf x^l)}, \cdots, e^ 阅读全文
posted @ 2023-10-22 11:33 星辰大海,绿色星球 阅读(96) 评论(0) 推荐(0)
大语言模型LLM-三种模型架构
摘要： 架构：由Transformer论文衍生出来的大语言模型，主要有三种模型架构 预训练目标：FLM，PLM，MLM 调整： 微调： Transformer transfomer可以并行地计算？ transformer中encoder模块是完全并行的，而decoder不是完全并行的。 模型结构 使用原文表 阅读全文
posted @ 2023-10-22 10:30 星辰大海,绿色星球 阅读(2431) 评论(0) 推荐(0)
2023年9月10日
大规模分布式训练并行模式
摘要： 大规模分布式训练并行模式 数据并行 Data Parallelism 模型在不同GPU上具有完全一致的副本，包括模型参数、模型梯度、模型优化器状态，这些都是完全相同的。唯一不同的是不同GPU上处理的数据是不同的，在每次梯度更新时，对所有数据产生梯度之和求平均，然后更新。 管道并行 Pipeline 阅读全文
posted @ 2023-09-10 14:42 星辰大海,绿色星球 阅读(128) 评论(0) 推荐(0)
2023年8月18日
DDPM [diffusers] 保姆级代码解释 (1)
摘要： ## UNet2DModel 整体网络结构 block_out_channels： 参考UNet的思路，收缩阶段图像空间尺寸在变小但特征通道则增加；扩张阶段则相反。 - conv_in： 对输入的像素空间图像进行卷积处理，获得指定通道且与原始图像相同尺寸的第一层特征图 - down_blocks：依 阅读全文
posted @ 2023-08-18 11:25 星辰大海,绿色星球 阅读(2596) 评论(2) 推荐(1)