上一页 1 ··· 9 10 11 12 13 14 15 16 17 ··· 91 下一页
2024年8月11日
chinese-clip中的文本编码模型RoBERTa
摘要： RoBERTa（A Robustly Optimized BERT Approach）是 BERT 模型的一个改进版本，由 Facebook AI Research 团队在 2019 年提出。RoBERTa 在 BERT 的基础上，通过调整训练策略和数据量，大幅提高了模型的性能。 RoBERTa 的 阅读全文
posted @ 2024-08-11 22:23 海_纳百川 阅读(269) 评论(0) 推荐(0)
Word2Vec模型介绍
摘要： Word2Vec 是一种用于生成词向量的模型，由 Tomas Mikolov 等人在 2013 年提出。它通过从大量语料库中学习，捕捉词汇之间的语义关系。Word2Vec 主要包括两种模型架构： 1. CBOW（Continuous Bag of Words）模型 CBOW 模型通过上下文词来预测中 阅读全文
posted @ 2024-08-11 21:48 海_纳百川 阅读(238) 评论(0) 推荐(0)
Word2Vec模型之CBOW
摘要： CBOW（Continuous Bag of Words）是一种常用于自然语言处理的词嵌入模型，属于Word2Vec的一部分。CBOW模型的目标是通过上下文词来预测中心词。它通过在大规模语料库中学习词汇之间的共现关系，生成词向量表示。 CBOW模型的工作原理 上下文窗口：CBOW模型的核心思想是利用 阅读全文
posted @ 2024-08-11 21:42 海_纳百川 阅读(471) 评论(0) 推荐(0)
2024年8月10日
vit中的生成分类标识符介绍
摘要： Vision Transformer (ViT) 分类标识符 Vision Transformer (ViT) 分类标识符 1. 初始化分类标识符 在ViT中，分类标识符是一个可学习的向量，通常在模型初始化时随机初始化。这个标识符的维度与图像块的嵌入向量维度相同，通常记作 zcls，其大小为 D（与 阅读全文
posted @ 2024-08-10 21:52 海_纳百川 阅读(113) 评论(0) 推荐(0)
transformer的位置编码具体是如何做的
摘要： Vision Transformer (ViT) 位置编码 Vision Transformer (ViT) 位置编码 1. 生成位置编码 对于每个图像块（patch），根据其位置生成一个对应的编码向量。假设每个图像块的嵌入向量维度为 D，则位置编码的维度也是 D。 ViT 通常使用可学习的绝对位置 阅读全文
posted @ 2024-08-10 17:58 海_纳百川 阅读(878) 评论(0) 推荐(0)
2024年8月9日
常用的ViT模型
摘要： 常用的ViT模型有许多版本和变种，它们在不同的任务和数据规模上表现出色。以下是一些常见的ViT模型及其变种： 1. ViT-B/16, ViT-B/32 ViT-B/16和ViT-B/32是Vision Transformer的基本版本，"B"代表Base模型，数字16和32代表图像块的大小（如16 阅读全文
posted @ 2024-08-09 23:07 海_纳百川 阅读(3933) 评论(0) 推荐(0)
vit的图像预处理过程
摘要： 在Vision Transformer (ViT) 中，图像的预处理过程主要包括将图像转换为适合Transformer模型输入的格式。以下是从原始图像到模型输入所进行的主要操作步骤： 1. 图像尺寸调整 (Resize) 将输入图像调整为固定大小，通常是正方形（例如，224x224像素）。这是为了统 阅读全文
posted @ 2024-08-09 23:05 海_纳百川 阅读(638) 评论(0) 推荐(0)
vit的线性映射过程
摘要： Vision Transformer 线性映射 Vision Transformer (ViT): 线性映射 1. 展平图像块 假设输入的图像块大小为 P × P 像素，并且图像有 C 个通道（对于RGB图像，通常 C = 3）。 每个图像块被展平成一个向量，向量的维度为 P × P × C 。 例 阅读全文
posted @ 2024-08-09 22:46 海_纳百川 阅读(129) 评论(0) 推荐(0)
我愿称之为全网最通透的layernorm讲解（往下翻）
摘要： 在我们平常面试和工程中会用到BN和LN，但或许没有去了解过BN和LN到底在那个维度上进行的正则化（减均值除以标准差）。下面将会采用各种例子来为大家介绍BN层和LN层各个参数以及差别。 一、BatchNorm(批标准化)： BatchNorm一共有三个函数分别是BatchNorm1d，BatchNor 阅读全文
posted @ 2024-08-09 16:31 海_纳百川 阅读(2339) 评论(0) 推荐(0)
中文的embedding方式
摘要： 中文文本处理有多种专门的词嵌入（embedding）方法。与英文相似，中文的词嵌入方法可以帮助将文本数据转换为机器学习模型可以处理的向量表示。以下是一些常见的中文词嵌入方式： 1. Word2Vec 简介: Word2Vec 是一种广泛使用的词嵌入技术，可以应用于中文和其他语言。中文的 Word2V 阅读全文
posted @ 2024-08-09 10:54 海_纳百川 阅读(621) 评论(0) 推荐(0)
上一页 1 ··· 9 10 11 12 13 14 15 16 17 ··· 91 下一页
本站总访问量次