上一页 1 2 3 4 5 6 ··· 13 下一页
摘要: 随着预训练和transformer模型在自然语言处理领域大放异彩后,多模态领域也逐渐被应用起来。近两年来围绕着基于transformer的多模态预训练模型也越来越多。多模态即多种异构模态的数据,文本、图片、语音等。以最常见的文本、图片应用来讨论,文本、图片也是目前研究最多的多模态领域。 多模态预训练 阅读全文
posted @ 2023-03-02 16:56 微笑sun 阅读(1071) 评论(0) 推荐(0) 编辑
摘要: 一、概述 本文主要聚焦在一些经典的轻量化模型上,从模型结构上实现模型的压缩和加速。 二、经典论文 论文:SqueezeNet(SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE) Squ 阅读全文
posted @ 2022-09-22 16:15 微笑sun 阅读(140) 评论(2) 推荐(0) 编辑
摘要: 1、概述 本文想简单的记述下在CV领域经典模型的发展历程 2、经典论文 论文:AlexNet (ImageNet Classification with Deep Convolutional Neural Networks) 2021年的AlexNet是具有重大意义的,也是从这之后进入了深度神经网络 阅读全文
posted @ 2022-07-25 17:41 微笑sun 阅读(123) 评论(0) 推荐(0) 编辑
摘要: 一、模板格式 回溯法问题实际上是一个决策树的遍历过程。可以分为三个部分: 1、路径:也就是已经做出的选择。 2、选择列表:也就是当前可以做的选择。 3、结束条件:也就是到达决策树底层,无法再做选择的条件。 回溯法不好理解的地方应该在撤销选择这一步,回溯会沿着一条路径走到结束状态,到这一步之后,需要返 阅读全文
posted @ 2022-06-27 15:20 微笑sun 阅读(230) 评论(0) 推荐(0) 编辑
摘要: NER技术是工业界落地比较多的NLP技术,文本数据的结构化都依赖NER技术,本文总结下常用的NER技术。 一、词典匹配 词典匹配是工业界最常用的NER技术,尤其是垂直领域的NER任务。词典匹配的优点是速度快,可解释性强,且精度高。但是词典无法解决歧义性问题,为了降低词典匹配的歧义性问题,往往会限制词 阅读全文
posted @ 2022-06-22 17:51 微笑sun 阅读(2547) 评论(0) 推荐(0) 编辑
摘要: 预训练+微调在下游任务上确实取得了很好的效果,但是在没有监督数据微调的情况下,使用预训练模型表征文本语义时效果却很差,不如直接使用词向量来表征文本。记得在BERT刚出来的时候,使用BERT做无监督语义相似度的任务时,计算出来的句子之间的余弦相似度值都很高,导致正负样本之间的区分度不高,当时并不明白是 阅读全文
posted @ 2022-06-20 16:30 微笑sun 阅读(633) 评论(0) 推荐(0) 编辑
摘要: Batch Normalization和Dropout是深度学习模型中常用的结构。但BN和dropout在训练和测试时使用却不相同。 Batch Normalization BN在训练时是在每个batch上计算均值和方差来进行归一化,每个batch的样本量都不大,所以每次计算出来的均值和方差就存在差 阅读全文
posted @ 2021-01-27 11:00 微笑sun 阅读(4195) 评论(0) 推荐(0) 编辑
摘要: 1,前言 语义相似度计算是信息检索,自动问答中常用的技术。语义相似度计算通常可以分为表示型和交互型两种类型,表示型模型如DSSM,孪生网络,这类模型可以离线计算doc的编码,在线上运行时只需要编码query,效率很高,但是精度不如交互型模型,而交互型模型需要在线编码query和doc,当需要比较的d 阅读全文
posted @ 2020-11-08 19:26 微笑sun 阅读(5361) 评论(0) 推荐(0) 编辑
摘要: 1,简介 序列标注算是NLP中最基本的任务,主要有分词,词性标注,实体识别三类任务。分词通常是中文任务的模型最基本的组件,词性标注通常也是用来辅助其他的任务,用于提升任务的性能,而实体识别算是可以直接应用的任务。NLP发展到今天,预训练模型通常能取得较其他模型更优的效果,然预训练模型体量庞大,在直接 阅读全文
posted @ 2020-09-06 17:49 微笑sun 阅读(569) 评论(0) 推荐(0) 编辑
摘要: 条款一:视c++为一个语言联邦 c++可以认为是由C,Object-Oriented C++(面向对象),Template C++(模板),STL(c++标准模板库)四种次语言组成的。 条款二:尽量以const,enum,inline替换#define c++中推荐使用其他的方法替换一些宏定义操作, 阅读全文
posted @ 2020-08-27 20:23 微笑sun 阅读(1066) 评论(3) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 13 下一页