摘要：
随着预训练和transformer模型在自然语言处理领域大放异彩后，多模态领域也逐渐被应用起来。近两年来围绕着基于transformer的多模态预训练模型也越来越多。多模态即多种异构模态的数据，文本、图片、语音等。以最常见的文本、图片应用来讨论，文本、图片也是目前研究最多的多模态领域。 多模态预训练 阅读全文
摘要：
一、概述 本文主要聚焦在一些经典的轻量化模型上，从模型结构上实现模型的压缩和加速。 二、经典论文 论文：SqueezeNet（SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE） Squ 阅读全文
摘要：
1、概述 本文想简单的记述下在CV领域经典模型的发展历程 2、经典论文 论文：AlexNet (ImageNet Classification with Deep Convolutional Neural Networks) 2021年的AlexNet是具有重大意义的，也是从这之后进入了深度神经网络 阅读全文
摘要：
一、模板格式 回溯法问题实际上是一个决策树的遍历过程。可以分为三个部分： 1、路径：也就是已经做出的选择。 2、选择列表：也就是当前可以做的选择。 3、结束条件：也就是到达决策树底层，无法再做选择的条件。 回溯法不好理解的地方应该在撤销选择这一步，回溯会沿着一条路径走到结束状态，到这一步之后，需要返 阅读全文
摘要：
NER技术是工业界落地比较多的NLP技术，文本数据的结构化都依赖NER技术，本文总结下常用的NER技术。 一、词典匹配 词典匹配是工业界最常用的NER技术，尤其是垂直领域的NER任务。词典匹配的优点是速度快，可解释性强，且精度高。但是词典无法解决歧义性问题，为了降低词典匹配的歧义性问题，往往会限制词 阅读全文
摘要：
预训练+微调在下游任务上确实取得了很好的效果，但是在没有监督数据微调的情况下，使用预训练模型表征文本语义时效果却很差，不如直接使用词向量来表征文本。记得在BERT刚出来的时候，使用BERT做无监督语义相似度的任务时，计算出来的句子之间的余弦相似度值都很高，导致正负样本之间的区分度不高，当时并不明白是 阅读全文
摘要：
Batch Normalization和Dropout是深度学习模型中常用的结构。但BN和dropout在训练和测试时使用却不相同。 Batch Normalization BN在训练时是在每个batch上计算均值和方差来进行归一化，每个batch的样本量都不大，所以每次计算出来的均值和方差就存在差 阅读全文
摘要：
1，前言 语义相似度计算是信息检索，自动问答中常用的技术。语义相似度计算通常可以分为表示型和交互型两种类型，表示型模型如DSSM，孪生网络，这类模型可以离线计算doc的编码，在线上运行时只需要编码query，效率很高，但是精度不如交互型模型，而交互型模型需要在线编码query和doc，当需要比较的d 阅读全文
摘要：
1，简介 序列标注算是NLP中最基本的任务，主要有分词，词性标注，实体识别三类任务。分词通常是中文任务的模型最基本的组件，词性标注通常也是用来辅助其他的任务，用于提升任务的性能，而实体识别算是可以直接应用的任务。NLP发展到今天，预训练模型通常能取得较其他模型更优的效果，然预训练模型体量庞大，在直接 阅读全文
摘要：
条款一：视c++为一个语言联邦 c++可以认为是由C，Object-Oriented C++(面向对象)，Template C++（模板），STL（c++标准模板库）四种次语言组成的。 条款二：尽量以const，enum，inline替换#define c++中推荐使用其他的方法替换一些宏定义操作， 阅读全文