摘要:Batch Normalization和Dropout是深度学习模型中常用的结构。但BN和dropout在训练和测试时使用却不相同。 Batch Normalization BN在训练时是在每个batch上计算均值和方差来进行归一化,每个batch的样本量都不大,所以每次计算出来的均值和方差就存在差 阅读全文
posted @ 2021-01-27 11:00 微笑sun 阅读(411) 评论(0) 推荐(0) 编辑
摘要:1,前言 语义相似度计算是信息检索,自动问答中常用的技术。语义相似度计算通常可以分为表示型和交互型两种类型,表示型模型如DSSM,孪生网络,这类模型可以离线计算doc的编码,在线上运行时只需要编码query,效率很高,但是精度不如交互型模型,而交互型模型需要在线编码query和doc,当需要比较的d 阅读全文
posted @ 2020-11-08 19:26 微笑sun 阅读(1261) 评论(0) 推荐(0) 编辑
摘要:1,简介 序列标注算是NLP中最基本的任务,主要有分词,词性标注,实体识别三类任务。分词通常是中文任务的模型最基本的组件,词性标注通常也是用来辅助其他的任务,用于提升任务的性能,而实体识别算是可以直接应用的任务。NLP发展到今天,预训练模型通常能取得较其他模型更优的效果,然预训练模型体量庞大,在直接 阅读全文
posted @ 2020-09-06 17:49 微笑sun 阅读(376) 评论(0) 推荐(0) 编辑
摘要:条款一:视c++为一个语言联邦 c++可以认为是由C,Object-Oriented C++(面向对象),Template C++(模板),STL(c++标准模板库)四种次语言组成的。 条款二:尽量以const,enum,inline替换#define c++中推荐使用其他的方法替换一些宏定义操作, 阅读全文
posted @ 2020-08-27 20:23 微笑sun 阅读(400) 评论(3) 推荐(0) 编辑
摘要:一,概述 深度学习模型在移动端的应用越来越多,tensorflow lite就是专门为tensorflow模型在移动端上线推断设计的框架。tensorflow 官方提供了不少cv的tflite模型,以及c++调用的例子。我们在这里以一个nlp的例子来从零实现到c++调用,并且以调用so动态库,用cm 阅读全文
posted @ 2020-06-30 23:45 微笑sun 阅读(2728) 评论(0) 推荐(0) 编辑
摘要:1,概述 语言模型可以说是NLP中最基本的任务,无论是词向量,预训练模型,文本生成等任务中都带有语言模型的影子。语言模型本质上是对一个自然世界中存在的句子建模,描述一个句子发生的概率,因此语言模型也是一个自回归的任务。语言模型是一个上下文强依赖的任务,不仅需要捕获长距离的信息,还需要学到词之间的位置 阅读全文
posted @ 2020-06-14 22:19 微笑sun 阅读(1053) 评论(0) 推荐(0) 编辑
摘要:1,Introduction 当你想训练好一个神经网络时,你需要做好三件事情:一个合适的网络结构,一个合适的训练算法,一个合适的训练技巧: 合适的网络结构:包括网络结构和激活函数,你可以选择更深的卷积网络,然后引入残差连接。可以选择relu做为激活函数,也可以选择tanh,swish等。 合适的训练 阅读全文
posted @ 2020-01-09 20:43 微笑sun 阅读(2275) 评论(0) 推荐(1) 编辑
摘要:1,引言 现在的机器学习和深度学习任务都依赖于大量的标注数据来训练,而人类的学习过程并不是这样的,人类可以利用过去学得的知识,在新的问题上只需要少量的样例就可以学得很好。FSL就是这样一个任务,期待像人类一样,能利用一些先验知识,在新的问题上只需要少量样本。 2,概述 本节给出了FSL的定义,并且根 阅读全文
posted @ 2020-01-08 15:23 微笑sun 阅读(4963) 评论(1) 推荐(2) 编辑
摘要:1,概述 剪枝可以分为两种:一种是无序的剪枝,比如将权重中一些值置为0,这种也称为稀疏化,在实际的应用上这种剪枝基本没有意义,因为它只能压缩模型的大小,但很多时候做不到模型推断加速,而在当今的移动设备上更多的关注的是系统的实时相应,也就是模型的推断速度。另一种是结构化的剪枝,比如卷积中对channe 阅读全文
posted @ 2019-12-18 17:12 微笑sun 阅读(1233) 评论(0) 推荐(0) 编辑
摘要:1,概述 模型量化应该是现在最容易实现的模型压缩技术,而且也基本上是在移动端部署的模型的毕竟之路。模型量化基本可以分为两种:post training quantizated和quantization aware training。在pyrotch和tensroflow中都提供了相应的实现接口。 对 阅读全文
posted @ 2019-12-18 12:09 微笑sun 阅读(5576) 评论(0) 推荐(0) 编辑