摘要:一,概述 深度学习模型在移动端的应用越来越多,tensorflow lite就是专门为tensorflow模型在移动端上线推断设计的框架。tensorflow 官方提供了不少cv的tflite模型,以及c++调用的例子。我们在这里以一个nlp的例子来从零实现到c++调用,并且以调用so动态库,用cm 阅读全文
posted @ 2020-06-30 23:45 微笑sun 阅读(38) 评论(0) 推荐(0) 编辑
摘要:1,概述 语言模型可以说是NLP中最基本的任务,无论是词向量,预训练模型,文本生成等任务中都带有语言模型的影子。语言模型本质上是对一个自然世界中存在的句子建模,描述一个句子发生的概率,因此语言模型也是一个自回归的任务。语言模型是一个上下文强依赖的任务,不仅需要捕获长距离的信息,还需要学到词之间的位置 阅读全文
posted @ 2020-06-14 22:19 微笑sun 阅读(58) 评论(0) 推荐(0) 编辑
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2020-03-12 12:20 微笑sun 阅读(376) 评论(0) 推荐(1) 编辑
摘要:1,Introduction 当你想训练好一个神经网络时,你需要做好三件事情:一个合适的网络结构,一个合适的训练算法,一个合适的训练技巧: 合适的网络结构:包括网络结构和激活函数,你可以选择更深的卷积网络,然后引入残差连接。可以选择relu做为激活函数,也可以选择tanh,swish等。 合适的训练 阅读全文
posted @ 2020-01-09 20:43 微笑sun 阅读(1012) 评论(0) 推荐(1) 编辑
摘要:1,引言 现在的机器学习和深度学习任务都依赖于大量的标注数据来训练,而人类的学习过程并不是这样的,人类可以利用过去学得的知识,在新的问题上只需要少量的样例就可以学得很好。FSL就是这样一个任务,期待像人类一样,能利用一些先验知识,在新的问题上只需要少量样本。 2,概述 本节给出了FSL的定义,并且根 阅读全文
posted @ 2020-01-08 15:23 微笑sun 阅读(1849) 评论(0) 推荐(1) 编辑
摘要:1,概述 剪枝可以分为两种:一种是无序的剪枝,比如将权重中一些值置为0,这种也称为稀疏化,在实际的应用上这种剪枝基本没有意义,因为它只能压缩模型的大小,但很多时候做不到模型推断加速,而在当今的移动设备上更多的关注的是系统的实时相应,也就是模型的推断速度。另一种是结构化的剪枝,比如卷积中对channe 阅读全文
posted @ 2019-12-18 17:12 微笑sun 阅读(392) 评论(0) 推荐(0) 编辑
摘要:1,概述 模型量化应该是现在最容易实现的模型压缩技术,而且也基本上是在移动端部署的模型的毕竟之路。模型量化基本可以分为两种:post training quantizated和quantization aware training。在pyrotch和tensroflow中都提供了相应的实现接口。 对 阅读全文
posted @ 2019-12-18 12:09 微笑sun 阅读(1902) 评论(0) 推荐(0) 编辑
摘要:1,概述 模型量化属于模型压缩的范畴,模型压缩的目的旨在降低模型的内存大小,加速模型的推断速度(除了压缩之外,一些模型推断框架也可以通过内存,io,计算等优化来加速推断)。 常见的模型压缩算法有:量化,剪枝,蒸馏,低秩近似以及紧凑模型设计(如mobileNet)等操作。但在这里有些方法只能起到缩减模 阅读全文
posted @ 2019-12-18 11:16 微笑sun 阅读(1606) 评论(0) 推荐(0) 编辑
摘要:句子对关系是NLP中非常常见的任务,例如句子相似度计算,自然语言推断等。句子对关系判断一般都两种模型:一是表示式模型,例如孪生网络,DSSM,这类模型的特点是将句子编码成向量,在编码时两个句子可以共享或不共享模型参数,之后再通过余弦,欧式距离等计算两个向量的距离,从而来表示两个句子的相关性;二是交互 阅读全文
posted @ 2019-11-19 14:27 微笑sun 阅读(838) 评论(0) 推荐(0) 编辑
摘要:随着预训练模型越来越成熟,预训练模型也会更多的在业务中使用,本文提供了bert和albert的快速训练和部署,实际上目前的预训练模型在用起来时都大致相同。 基于不久前发布的中文数据集chineseGLUE,将所有任务分成四大类:文本分类,句子对判断,实体识别,阅读理解。同类可以共享代码,除上面四个任 阅读全文
posted @ 2019-11-18 15:15 微笑sun 阅读(1448) 评论(0) 推荐(0) 编辑