摘要：
一，概述 深度学习模型在移动端的应用越来越多，tensorflow lite就是专门为tensorflow模型在移动端上线推断设计的框架。tensorflow 官方提供了不少cv的tflite模型，以及c++调用的例子。我们在这里以一个nlp的例子来从零实现到c++调用，并且以调用so动态库，用cm 阅读全文
摘要：
1，概述 语言模型可以说是NLP中最基本的任务，无论是词向量，预训练模型，文本生成等任务中都带有语言模型的影子。语言模型本质上是对一个自然世界中存在的句子建模，描述一个句子发生的概率，因此语言模型也是一个自回归的任务。语言模型是一个上下文强依赖的任务，不仅需要捕获长距离的信息，还需要学到词之间的位置 阅读全文
摘要：
1，Introduction 当你想训练好一个神经网络时，你需要做好三件事情：一个合适的网络结构，一个合适的训练算法，一个合适的训练技巧： 合适的网络结构：包括网络结构和激活函数，你可以选择更深的卷积网络，然后引入残差连接。可以选择relu做为激活函数，也可以选择tanh，swish等。 合适的训练 阅读全文
摘要：
1，引言 现在的机器学习和深度学习任务都依赖于大量的标注数据来训练，而人类的学习过程并不是这样的，人类可以利用过去学得的知识，在新的问题上只需要少量的样例就可以学得很好。FSL就是这样一个任务，期待像人类一样，能利用一些先验知识，在新的问题上只需要少量样本。 2，概述 本节给出了FSL的定义，并且根 阅读全文
摘要：
1，概述 剪枝可以分为两种：一种是无序的剪枝，比如将权重中一些值置为0，这种也称为稀疏化，在实际的应用上这种剪枝基本没有意义，因为它只能压缩模型的大小，但很多时候做不到模型推断加速，而在当今的移动设备上更多的关注的是系统的实时相应，也就是模型的推断速度。另一种是结构化的剪枝，比如卷积中对channe 阅读全文
摘要：
1，概述 模型量化应该是现在最容易实现的模型压缩技术，而且也基本上是在移动端部署的模型的毕竟之路。模型量化基本可以分为两种：post training quantizated和quantization aware training。在pyrotch和tensroflow中都提供了相应的实现接口。 对 阅读全文
摘要：
1，概述 模型量化属于模型压缩的范畴，模型压缩的目的旨在降低模型的内存大小，加速模型的推断速度（除了压缩之外，一些模型推断框架也可以通过内存，io，计算等优化来加速推断）。 常见的模型压缩算法有：量化，剪枝，蒸馏，低秩近似以及紧凑模型设计（如mobileNet）等操作。但在这里有些方法只能起到缩减模 阅读全文
摘要：
句子对关系是NLP中非常常见的任务，例如句子相似度计算，自然语言推断等。句子对关系判断一般都两种模型：一是表示式模型，例如孪生网络，DSSM，这类模型的特点是将句子编码成向量，在编码时两个句子可以共享或不共享模型参数，之后再通过余弦，欧式距离等计算两个向量的距离，从而来表示两个句子的相关性；二是交互 阅读全文
摘要：
随着预训练模型越来越成熟，预训练模型也会更多的在业务中使用，本文提供了bert和albert的快速训练和部署，实际上目前的预训练模型在用起来时都大致相同。 基于不久前发布的中文数据集chineseGLUE，将所有任务分成四大类：文本分类，句子对判断，实体识别，阅读理解。同类可以共享代码，除上面四个任 阅读全文
摘要：
这是一篇还在双盲审的论文，不过看了之后感觉作者真的是很有创新能力，ELECTRA可以看作是开辟了一条新的预训练的道路，模型不但提高了计算效率，加快模型的收敛速度，而且在参数很小也表现的非常好。 论文：ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINA 阅读全文