摘要: 一、模板格式 回溯法问题实际上是一个决策树的遍历过程。可以分为三个部分: 1、路径:也就是已经做出的选择。 2、选择列表:也就是当前可以做的选择。 3、结束条件:也就是到达决策树底层,无法再做选择的条件。 回溯法不好理解的地方应该在撤销选择这一步,回溯会沿着一条路径走到结束状态,到这一步之后,需要返 阅读全文
posted @ 2022-06-27 15:20 微笑sun 阅读(4) 评论(0) 推荐(0) 编辑
摘要: NER技术是工业界落地比较多的NLP技术,文本数据的结构化都依赖NER技术,本文总结下常用的NER技术。 一、词典匹配 词典匹配是工业界最常用的NER技术,尤其是垂直领域的NER任务。词典匹配的优点是速度快,可解释性强,且精度高。但是词典无法解决歧义性问题,为了降低词典匹配的歧义性问题,往往会限制词 阅读全文
posted @ 2022-06-22 17:51 微笑sun 阅读(25) 评论(0) 推荐(0) 编辑
摘要: 预训练+微调在下游任务上确实取得了很好的效果,但是在没有监督数据微调的情况下,使用预训练模型表征文本语义时效果却很差,不如直接使用词向量来表征文本。记得在BERT刚出来的时候,使用BERT做无监督语义相似度的任务时,计算出来的句子之间的余弦相似度值都很高,导致正负样本之间的区分度不高,当时并不明白是 阅读全文
posted @ 2022-06-20 16:30 微笑sun 阅读(8) 评论(0) 推荐(0) 编辑
摘要: Batch Normalization和Dropout是深度学习模型中常用的结构。但BN和dropout在训练和测试时使用却不相同。 Batch Normalization BN在训练时是在每个batch上计算均值和方差来进行归一化,每个batch的样本量都不大,所以每次计算出来的均值和方差就存在差 阅读全文
posted @ 2021-01-27 11:00 微笑sun 阅读(2182) 评论(0) 推荐(0) 编辑
摘要: 1,前言 语义相似度计算是信息检索,自动问答中常用的技术。语义相似度计算通常可以分为表示型和交互型两种类型,表示型模型如DSSM,孪生网络,这类模型可以离线计算doc的编码,在线上运行时只需要编码query,效率很高,但是精度不如交互型模型,而交互型模型需要在线编码query和doc,当需要比较的d 阅读全文
posted @ 2020-11-08 19:26 微笑sun 阅读(3697) 评论(0) 推荐(0) 编辑
摘要: 1,简介 序列标注算是NLP中最基本的任务,主要有分词,词性标注,实体识别三类任务。分词通常是中文任务的模型最基本的组件,词性标注通常也是用来辅助其他的任务,用于提升任务的性能,而实体识别算是可以直接应用的任务。NLP发展到今天,预训练模型通常能取得较其他模型更优的效果,然预训练模型体量庞大,在直接 阅读全文
posted @ 2020-09-06 17:49 微笑sun 阅读(513) 评论(0) 推荐(0) 编辑
摘要: 条款一:视c++为一个语言联邦 c++可以认为是由C,Object-Oriented C++(面向对象),Template C++(模板),STL(c++标准模板库)四种次语言组成的。 条款二:尽量以const,enum,inline替换#define c++中推荐使用其他的方法替换一些宏定义操作, 阅读全文
posted @ 2020-08-27 20:23 微笑sun 阅读(738) 评论(3) 推荐(0) 编辑
摘要: 一,概述 深度学习模型在移动端的应用越来越多,tensorflow lite就是专门为tensorflow模型在移动端上线推断设计的框架。tensorflow 官方提供了不少cv的tflite模型,以及c++调用的例子。我们在这里以一个nlp的例子来从零实现到c++调用,并且以调用so动态库,用cm 阅读全文
posted @ 2020-06-30 23:45 微笑sun 阅读(4945) 评论(0) 推荐(0) 编辑
摘要: 1,概述 语言模型可以说是NLP中最基本的任务,无论是词向量,预训练模型,文本生成等任务中都带有语言模型的影子。语言模型本质上是对一个自然世界中存在的句子建模,描述一个句子发生的概率,因此语言模型也是一个自回归的任务。语言模型是一个上下文强依赖的任务,不仅需要捕获长距离的信息,还需要学到词之间的位置 阅读全文
posted @ 2020-06-14 22:19 微笑sun 阅读(1800) 评论(0) 推荐(0) 编辑
摘要: 1,Introduction 当你想训练好一个神经网络时,你需要做好三件事情:一个合适的网络结构,一个合适的训练算法,一个合适的训练技巧: 合适的网络结构:包括网络结构和激活函数,你可以选择更深的卷积网络,然后引入残差连接。可以选择relu做为激活函数,也可以选择tanh,swish等。 合适的训练 阅读全文
posted @ 2020-01-09 20:43 微笑sun 阅读(3100) 评论(0) 推荐(1) 编辑