10 2020 档案

一种基于均值不等式的Listwise损失函数
摘要：一种基于均值不等式的Listwise损失函数 1 前言 1.1 Learning to Rank 简介 Learning to Rank (LTR) , 也被叫做排序学习, 是搜索中的重要技术, 其目的是根据候选文档和查询语句的相关性对候选文档进行排序, 或者选取topk文档. 比如在搜索引擎中, 阅读全文
posted @ 2020-10-06 15:51 infgrad 阅读(897) 评论(0) 推荐(1)
知识蒸馏基本知识及其实现库介绍
摘要：1 前言 知识蒸馏，其目的是为了让小模型学到大模型的知识，通俗说，让student模型的输出接近(拟合)teacher模型的输出。所以知识蒸馏的重点在于拟合二字，即我们要定义一个方法去衡量student模型和teacher模型接近程度，说白了就是损失函数。 为什么我们需要知识蒸馏？因为大模型推理慢难 阅读全文
posted @ 2020-10-04 18:09 infgrad 阅读(4050) 评论(0) 推荐(2)