随笔分类 - 搜索推荐
摘要:
知识蒸馏是一种模型压缩方法,通过引导轻量化的学生模型“模仿”性能更好、结构更复杂的教师模型,在不改变学生模型结构的情况下提高其性能。
阅读全文
知识蒸馏是一种模型压缩方法,通过引导轻量化的学生模型“模仿”性能更好、结构更复杂的教师模型,在不改变学生模型结构的情况下提高其性能。
阅读全文
摘要:# 多目标与跷跷板 为什么要用多任务学习,有什么好处?**为什么多任务学习是有效的?** 通常业务本身包含很多目标,难以采用单一目标建模(比如通常没有显式的用户满意度评价指标)。 在CV、NLP中采用多任务损失函数是比较常见的事情,在推荐领域也可以采用多任务学习,并且能够切合实际的应用场景。例如,电
阅读全文
摘要:近似近邻检索ANNS Approximate Nearest Neighbor Search (ANNS) 工业界拥有超大规模的数据,往往要求满足低延迟、低成本的向量检索需求,全量计算的精确近邻检索方式难以应用。 近年来各种向量检索算法层出不穷,但是依然面临很多挑战。 检索效果大致对比:HNSW>N
阅读全文
摘要:ROC ROC的全称是“受试者工作特征”(Receiver Operating Characteristic)曲线,首先是由二战中的电子工程师和雷达工程师发明的,用来侦测战场上的敌军载具(飞机、船舰),也就是信号检测理论。之后很快就被引入了心理学来进行信号的知觉检测。此后被引入机器学习领域,用来评判
阅读全文
摘要:本篇介绍文档检索排序算法:TF-IDF、BM25及其扩展。 TF-IDF TF-IDF 来源于一个最经典、也是最古老的信息检索模型,即“向量空间模型”(Vector Space Model)。向量空间模型就是希望把查询关键字和文档都表达成向量,然后利用向量之间的运算(点积或余弦相似度等)来进一步表达
阅读全文
摘要:排序模型LTR(L2R,learning to rank) Pointwise:对排序列表中的每一项,直接学习一个值,比如可以是预估点击率(Predict CTR,pCTR),然后按照预估值从大到小排序即可。常见模型有LR、FFM、GBDT、XGBoost。GBDT是LTR中应用较多的非线性模型。A
阅读全文

浙公网安备 33010602011771号