2025年7月22日
RetroMAE && BGE
摘要： 提出背景 NLP任务中，大部分预训练模型都是基于token级别任务进行训练的，例如Seq2Seq范式与MLM范式。但是密集检索任务（比如RAG）更倾向于句子级别的表示，需要捕捉句子的信息和之间的关系，一般主流的策略是自我对比学习和基于自动编码 对比学习会受到增强的数据质量的限制，需要大量的负样本（h 阅读全文
posted @ 2025-07-22 00:56 Luna-Evelyn 阅读(37) 评论(0) 推荐(0)