摘要：
架构图 将AE与AR模型同Transformer进行联系，那么Transformer的Encoder可看作为AE，而其Decoder（例如在文本翻译、文本续写这类NLG任务）可看作AR，而完整的类Transformer结构则是seq2seq PS: 个人感觉此处可以再补充一点，Transformer 阅读全文
posted @ 2025-07-25 00:01
Luna-Evelyn
阅读(18)
评论(0)
推荐(0)
摘要：
提出背景 NLP任务中，大部分预训练模型都是基于token级别任务进行训练的，例如Seq2Seq范式与MLM范式。但是密集检索任务（比如RAG）更倾向于句子级别的表示，需要捕捉句子的信息和之间的关系，一般主流的策略是自我对比学习和基于自动编码 对比学习会受到增强的数据质量的限制，需要大量的负样本（h 阅读全文
posted @ 2025-07-22 00:56
Luna-Evelyn
阅读(37)
评论(0)
推荐(0)
摘要：
提出背景 现在多数文本嵌入模型都是针对特定任务进行训练（如STS和检索任务），泛化性不足 大规模预训练依赖于私有数据，开源性和可复现性差 模型参数量大，计算复杂度高 模型结构 GTE使用与SBert相似的基于transformer的双塔结构（dual-encoder）： 输入给定文本x，经过语言模型 阅读全文
posted @ 2025-07-09 15:59
Luna-Evelyn
阅读(63)
评论(0)
推荐(0)
摘要：
提出背景 在文本相似性任务（Semantic Textual Similarity, STS）中，使用Bert进行句子语义信息计算有以下两个问题： 需要将两个句子拼接输入网络，此时如果对1w个句子进行两两之间的相似度判别时，需要计算5000w次，花费65小时，计算耗时巨大 Bert主要使用两种方式进 阅读全文
posted @ 2025-07-01 09:36
Luna-Evelyn
阅读(62)
评论(0)
推荐(0)
摘要：
网络结构 多层transformer的encoder堆叠组成，Base Bert由12层encoder组成 Bert的embedding由三个部分组成：Token Embeddings+Segment Embeddings+Position Embeddings： Token Embeddings： 阅读全文
posted @ 2025-06-30 23:55
Luna-Evelyn
阅读(23)
评论(0)
推荐(0)
摘要：
今天在本地部署SAM2，conda创建环境后安装torch相关依赖包，但是安装到一半报错如下： ERROR: Exception: Traceback (most recent call last): File "/home/lzm/anaconda3/envs/SAM2/lib/python3.1 阅读全文
posted @ 2025-05-29 18:44
Luna-Evelyn
阅读(97)
评论(0)
推荐(0)
摘要：
添加配置类WebMvcConfig，代码如下： @Override protected void addResourceHandlers(ResourceHandlerRegistry registry) { registry.addResourceHandler("/backend/**").ad 阅读全文
posted @ 2025-03-13 01:20
Luna-Evelyn
阅读(19)
评论(0)
推荐(0)
摘要：
分模块设计 将不同的功能块分开开发设计，而后只需要引入依赖即可使用 继承与聚合 继承关系 需要创建父工程，子工程共同继承，共有的依赖定义在父工程中： PS：常见的打包方式介绍，使用<packaging>进行指定： jar：普通模块打包，SP项目基本都是jar包，内嵌tomcat运行 war：普通we 阅读全文
posted @ 2025-03-02 02:33
Luna-Evelyn
阅读(23)
评论(0)
推荐(0)
摘要：
  
浙公网安备 33010602011771号