摘要：
简易 RAG 原型，没有向量数据库，直接用句子相似度做检索，分为 4 大模块：知识库、召回模块、生成模块、主程序入口。 RAG 全称 Retrieval‑Augmented‑Generation，检索增强生成。核心思想：不直接丢给大模型回答，先从自有知识库检索相关片段，把片段塞给大模型，让大模型基于 阅读全文
posted @ 2026-09-16 15:36
m516606428
阅读(5)
评论(0)
推荐(0)
摘要：
提供一个 BPE（Byte Pair Encoding）算法的代码示例，包括训练 BPE 分词器和将分词结果恢复回原始文本的操作。 BPE 是一种常用的子词分词算法，广泛应用于自然语言处理领域，它能够很好地平衡词汇表大小和未登录词问题。 BPE算法实现及恢复操作 代码解释： BPE 类实现了完整的训 阅读全文
posted @ 2025-08-24 16:47
m516606428
阅读(115)
评论(0)
推荐(0)
摘要：
VLLM（Very Large Language Model Serving）是一个高性能的大语言模型推理框架，专为高效部署和服务大型语言模型（LLM）而设计。它基于 PagedAttention 机制，能够显著提高吞吐量并降低延迟，同时支持多种流行的 LLM（如 GPT-2、GPT-NeoX、LL 阅读全文
posted @ 2025-08-24 16:38
m516606428
阅读(191)
评论(0)
推荐(0)
摘要：
BPE（字节对编码）：原理、流程与应用详解 BPE（Byte Pair Encoding，字节对编码）是一种子词级（Subword-level）分词算法，核心思想是通过迭代合并高频出现的字符或子词对，生成更高效的词汇表，平衡 “词汇表大小” 与 “语义表达精度”。它广泛应用于自然语言处理（NLP）的 阅读全文
posted @ 2025-08-24 16:35
m516606428
阅读(1629)
评论(1)
推荐(0)
摘要：
在大模型评测领域，“构造新数据集” 是指通过系统性方法设计、生成或整理全新的文本 / 多模态数据集合，用于更精准、全面地评估大模型在特定能力维度的真实表现（区别于直接复用公开榜单数据）。其核心目标是规避 “刷榜” 漏洞（如模型记忆测试集）、填补现有评测空白（如新兴任务能力），并模拟真实应用场景，让评 阅读全文
posted @ 2025-08-24 16:34
m516606428
阅读(390)
评论(0)
推荐(0)
摘要：
大模型刷榜单是指一些大模型研发公司或机构，为了展示其模型的性能优越性，通过不正当手段在各种大模型评测基准测试中获取高分的行为。具体方式和相关情况如下： 刷榜的常见方法： 直接使用测试数据训练：一些模型研发者可能会获取到评测榜单的题库，将这些题目及答案加入到模型的训练集中进行微调。例如，在 C-Eva 阅读全文
posted @ 2025-08-24 16:30
m516606428
阅读(189)
评论(0)
推荐(0)
摘要：
#coding:utf8 import torch import torch.nn as nn import numpy as np import random import os from transformers import BertTokenizer, BertModel class Lan 阅读全文
posted @ 2025-07-24 14:08
m516606428
阅读(75)
评论(0)
推荐(0)
摘要：
是的，这段代码的核心逻辑就是将模型的预测结果（pred_results）与实际标签（labels）进行比较和统计，以评估模型在验证集上的表现。 具体来看： 首先通过循环获取验证集的批次数据（batch_data） 将数据转移到 GPU（batch_data = [d.cuda() for d in 阅读全文
posted @ 2025-07-23 21:48
m516606428
阅读(66)
评论(0)
推荐(0)
摘要：
在 RAG（Retrieval-Augmented Generation，检索增强生成）中，召回（Retrieval）是核心环节之一，其目标是从海量知识库（如文档、数据库、网页等）中快速、准确地找到与用户查询（Query）最相关的候选内容（如文档片段、句子、段落），为后续的生成模型（LLM）提供 “ 阅读全文
posted @ 2025-07-23 17:06
m516606428
阅读(320)
评论(0)
推荐(0)
摘要：
论文查重（学术不端检测）是通过技术手段识别论文中与已有文献的相似性内容，核心目标是防止学术抄袭、规范学术写作。其原理涉及文本处理、相似性计算、数据库比对等多个技术环节，具体可拆解为以下步骤： 一、文本预处理：将论文转化为可分析的 “数字信号” 查重系统首先需要对送检论文和比对库中的文献进行标准化处理 阅读全文
posted @ 2025-07-23 16:58
m516606428
阅读(228)
评论(0)
推荐(0)
浙公网安备 33010602011771号