2025年8月24日
提供一个 BPE（Byte Pair Encoding）算法
摘要： 提供一个 BPE（Byte Pair Encoding）算法的代码示例，包括训练 BPE 分词器和将分词结果恢复回原始文本的操作。 BPE 是一种常用的子词分词算法，广泛应用于自然语言处理领域，它能够很好地平衡词汇表大小和未登录词问题。 BPE算法实现及恢复操作 代码解释： BPE 类实现了完整的训 阅读全文
posted @ 2025-08-24 16:47 m516606428 阅读(45) 评论(0) 推荐(0)
VLLM进行LLM推理
摘要： VLLM（Very Large Language Model Serving）是一个高性能的大语言模型推理框架，专为高效部署和服务大型语言模型（LLM）而设计。它基于 PagedAttention 机制，能够显著提高吞吐量并降低延迟，同时支持多种流行的 LLM（如 GPT-2、GPT-NeoX、LL 阅读全文
posted @ 2025-08-24 16:38 m516606428 阅读(128) 评论(0) 推荐(0)
BPE（字节对编码）：原理、流程与应用详解
摘要： BPE（字节对编码）：原理、流程与应用详解 BPE（Byte Pair Encoding，字节对编码）是一种子词级（Subword-level）分词算法，核心思想是通过迭代合并高频出现的字符或子词对，生成更高效的词汇表，平衡 “词汇表大小” 与 “语义表达精度”。它广泛应用于自然语言处理（NLP）的 阅读全文
posted @ 2025-08-24 16:35 m516606428 阅读(633) 评论(1) 推荐(0)
在大模型评测领域，“构造新数据集”
摘要： 在大模型评测领域，“构造新数据集” 是指通过系统性方法设计、生成或整理全新的文本 / 多模态数据集合，用于更精准、全面地评估大模型在特定能力维度的真实表现（区别于直接复用公开榜单数据）。其核心目标是规避 “刷榜” 漏洞（如模型记忆测试集）、填补现有评测空白（如新兴任务能力），并模拟真实应用场景，让评 阅读全文
posted @ 2025-08-24 16:34 m516606428 阅读(172) 评论(0) 推荐(0)
大模型刷榜单
摘要： 大模型刷榜单是指一些大模型研发公司或机构，为了展示其模型的性能优越性，通过不正当手段在各种大模型评测基准测试中获取高分的行为。具体方式和相关情况如下： 刷榜的常见方法： 直接使用测试数据训练：一些模型研发者可能会获取到评测榜单的题库，将这些题目及答案加入到模型的训练集中进行微调。例如，在 C-Eva 阅读全文
posted @ 2025-08-24 16:30 m516606428 阅读(56) 评论(0) 推荐(0)
2025年7月24日
这段代码的核心功能是基于 BERT 构建一个自回归语言模型（Autoregressive Language Model），用于文本生成任务。它的核心思路是通过训练模型 “预测下一个字符”，从而让模型学会生成连贯的文本。
摘要： #coding:utf8 import torch import torch.nn as nn import numpy as np import random import os from transformers import BertTokenizer, BertModel class Lan 阅读全文
posted @ 2025-07-24 14:08 m516606428 阅读(36) 评论(0) 推荐(0)
2025年7月23日
这一段是把预测的结果跟实际结果比较么 pred_results 和 labels
摘要： 是的，这段代码的核心逻辑就是将模型的预测结果（pred_results）与实际标签（labels）进行比较和统计，以评估模型在验证集上的表现。 具体来看： 首先通过循环获取验证集的批次数据（batch_data） 将数据转移到 GPU（batch_data = [d.cuda() for d in 阅读全文
posted @ 2025-07-23 21:48 m516606428 阅读(30) 评论(0) 推荐(0)
rag 召回怎么做的
摘要： 在 RAG（Retrieval-Augmented Generation，检索增强生成）中，召回（Retrieval）是核心环节之一，其目标是从海量知识库（如文档、数据库、网页等）中快速、准确地找到与用户查询（Query）最相关的候选内容（如文档片段、句子、段落），为后续的生成模型（LLM）提供 “ 阅读全文
posted @ 2025-07-23 17:06 m516606428 阅读(195) 评论(0) 推荐(0)
论文查重什么原理
摘要： 论文查重（学术不端检测）是通过技术手段识别论文中与已有文献的相似性内容，核心目标是防止学术抄袭、规范学术写作。其原理涉及文本处理、相似性计算、数据库比对等多个技术环节，具体可拆解为以下步骤： 一、文本预处理：将论文转化为可分析的 “数字信号” 查重系统首先需要对送检论文和比对库中的文献进行标准化处理 阅读全文
posted @ 2025-07-23 16:58 m516606428 阅读(69) 评论(0) 推荐(0)
保险行业有多个适合 NLP 大模型的任务
摘要： 保险行业有多个适合 NLP 大模型的任务，以下是一些较为突出的： 理赔流程优化 理赔反欺诈：传统反欺诈建模主要围绕结构化数据展开，精准度不高。NLP 大模型可直接对文本、语音等非结构化数据进行训练，例如通过分析报案客服人员备注、查勘人员备注等文本信息，快速准确地识别潜在的欺诈行为，大幅提升精准率，减 阅读全文
posted @ 2025-07-23 16:57 m516606428 阅读(24) 评论(0) 推荐(0)
下一页