摘要：
提供一个 BPE（Byte Pair Encoding）算法的代码示例，包括训练 BPE 分词器和将分词结果恢复回原始文本的操作。 BPE 是一种常用的子词分词算法，广泛应用于自然语言处理领域，它能够很好地平衡词汇表大小和未登录词问题。 BPE算法实现及恢复操作 代码解释： BPE 类实现了完整的训 阅读全文
posted @ 2025-08-24 16:47
m516606428
阅读(45)
评论(0)
推荐(0)
摘要：
VLLM（Very Large Language Model Serving）是一个高性能的大语言模型推理框架，专为高效部署和服务大型语言模型（LLM）而设计。它基于 PagedAttention 机制，能够显著提高吞吐量并降低延迟，同时支持多种流行的 LLM（如 GPT-2、GPT-NeoX、LL 阅读全文
posted @ 2025-08-24 16:38
m516606428
阅读(126)
评论(0)
推荐(0)
摘要：
BPE（字节对编码）：原理、流程与应用详解 BPE（Byte Pair Encoding，字节对编码）是一种子词级（Subword-level）分词算法，核心思想是通过迭代合并高频出现的字符或子词对，生成更高效的词汇表，平衡 “词汇表大小” 与 “语义表达精度”。它广泛应用于自然语言处理（NLP）的 阅读全文
posted @ 2025-08-24 16:35
m516606428
阅读(633)
评论(1)
推荐(0)
摘要：
在大模型评测领域，“构造新数据集” 是指通过系统性方法设计、生成或整理全新的文本 / 多模态数据集合，用于更精准、全面地评估大模型在特定能力维度的真实表现（区别于直接复用公开榜单数据）。其核心目标是规避 “刷榜” 漏洞（如模型记忆测试集）、填补现有评测空白（如新兴任务能力），并模拟真实应用场景，让评 阅读全文
posted @ 2025-08-24 16:34
m516606428
阅读(172)
评论(0)
推荐(0)
摘要：
大模型刷榜单是指一些大模型研发公司或机构，为了展示其模型的性能优越性，通过不正当手段在各种大模型评测基准测试中获取高分的行为。具体方式和相关情况如下： 刷榜的常见方法： 直接使用测试数据训练：一些模型研发者可能会获取到评测榜单的题库，将这些题目及答案加入到模型的训练集中进行微调。例如，在 C-Eva 阅读全文
posted @ 2025-08-24 16:30
m516606428
阅读(56)
评论(0)
推荐(0)
浙公网安备 33010602011771号