摘要：
中文分词是NLP中一个独特且富有挑战性的任务，因为中文文本没有像英文空格那样的天然词语边界。 现代分词器模型（尤其是基于Transformer的模型如BERT、GPT等使用的中文分词器）主要采用子词分词算法，但其处理方式与英文有显著不同。 特性传统中文分词器 (如Jieba, HanLP)现代模型分 阅读全文
posted @ 2025-10-22 17:55
wangssd
阅读(24)
评论(0)
推荐(0)
摘要：
Hugging Face Hugging Face 是一个开源的机器学习平台和社区。 库名称主要功能官方资源/文档链接 Transformers 🤗 提供数千个预训练模型，用于自然语言处理(NLP)、语音识别、计算机视觉等任务。 https://huggingface.co/docs/transf 阅读全文
posted @ 2025-10-22 14:43
wangssd
阅读(13)
评论(0)
推荐(0)
摘要：
预训练(基础知识广泛学) 微调(具体实操岗前学) 后训练(RLHF专业领域深入学) 策略模型、参考模型、价值模型、奖励模型 策略模型：待后训练的大模型 参考模型：初始的策略模型。 奖励模型（RM）：目标是刻画模型的输出是否在人类看来表现不错。即，输入 [提示(prompt)，模型生成的文本] ，输出 阅读全文
posted @ 2025-10-22 09:33
wangssd
阅读(15)
评论(0)
推荐(0)
浙公网安备 33010602011771号