摘要:
增量预训练也叫领域自适应预训练(domain-adapter pretraining),即在所属领域数据上继续预训练。 主要问题是在增量预训练后可能发生灾难性遗忘。 避免灾难性遗忘主要从以下几个方面入手: 1 领域相关性 增量数据与所选基座模型的原始训练数据尽量一定的相关性。 2 新数据分布与原始数 阅读全文
posted @ 2023-10-25 14:01
是我菜了
阅读(2727)
评论(0)
推荐(0)
摘要:
一 什么是幻觉问题 大模型的幻觉问题是指大模型生成的答案不基于任何事实数据,简单来说就是杜撰、一本正经的胡说八道。 幻觉问题也是影响大模型落地的重要原因之一 幻觉问题分类 1 和用户输入冲突的幻觉 2 和上下文冲突的幻觉 3 和事实知识冲突的幻觉(目前重点)例如,大模型在生成医疗建议时可能会捏造错误 阅读全文
posted @ 2023-10-25 11:31
是我菜了
阅读(1576)
评论(0)
推荐(0)

浙公网安备 33010602011771号