通用模型和垂类模型

通用模型是在海量互联网数据上训练出来的;垂类模型是在特定行业的数据集上通过微调或专门训练得到的。
通用模型知识广度大,逻辑推理、语言理解能力强,具备跨领域迁移能力,但容易出现幻觉,且对于专业领域往往不够;垂类模型掌握行业黑化、规范和知识逻辑,专业、安全、成本相对更低,但超出限定领域范围就表现严重下降。

通用模型和垂类模型并非那么非此即彼,现在有RAG和MOE。
RAG给通用模型加载插件,可以制作知识库,模型回答前会查下知识库,这能降低幻觉
MOE把一个模型内的神经网络拆分成多个参数网络,让内部“专家”进行分工,各司其职

posted @ 2026-03-03 14:47  技累者  阅读(89)  评论(0)    收藏  举报