大模型算法面试
背景和价值
知识图谱
1 schema设计。本体设计，关系属性设计
2 数据标注。使用模型做半自动， 通用型标签90%达到90%以上 。
为模型训练做准备。 样本，以1做标准
3 知识抽取。建模：实体，事件，抽取
？
4 训练
5 对新的数据做抽取
问题：
不连贯性问题。流程节点不连贯。1 schema设计，2数据标注 这些流程节点不是连贯的
通过工作量解决，大模型的工作量 define 框架
跨域的问题：开发后数据发生变化，比如之前是3个表情，现在是5个标签
对抗训练：业务标签是1,2 ---5。 不是1，不是12，不是1234。构造反过来的标签，
意图识别
1 做意图识别
存储聊天记录，当前用户的输入，给提示词模板，问大模型 客户的意图
2 写一个大脑agent，决定使用下面哪些agent工作
react ，让大。 提示词，你可调用谁，这些工具是做什么
！！ sequence thinking ---- MCP服务器。
子agent包装成子工具（tools）。
让每个工具执行内容更单一
3 分类器，已经确定好分几个类别。
bert用分类模型，robet，小的transform模型，
影响准确度的因素
1 初始数据要准确
2 数据量要多。至少要到万级别。
如果没有这么多样本量，可以做合成数据，生成语义相近的文本。用大模型的API，
正确率检验：评测的数据集，拿80%的数据做训练，拿20%的样本不参与做训练，验证泛华。 8:2,9:1
如果准确率不达标： --- 如果训练样本表现不错，但是检验的样本准确率低。 降小batch size和学习率
训练样本表现不好： 数据质量问题
召回
粗排技术选型
1 ES
2 稀疏向量。文档分片做语义向量，
3 BM25
embeding算法：olama text embedig。使用厂商推荐的
多路召回
粗排：embedingembeding。 从成千上午答案筛选几百个数据，减少计算量，
倒排索引，使用工具ES。 语义相关性差异大，能起到过滤的作用。
精排：解决精准度匹配。向量匹配。 使用模型或者向量数据库。精排后
如何做意图识别？ 比如我有几十个agent，如何根据用户的输入路由到指定agent
基于小模型的方案（省钱）
transform 架构，encoding架构架构，文本不能超过510
多标签分类模型。token如何很长，有几千个，小模型不合适。 如果
1 某一类问题，做工作量设计，做标签和数据-- 要懂业务
1 小模型要标注10万条数据，如果数据少了，效果少，并打上标签。深度学习，机器学习
2 训练模型
3
精确率，准确率等评估指标评估模型效率。一般使用F1值
大模型：微调。（贵，输入的token不受限）
场景token不受限。 大模型一般是decoding架构
问题和解决
当问大模型问题，大模型爬取一些网站，
爬虫质量有问题，可能会抓到广告信息，会输入到大模型context。浪费token，并影响大模型回复
方案1 挑选一些可靠的网站，推荐方案
方案2 让大模型做概述后再输入会话。缺点：耗token，响应慢
浙公网安备 33010602011771号