heyanfeng

摘要： 面试问题 如何做的 docparse？如何进行拆分的？ （需要根据你的实际项目经验回答，以下提供一些可能涉及的点） 文档解析工具/库的选择（如：PDFBox, Tika, PaddleOCR等） 文档结构分析：识别标题、段落、表格、图片等 拆分策略： 按章节/段落拆分 固定长度的文本块拆分 基于语义 阅读全文

摘要： 电信面试(一) 一. 工作中遇到的困难及解决方案 (需要补充具体的例子，才能更好地回答) 例如: 在高并发场景下，数据库连接池被打满，导致服务响应缓慢。 分析: 连接池配置过小，无法满足突增的请求；慢查询导致连接被长时间占用。 解决方案: 调整连接池大小: 增加数据库连接池的最大连接数。 优化 SQ 阅读全文

摘要： 介绍下SSO 使用了哪些SSO中间件？ SSO 和 AUTH 认证的区别？ 特性 AUTH (认证) SSO (单点登录) 范围 单个应用程序或系统 多个应用程序或系统 目标 验证用户身份 允许用户使用一组凭据访问多个应用程序，无需重复登录 实现 可以使用用户名/密码、OAuth、OpenID Co 阅读全文

摘要： 详细说下RAG流程 用户输入问题处理 ● 目标：解析并理解用户查询的意图和关键信息。 ● 关键技术： ○ 查询解析：提取关键词、实体识别（如NER）、语义解析（理解深层意图）。 ○ 查询扩展：通过同义词替换、上下文联想（例如，用户问“Transformer结构”时，补充“注意力机制”相关术语）增强检 阅读全文

摘要： 案例分享 度小满轩辕金融大模型 基础模型 LLAMA2-70B。 使用Post-Pretrain注入金融知识。 步骤 预训练阶段 获得知识 万级金融类书籍 十万级金融百科词条 百万级市公司公告 指令微调: 激活问答能力 根据金融百科启发式产生对应问答指令数据 改写金融试题数据,指令风格统一 强化学习 阅读全文

摘要： LoRA 原理 假设LLM在下游任务上微调得到的增量参数矩阵是低秩的 即使存在冗余参数的高维矩阵，但实际有效矩阵是更低纬度的。 冻结预训练好的模型权重参数，在冻结原模型参数的情况下，通过往模型中加入额外的网络层并只训练这些新增的网络层参数。 LoRA 计算流程 在原始预训练模型参数旁边增加一个旁路 阅读全文

摘要： 什么是全量微调？ Step1 transformer 模型中的一层可以简化如下形式 Y = W * X Step2 现在需要一个W 使得当输入X=2时 输出Y=1 既希望W=0.5 1 = W * 2 Step3 首先堆W进行初始化 初始化的值服从均值为0 方差为1的分布 假设W初始化为0.1 Y 阅读全文

摘要： 微调数据格式 单轮 {"system":""}, {"user":""}, {"assistant":""} 多轮 [ {"system":""}, {"user":""}, {"assistant":""}, {"system":""}, {"user":""}, {" 阅读全文

摘要： 评测类型 开放性 1. 人工测评：关键是制定评价规则，人工打分是金标准 2. 大模型测评：使用大模型进行打分，辅助降低人工成本 封闭性 1. 根据模型的输出和标准答案 使用脚本完成模型测评 1. 意图识别 关键词提取 实体抽取 （要求大模型返回json labal和reason 方便溯源） 2. 准 阅读全文

该文被密码保护。 阅读全文