随笔分类 -  大模型开发 / 大模型开发通用知识

1 2 下一页
复杂文档切片
摘要：目录背景和价值参考资料 背景和价值 PDF里面有分栏，分块。把这些以段落的形式转文本。 要想准确率高，需要对模型做训练。 像百度的准确率就要比开源的要高。 GitHub - opendatalab/DocLayout-YOLO: DocLayout-YOLO: Enhancing Document 阅读全文
posted @ 2025-07-16 13:40 向着朝阳 阅读(20) 评论(0) 推荐(0)
UV安装报错解决 疑难杂症
摘要：目录背景和价值通过uv list能看到安装的包，但是pycharm找不到，而且排查pycharm 虚拟环境配置没有问题先卸载强制重新安装（会重新拉取并解压二进制包）解决办法1 - 镜像源加速解决办法2解决办法3诊断方法参考资料 背景和价值 通过uv list能看到安装的包，但是pycharm找不到， 阅读全文
posted @ 2025-07-11 22:24 向着朝阳 阅读(709) 评论(0) 推荐(0)
提示词设计
摘要：目录背景和价值✅ 一、核心目标🧠 二、设计意图识别 Prompt 的思路✅ 示例 Prompt（中文）📌 三、进一步优化：加入 Few-Shot 示例🛠️ 四、在代码中调用 LLM 判断意图（伪代码）🧪 五、测试样例🚀 六、进阶建议（可选）✅ 总结参考资料 背景和价值 这是一个非常关键的问 阅读全文
posted @ 2025-07-11 14:32 向着朝阳 阅读(189) 评论(0) 推荐(0)
大模型部署
摘要：目录背景和价值参考资料 背景和价值 Ollama、LMStudio适合初学者自己在家里电脑玩一玩，企业级部署我们用的vllm、SGLang、DeepSpeed这种多些，原理是一样的，要看背后的GPU资源有多少。本地的个人电脑能跑个小参数模型玩一玩，所以用Ollama也没啥问题，企业级跑大参数就需要考 阅读全文
posted @ 2025-07-09 10:33 向着朝阳 阅读(22) 评论(0) 推荐(0)
提示词优化RTGO 和 CO-STAR模版使用
摘要：目录背景和价值RTGO框架CO-STAR框架CONTEXTOBJECTIVESTYLETONEAUDIENCERESPONSE流程化交互引导​参考资料 背景和价值 RTGO框架 VS CO-STAR框架 维度 RTGO框架 CO-STAR框架 ​架构​ 四层递进式结构 六维网状结构 ​响应速度​ 0 阅读全文
posted @ 2025-06-01 14:53 向着朝阳 阅读(485) 评论(0) 推荐(0)
conda 解决版本冲突方法
摘要：目录背景和价值1. 使用 conda list 查看已安装版本2. 使用 conda create 创建隔离环境测试3. 使用 conda search 检查可用版本4. 使用 mamba 加速依赖解析（推荐）5. 使用 conda env export 导出环境配置6. 手动解决冲突的技巧7. 使 阅读全文
posted @ 2025-05-23 15:37 向着朝阳 阅读(589) 评论(0) 推荐(0)
Agent性能和准确性和成本优化总结
摘要：目录1 速度2 准确性体验成本可靠性汇报演示参考资料 1 速度 多Agent窜行处理，改成并行处理 显而易见的问题，能否直接给结果，不需要深度思考，否则用户等待时间较长 RAG缓存。 使用开源的GTPCache。 其他Cache？ 不同的场景使用不同参数量的大模型 2 准确性 RAG的准确率。涉及到 阅读全文
posted @ 2025-05-23 09:08 向着朝阳 阅读(162) 评论(0) 推荐(0)
降低大模型幻觉后验证器+提示词
摘要：目录背景提示词参考资料 背景 大语言模型的输出有时候会出现幻觉，比如胡说八大，出现错别字等。需要通过后验证器做二次校验。 1 规则：针对结构化的数据 2 模型，针对文本等 提示词 https://medium.com/data-science-collective/youre-using-chatg 阅读全文
posted @ 2025-05-22 11:44 向着朝阳 阅读(44) 评论(0) 推荐(0)
类Manus多Agent 开源框架
摘要：Spring AI Alibaba JAVA Deep Research 字节跳动开源了一款项目 https://mp.weixin.qq.com/s/ejE6bfR_lFQutPy-u_pzmQ Python 阅读全文
posted @ 2025-05-13 09:15 向着朝阳 阅读(32) 评论(0) 推荐(0)
多种RAG实现
摘要：目录 图RAG https://github.com/liweiphys/layra/blob/main/README_zh.md#-为什么选择-layra 阅读全文
posted @ 2025-05-11 08:09 向着朝阳 阅读(20) 评论(0) 推荐(0)
word pdf等解析
摘要：目录背景和价值一、功能定位对比Docling和JAVA集成一、REST API 封装二、命令行调用三、Jython 嵌入式集成四、混合架构（Python 微服务 + 消息队列）总结与建议参考资料 背景和价值 一、功能定位对比 维度 Doc Maker Docling 核心功能 将AI生成内容快速转换 阅读全文
posted @ 2025-05-06 22:45 向着朝阳 阅读(81) 评论(0) 推荐(0)
图数据库选型
摘要：目录背景和价值参考资料 背景和价值 neo4j 参考资料 阅读全文
posted @ 2025-05-06 15:44 向着朝阳 阅读(22) 评论(0) 推荐(0)
大模型应用架构
摘要：目录背景和价值应用层。一、应用层：业务交互与展示2. 示例代码（Spring Boot）3. 需补充的职责模型服务层二、模型服务层：模型能力调度与执行1. 你的理解（部分正确）2. 示例代码（Python伪代码）3. 需补充的职责三、边界混淆点与修正建议1. 误区：将Agent代码完全归属于模型服务 阅读全文
posted @ 2025-04-29 12:41 向着朝阳 阅读(96) 评论(0) 推荐(0)
MCP Server能力边界
摘要：https://www.bilibili.com/video/BV1AnQNYxEsy/?spm_id_from=333.337.search-card.all.click&vd_source=066be1065eb1d83f6900716157e5396b 哪些能力适合集成在MCP Server 阅读全文
posted @ 2025-04-26 18:11 向着朝阳 阅读(138) 评论(0) 推荐(0)
知识图谱的应用
摘要：目录辅助搜索和个性化推荐参考资料 辅助搜索和个性化推荐 知识图谱可以帮忙搜索和个性化推荐更准确。 在电商场景，构建 参考资料 阅读全文
posted @ 2025-04-26 12:16 向着朝阳 阅读(30) 评论(0) 推荐(0)
大模型微调
摘要：目录背景SFT 监督训练 -一般微调步骤一 ：准备样本数据微调大模型效果测试如何提升精度RL 强化学习 -PPU ：近似优化参考资料 背景 为什么要微调：领域内大模型训练。大模型预训练的知识不够，幻觉 为什么不能直接用RAG，因为用户问题可能就问错了。 影响大模型微调的效果：样本的量（覆盖的场景全面 阅读全文
posted @ 2025-04-26 11:44 向着朝阳 阅读(50) 评论(0) 推荐(0)
点击归因
摘要：目录背景为什么需要点击归因？常见的点击归因模型点击归因的挑战为什么点击归因重要？点击归因 vs. 曝光归因参考资料 背景 用户可能点击了多个广告后购买，广告主需要知道哪个渠道最有效。 点击归因（Click Attribution） 是数字营销和广告分析中的一个核心概念，指在用户完成转化（如购买、注册 阅读全文
posted @ 2025-04-19 14:53 向着朝阳 阅读(217) 评论(0) 推荐(0)
大模型算法面试
摘要：目录背景和价值知识图谱意图识别召回如何做意图识别？ 比如我有几十个agent，如何根据用户的输入路由到指定agent基于小模型的方案（省钱）大模型：微调。（贵，输入的token不受限）问题和解决参考资料 背景和价值 知识图谱 1 schema设计。本体设计，关系属性设计 2 数据标注。使用模型做半自 阅读全文
posted @ 2025-04-16 21:33 向着朝阳 阅读(56) 评论(0) 推荐(0)
模型自动化训练
摘要：目录背景和价值自动化训练微调：参考资料 背景和价值 自动化训练 ！！！自动化训练。 模型停止点 什么是好模型？。 泛化性改进。 多步没有改善，就毙掉。F1得分 必过集。100%过， 微调： 比如打扫，传统大模型无法识别这个指令。 1 蒸馏 采样，给很多query。 让标注人员标注response 合 阅读全文
posted @ 2025-04-16 18:36 向着朝阳 阅读(14) 评论(0) 推荐(0)
AI Agent架构&MCP
摘要：目录背景参考资料 背景 MCP 存储和业务服务的调用都经过MCP Server 流程 AGENT网关 --> AI Agent -- Agent 网关： 路由到哪个Agent MCP网关 ： 路由到哪个MCP Server 参考资料 阅读全文
posted @ 2025-04-13 21:45 向着朝阳 阅读(139) 评论(0) 推荐(0)

1 2 下一页