五一大作业补档(3)
第四天内容:优化功能、调试漏洞
当时第三天的域名申请证书就是这一天下来的,所以全部的前置条件全部完成,可以进行最终的工作了
大模型使用的是qwen-max,在阿里云平台上调用的,同时本地Ollama中部署的也有,调用ai接口将需求分析,然后提取特定的字段嵌入固定句式再发给后端,从而达到使用ai大模型操控整个系统的效果
重点放在rag检索和视频分析:
1.rag检索使用的嵌入式模型是qwen-embdding,后台的知识库可以接收文件,将文件中的内容分割成字段,然后加入chromaDB向量。以后再向ai提问的时候就会第一时间先检索知识库,如果有的话就直接调用后台的知识库,节省token,没有的话就自动调用qwen-max回答问题,如果后台知识库存在但是不能完美解决问题,那就重新调用大模型回答。
此外,当时想的是再做一个类似爬虫的东西,源源不断给知识库输送知识,不过由于家教太费时间了,没有那么多时间搞这个,所以最终只做到了上述模样。
2.视频分析采用的是 MobileVLM ,做画面描述、目标识别、异常内容检测;在本地Ollama上备用了一个Qwen2.5-VL-3B模型,功能什么的都可以实现,内容基本搞定
剩下的时间就用来搞飞书连接了
浙公网安备 33010602011771号