Datawhale X 魔搭 AI夏令营-大模型应用(二)

一.首先重大突破是完成了向量数据库的搭建

二.初次的版本由于每次运行都要下载yuan模型，且每次都要运行模型嵌套函数，导致模型运行卡顿，以下是初版

三.后来我们组想到可以先把模型下载到本地，然后优化代码，把两个代码文件合二为一，成功的提了速度，

期间还有懒加载的思考，

还有max_new_token的问题，

另外检索增强RAG由相似度检索中的余弦距离和MMR检索的最大边际相关性，展开了激烈的争辩

最终得出了比较好的模型web应用，

结果如下：