本地部署模型

一、今日成果

1.在ollama上找到了可以进行视频理解的模型：NatsuD/videohighlight，在ollama上拉取成功，但只能进行进行简单的视频总结

 

二、已解决的问题

1.print(torch.cuda.is_available())打印false怎么处理

解：

原因：安装的pytorch不是GPU版本

解决方法：

conda install pytorch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1  pytorch-cuda=11.8 -c pytorch -c nvidia

提示：这个过程比较慢。（用这个命令好几次都是环境依赖不满足一直卡着，最后换pip命令了，关键时候还得是pip）

三、未解决的问题

1.在anaconda虚拟环境中安装CUDA11.8

解：安装CUDA11.8有三种方法，第一种下载离线包安装；第二种直接在虚拟环境中下载cuda11.8以及对应的torch版本等；第三种是联网下载。我第一次使用的是是第三种方法，但是下载gupu版本的pytorch太慢了，用了一下午。在使用第三种方法的同时也试了第一种方法，却碰到了无法找到某些文件的依赖项的问题，当时觉得是不是下载离线包这个方法有问题，暂时没有管，但是晚上回来想了想，可能真的是缺少依赖项，可以在弄一下。对弈第三种方法，使用conda下载太慢了，改用了pip下载，但至少也是3个小时。

2.本地部署CogVLM2-Video模型

CogVLM2-Video不仅在公共视频理解基准测试中实现了尖端性能，还在视频字幕和时间定位方面表现优异，为后续任务如视频生成和视频摘要提供了强大的工具。

1.硬件要求（模型推理）：

INT4 ： RTX30901，显存24GB，内存32GB，系统盘200GB

INT4 ： RTX40901或RTX3090*2，显存24GB，内存32GB，系统盘200GB

问题：显卡为RTX 2060,不符合要求

想法：在本地部署过程中发现，模型需要的配置高于系统配置，这对于评估视频理解模型带来困难，但是在模型的开源代码中发现了网页演示的代码和环境配置部分，如果只是网页展示的话，对于系统配置的要求就降低了，还可以使用小模型和低成本模型的api.