ollama部署本地模型的一些坑

1.ollama pull时进度回退：不知是否最近太多人下载导致服务器问题，下载大点的模型经常进度条往回退，解决方法就是每隔一会关闭进程重新下载，断点续传可以继续下载

# 用法：python .\run.py 模型名字

import subprocess
import time
import os
import sys
import signal

def run_command(model):
    while True:
        # 要执行的命令和参数
        command = ['ollama', 'pull', model]
        
        # 启动命令进程
        process = subprocess.Popen(command)
        
        try:
            # 等待 60 秒
            time.sleep(60)
            
            # 尝试在 60 秒后终止进程
            if process.poll() is None:  # 如果进程仍在运行
                os.kill(process.pid, signal.SIGTERM)
                print("Process terminated")
        except Exception as e:
            print(f"An error occurred: {e}")
        finally:
            process.wait()  # 确保进程关闭
        print("Looping again...")

if __name__ == '__main__':
    run_command(sys.argv[1])

 

2.切换gpu执行而不是cpu

> ollama ps
NAME            ID              SIZE      PROCESSOR          UNTIL
llava:latest    8dd30f6b0cb1    5.7 GB    25%/75% CPU/GPU    4 minutes from now

运行模型后通过ps查看，发现进程分配一部分给cpu，一部分给gpu，但是通过进程管理器查看发现几乎都是cpu在跑，有点卡

 暂时不知道怎么强制gpu执行

 

3.联网搜索

通过chatbox执行的deepseek-r1不支持联网搜索，感觉被废了一样，信息都很旧，看看要怎么才能联网搜索