一个命令行参数解决open-webui镜像启动失败的问题(huggingface网站访问失败问题)

  最近鼓捣ollama本地运行开发大模型,配合open-webui搭建自己的服务确实不错,可以本地用cpu运行本地化运行开发大模型,号称只要内存够用就行。当然,没有显卡支持是真的慢!(这个没钱解决不了的问题不是本文的关注点。)

  一切仿佛都很美好(除了需要耐心),但是玩了两三天后出问题了。这天心血来潮,拉取了一下open-webui的最新镜像,接着停掉并移除运行中的镜像,再次启动新版本镜像,结果发现启动不了了。用命令”docker ps --all“查看,发现镜像启动18秒后就退出了。于是使用 logs命令查看docker镜像启动的日志。

[yh@lnew ~]$ sudo docker ps --all
CONTAINER ID   IMAGE                                                  COMMAND                   CREATED          STATUS                      PORTS     NAMES
196fafb4344e   ghcr.io/open-webui/open-webui:main                     "bash start.sh"           22 seconds ago   Exited (1) 13 seconds ago             open-webui
[yh@lnew ~]$ sudo docker logs 196fafb4344e
No WEBUI_SECRET_KEY provided
Generating WEBUI_SECRET_KEY
Loading WEBUI_SECRET_KEY from .webui_secret_key
No sentence-transformers model found with name sentence-transformers/all-MiniLM-L6-v2. Creating a new one with MEAN pooling.
Traceback (most recent call last):
  File "/usr/local/bin/uvicorn", line 8, in <module>
    sys.exit(main())
             ^^^^^^
  File "/usr/local/lib/python3.11/site-packages/click/core.py", line 1157, in __call__
    return self.main(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^

...此处省略不到十万行...

File \"/usr/local/lib/python3.11/site-packages/transformers/utils/hub.py line 441, in cached_file
 raise EnvironmentError
OSError: We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like sentence-transformers/all-MiniLM-L6-v2 is not the path to a directory containing a file named config.json.
Checkout your internet connection or see how to run the library in offline mode at 'https://huggingface.co/docs/transformers/installation#offline-mode'


  (注意日志中红色的错误行,是我自己着色的)看了日志才知道,原来是open-webui启动时期需要首先在线安装transformers库,但是huggingface.co对于国内来说是经常不可访问):

  于是赶紧求助bing,找到一个镜像网站,"hf-mirror.com",于是给docker启动命令中增加一个环境变量"HF_ENDPOINT",经测试完美解决了。后来又想到开始虽然运行镜像启动成功了,但是启动特别慢,2、3分钟服务才能访问,看来也是需要访问huggingface网站的原因。

  注意这里设置环境变量HF_ENDPOINT,必须设置为”https://hf-mirror.com“,否则依然会报错,大概是说未知的scheme,我已经趟过这个坑了。完整的命令行如下:

[yh@lnew ~]$sudo docker run -d -e HF_ENDPOINT=https://hf-mirror.com -p 3000:8080 -e OLLAMA_BASE_URL=http://192.168.2.26:11434 -v open-webui/backend/data:/app/backend/data --name open-webui  ghcr.io/open-webui/open-webui:main

 

posted @ 2024-04-07 14:22  柒零壹  阅读(502)  评论(0编辑  收藏  举报