deepseek本地部署+ai酒馆

deepseek本地部署+ai酒馆

目录

• deepseek本地部署+ai酒馆
  • deepseek部署
  • node.js部署
  • Silly Tavern部署

deepseek官网老是繁忙，自己部署一个玩一玩，主要自己部署还没有违禁词~美汁汁

deepseek部署

大模型本地部署有很多方法啦，目前我感觉最简单无脑的是直接装一个ollama，然后拉取模型就行，比vLLM和Hugging Face要简单一点

下载安装就行https://www.ollama.com/download

C:\Users\tony>ollama -h
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

感觉这玩意和docker也差不多，拉取模型看看：

ollama pull deepseek-r1:14b

这里直接选了14b，因为之前逛论坛看别人说模型对显存的要求基本上是1b=1g，我是3080 12g，这里咬咬牙用用14b试试，不行再换

一开始拉取的很快，但是快结束的时候就慢了，看到一个诡异的方法就是先ctrl+c强制断了再pull就快了，试了一下还真是..

show一下：

C:\Users\tony>ollama show deepseek-r1:14b
  Model
    architecture        qwen2
    parameters          14.8B
    context length      131072
    embedding length    5120
    quantization        Q4_K_M

  Parameters
    stop    "<｜begin▁of▁sentence｜>"
    stop    "<｜end▁of▁sentence｜>"
    stop    "<｜User｜>"
    stop    "<｜Assistant｜>"

  License
    MIT License
    Copyright (c) 2023 DeepSeek

运行一下，没问题就ok：

C:\Users\tony>ollama run deepseek-r1:14b
>>> 你好，介绍一下自己吧
<think>
您好！我是由中国的深度求索（DeepSeek）公司开发的智能助手DeepSeek-R1。如您有任何任何问题，我会尽我所能为您提供帮助。

</think>

您好！我是由中国的深度求索（DeepSeek）公司开发的智能助手DeepSeek-R1。如您有任何任何问题，我会尽我所能为您提供帮助。

>>> Send a message (/? for help)

如果要退出：

>>> /bye

node.js部署

ai酒馆部署依赖于node.js环境，至少它官网是这么说的，部署一下：
官网：https://nodejs.org/en/

windows直接去https://nodejs.org/en/download下载就行了，一切从简~

无脑下一步就行了，装完测一下环境变量没问题就行：

C:\Users\tony>node -v
v22.13.1

C:\Users\tony>npm -v
10.9.2

Silly Tavern部署

所谓ai酒馆就是Silly Tavern啦，官网介绍在这：https://sillytavern.pro/

这里有个小问题，官网给的链接是github上的1.9.7的旧版本，我去github重新下的1.12版本，才能用和ollama联动:

https://github.com/SillyTavern/SillyTavern

直接下载zip下来，解压完事后运行start.bat就行了，它会把依赖库什么的装好，弹出来web界面就行了

API配置这里选文本补全，API类型选ollama，API地址就是ollama默认的http://127.0.0.1:11434/就好了

点连接就ok，目前为止就配置完成了，至于ai设定之类的之后再摸索~找了两个免费分享的设定站，不过访问有点慢

https://www.chub.ai/characters

https://aicharactercards.com/

至于怎么调教就不说了~~