随笔分类 -  AI

Win11 部署 NotaGen （大模型作曲）
摘要：NotaGen 是一个大模型预训练的音乐生成模型项目地址：https://github.com/ElectricAlexis/NotaGen项目DEMO：https://electricalexis.github.io/notagen-demo/下面试试本地部署效果首先下载项目文件git clone 阅读全文
posted @ 2025-05-19 15:43 sun8134 阅读(148) 评论(0) 推荐(0)
Ollama 直接导入 safetensors 模型
摘要：Ollama 默认 pull 到的模型都是量化过的量化过的有时候会有点傻想要用非量化的模型我们还是需要自己导入还是用上一篇的模型：https://hf-mirror.com/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B我们可以看到模型是 safetensors 的新 阅读全文
posted @ 2025-03-12 11:13 sun8134 阅读(8322) 评论(2) 推荐(2)
将 safetensors 模型转换为 GGUF，导入Ollama
摘要：Ollama 默认 pull 到的模型都是量化过的 要使用非量化的模型就需要自己导入 但是 Hugging Face 不用魔法是打不开的 我们找个镜像站下载模型: 比如这个吧：https://hf-mirror.com/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 阅读全文
posted @ 2025-03-03 10:27 sun8134 阅读(4668) 评论(0) 推荐(0)
Xinference 安装 1.3.0
摘要：项目Github：https://github.com/xorbitsai/inference/文档：https://inference.readthedocs.io/zh-cn/latest/getting_started/index.html安装的时候如果还是 0.16.3pip install 阅读全文
posted @ 2025-02-25 15:33 sun8134 阅读(364) 评论(0) 推荐(0)
Langchain-Chatchat 0.3 -- Xinference
摘要：在开始前先做下准备工作首先要用nv显卡的话先要装cuda：https://developer.nvidia.com/cuda-toolkit-archive常用的是11.8，12.1或者12.4装完可以查看下版本：nvcc -V不过这个时候可能会报错这个时候需要装vc++最简单的可以装 visual 阅读全文
posted @ 2024-11-12 10:12 sun8134 阅读(284) 评论(0) 推荐(0)
Langchain-Chatchat 0.3 -- miniconda
摘要：Langchain-Chatchat 0.3的版本更新到了 0.3本地不再使用 fastchat 了，这次准备使用 Xinference为了方便 python 的版本管理，这次使用 miniconda安装 miniconda 其实很简单的，下载对应的版本下一步下一步就行了https://docs.a 阅读全文
posted @ 2024-11-11 15:47 sun8134 阅读(60) 评论(0) 推荐(0)

分享按钮