开源大模型及数据集社区

主流开源大模型及数据集社区

• Hugging Face
  全球最大的AI模型与数据集开源社区，提供了丰富的预训练模型和便捷的Python工具库（如transformers）。
• 魔塔社区
  魔塔社区（ModelScope）是阿里巴巴达摩院（阿里云）推出的国内领先的开源AI模型社区与模型即服务（MaaS）平台，常被称为“中国版Hugging Face”。其核心定位是降低AI技术的应用门槛，为开发者、工程师及AI爱好者提供一站式的模型、数据集、工具及算力服务

模型下载

下述命令行均在anaconda终端运行

Hugging Face模型下载

# 1. 安装工具
pip install -U huggingface_hub
# 2. 登录，需要输入在官网Setting-Access Tokens生成的Token，并确保下载模型在网页登录端完成“同意授权”
hf auth login
# 3. 下载模型到指定目录
hf download google/gemma-2-2b --local-dir E:/Resources/Models/my_gemma_model

魔塔社区模型下载

# 1. 安装工具
pip install modelscope
# 2. 下载模型（QWen）
-- Q4_K_M
modelscope download --model prithivMLmods/Qwen2.5-Coder-7B-GGUF --include "Qwen2.5-Coder-7B.Q4_K_M.gguf" --local_dir E:/Resources/Models/my_qwen_model

-- Q6_K
modelscope download --model bartowski/Qwen2.5-Coder-7B-Instruct-GGUF --include "Qwen2.5-Coder-7B-Instruct-Q6_K.gguf" --local_dir E:/Resources/Models/my_qwen_model

Qwen本地化部署方案

推理框架llama.cpp

CUDA 12 预编译包下载(分别下载主程序包和依赖库包，合并到一个文件夹llama-cpp)：

https://github.com/ggerganov/llama.cpp/releases

本地运行模型

笔记本配置：NVIDIA GeForece RTX 4060 Laptop GPU

cd E:\Resources\interface\llama-cpp 

-- run in cmdline
llama-cli.exe -m "E:/Resources/Models/Qwen/Qwen2.5-Coder-7B.Q4_K_M.gguf" -ngl 35 -c 4096 -t 8 --chat-template chatml -cnv

开启API服务

cd E:\Resources\interface\llama-cpp 

llama-server.exe -m "E:\Resources\Qwen\Qwen2.5-Coder-7B.Q4_K_M.gguf" -ngl 35 -c 8192 -n 8192 -t 0.7 --repeat-penalty 1.15 --chat-template chatml --port 8080 --host 127.0.0.1

-- advanced
llama-server.exe -m "E:\Resources\Qwen\Qwen2.5-Coder-7B-Instruct-Q6_K.gguf" -ngl 32 -c 16192 -t 8 --temp 0.7 --repeat-penalty 1.1 --host 127.0.0.1 --port 8080

• --port 8080：本地接口地址 http://localhost:8080
• 支持 OpenAI 格式，CoPaw、各种 Copilot 插件都能认

接入CoPaw龙虾

参考官方接入方式：

• 打开 CoPaw → Settings → Models → Add Model
• Provider：选 OpenAI / Custom
• Base URL：http://localhost:8080/v1
• API Key：随便填，比如 ollama 或 sk-123（llama-server 不校验）
• Model Name：Qwen2.5-Coder-7B.Q4_K_M

保存，设为默认即可。

参考资料

https://qwen.readthedocs.io/zh-cn/latest/inference/transformers.html