ollama

ollama

https://ollama.com/

llama是meta发布的大语言模型， 自然意义是美洲鸵

这个平台软件 以 o 开头，类似召唤 美洲鸵的意思。

对应大语言模型，就是提供运行大模型的支撑。

 

Get up and running with large language models.

Run Llama 3, Phi 3, Mistral, Gemma, and other models. Customize and create your own.

https://github.com/ollama/ollama

Ollama supports a list of models available on ollama.com/library

Here are some example models that can be downloaded:

Model	Parameters	Size	Download
Llama 3	8B	4.7GB	ollama run llama3
Llama 3	70B	40GB	ollama run llama3:70b
Phi-3	3.8B	2.3GB	ollama run phi3
Mistral	7B	4.1GB	ollama run mistral
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
LLaVA	7B	4.5GB	ollama run llava
Gemma	2B	1.4GB	ollama run gemma:2b
Gemma	7B	4.8GB	ollama run gemma:7b
Solar	10.7B	6.1GB	ollama run solar

 

huggingface vs ollama

https://blog.csdn.net/surfirst/article/details/136264817

HuggingFace（拥抱脸）和Ollama都与**大型语言模型（LLMs）**有关，但它们的用途不同：

    HuggingFace：
        HuggingFace 是一个知名的平台，提供各种预训练的LLMs，包括流行的模型如GPT-3、BERT和RoBERTa。
        它提供了丰富的生态系统，用于处理LLMs，包括微调、模型评估和部署工具。
        开发人员和研究人员使用HuggingFace来访问预训练模型，进行实验，并将其集成到应用程序中。
        如果您想探索开放的LLMs，**HuggingFace的“Open LLM Leaderboard”**是一个很好的起点²。

    Ollama：
        Ollama专注于在本地运行LLMs，允许用户直接在自己的计算机上实验模型。
        Ollama使您可以在本地下载和运行HuggingFace语言模型，格式为GGUF。
        对于那些想要在不依赖外部服务或API的情况下探索LLMs的人来说，这非常有用。

总之，HuggingFace提供了更广泛的LLM平台，而Ollama则为在本地运行LLMs提供了更本地化和实践性的体验！🌟

 

 

 

命名来源

llama

https://arxiv.org/abs/2302.13971

meta为自己研发的大语言模型命名

We introduce LLaMA, a collection of foundation language models ranging from 7B to 65B parameters. We train our models on trillions of tokens, and show that it is possible to train state-of-the-art models using publicly available datasets exclusively, without resorting to proprietary and inaccessible datasets. In particular, LLaMA-13B outperforms GPT-3 (175B) on most benchmarks, and LLaMA-65B is competitive with the best models, Chinchilla-70B and PaLM-540B. We release all our models to the research community.

 

https://www.thoughtco.com/llama-facts-4690188

美洲驼

The llama (Lama glama) is a large, furry mammal that was domesticated in South America thousands of years ago for meat, fur, and as pack animal. Although related to camels, llamas don't have humps. Llamas are close relatives of alpacas, vicuñas, and guanacos. Although they are all different species, a group of llamas, alpacas, guanacos, and vicuñas may be called lamoids or simply llamas.

 

实践

https://zhuanlan.zhihu.com/p/675924232

 

# 只有CPU用这个
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

#运行yi 34B模型
docker exec -it ollama ollama run yi:34b-chat 

docker run -d -p 3500:8080 --add-host=host.docker.internal:host-gateway --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main

 

对于中文支持测试，可以运行阿里的千问

https://ollama.com/library/qwen