0基础也能看懂！从0到1手把手教你本地部署大模型Ollama

我都没有Ollama怎么跟着你的文章安装体验DeepSeek，啊哈哈，这篇博客忘记发啦，今天补上！
1.ollama
Ollama是一个本地运行大型语言模型（LLM）的工具，Ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如Llama 3、Phi 3、Mistral、Gemma等开源的大型语言模型。

2.ollama特点
本地部署优势

与基于云端的语言模型服务不同，Ollama 允许用户在自己的本地设备（如个人电脑）上运行语言模型。

这意味着数据隐私性更好，因为用户的输入和模型处理过程都在本地环境，不会将敏感数据发送到外部服务器。

可以在没有网络连接的情况下使用语言模型，只要模型已经下载并安装在本地设备上，这对于一些网络受限的场景（如在偏远地区或者网络信号差的环境）非常实用。

模型支持

Ollama 支持多种语言模型架构，包括但不限于基于 Transformer 架构的模型。它能够加载预训练的模型。

用户可以根据自己的需求定制模型参数，比如调整模型的大小（通过选择不同的模型版本，如小型、中型、大型模型）来平衡性能和资源占用。

 

在资源有限的设备上，可以选择较小的模型以获得较好的运行效率；而在性能较好的设备上，使用大型模型来获取更准确和丰富的语言处理结果。

易于使用

它提供了相对简单的命令行界面（CLI）。用户可以通过简单的命令来下载、运行和管理语言模型。

对于开发者和研究人员来说，Ollama 可以方便地集成到自己的应用程序或者开发环境中。

可以通过 API 接口（如果提供）来调用本地的语言模型，从而为自己的软件产品提供语言处理功能，如智能客服系统、内容生成工具等。

 

3.ollama支持的大模型
具体点击可以查看更多：点击查看ollama支持的大模型列表

4.ollama安装
第一步：下载ollama安装包

 

点击下载：ollama官方下载地址

如果你网速不行，那么可以点击下面的地址进行下载，我放云盘了一份

OllamaSetup.exe点击下载

第二步：安装ollama

没有其他的，双击一路下一步即可，这块很快就可完成

第三步：下载对应的大模型

这里推荐下载 qweb2.5:7b，为什么，因为国内的，相对好下载

打开cmd,执行运行下面的命令：

ollama run qwen2.5:7b
AI运行代码
1

这个有点慢，因为4.7GB,看个人的网速吧

第四步：使用大模型进行对话问答

就可以在这里进行问答了，常识的都没啥问题

 

温馨提示，虽然我们下载的大模型的参数并不是太大，但是个人笔记本，只能说勉强能用，谈不上流畅哈

5.ollama应用场景
目前大模型很多了，也有很多基本上都是免费使用，那为啥还需要本地部署大模型呢？而且公司基本上也都是在服务器进行部署，其实目前本地部署的应用场景主要是以下3点：

 

开发和测试环境

开发者在开发基于语言模型的应用时，可以使用 Ollama 在本地快速搭建测试环境。他们可以在本地验证模型的性能和功能，而不需要依赖外部的服务，这样可以更快地进行迭代开发。例如，开发一个自动文本摘要应用，开发者可以在本地用 Ollama 运行语言模型来测试不同的文本摘要算法和模型参数。

教育和研究领域

在教育方面，教师和学生可以在本地使用 Ollama 来学习语言模型的原理和应用。可以通过实际操作来了解模型如何生成文本、如何进行语言理解等。在研究领域，研究人员可以利用 Ollama 来对比不同语言模型在相同任务上的表现，或者对新的模型训练方法进行本地验证。

个人隐私敏感的内容创作

对于一些需要高度隐私的内容创作，如法律文件起草、个人日记内容生成等，使用 Ollama 本地运行语言模型可以确保内容不被泄露。用户可以放心地让模型协助自己生成文本，而不用担心数据隐私问题。

那你猜猜我为啥本地部署？啊哈哈哈

 

因为我最近在研究大模型的性能评测，所以需要本地跑点大模型，方便我的评测功能。

好啦，本篇就到这里啦，有问题，随时评论哈，欢迎一键三连！

如何系统的去学习大模型LLM ？
大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……
不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

 

二、640套LLM大模型报告合集
这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

 

三、LLM大模型系列视频教程

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

LLM大模型学习路线 ↓
阶段1：AI大模型时代的基础理解
目标：了解AI大模型的基本概念、发展历程和核心原理。

内容：

L1.1 人工智能简述与大模型起源
L1.2 大模型与通用人工智能
L1.3 GPT模型的发展历程
L1.4 模型工程
L1.4.1 知识大模型
L1.4.2 生产大模型
L1.4.3 模型工程方法论
L1.4.4 模型工程实践
L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程
目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

内容：

L2.1 API接口
L2.1.1 OpenAI API接口
L2.1.2 Python接口接入
L2.1.3 BOT工具类框架
L2.1.4 代码示例
L2.2 Prompt框架
L2.3 流水线工程
L2.4 总结与展望
阶段3：AI大模型应用架构实践
目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

内容：

L3.1 Agent模型框架
L3.2 MetaGPT
L3.3 ChatGLM
L3.4 LLAMA
L3.5 其他大模型介绍
阶段4：AI大模型私有化部署
目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

内容：

L4.1 模型私有化部署概述
L4.2 模型私有化部署的关键技术
L4.3 模型私有化部署的实施步骤
L4.4 模型私有化部署的应用场景
这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
————————————————

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

原文链接：https://blog.csdn.net/developeraa/article/details/145467993