day12-Dify对接大模型-应用发布

今日内容

1 本地大模型之界面交互

# 1 大模型已经在本地部署好了
	-阿里云机器上
    -win、mac机器上
    -linux虚拟机中
    
# 2 跟本地大模型交互：ollama新版本提供了图形化界面
	-千问：2B 20亿参数--模型--》基本的问题还是可以，更高智能需要更大的模型
		-参数量越大，越智能--》脑子越大--》智商越高
        -100B大模型，豆包
        
        
# 3 我们部署的大模型
	-想给你朋友有，朋友用不了
    -部署在云服务器上的大模型--》win机器使用--》直接用用不了
    
# 4 我们用一个web ui 对接大模型：win、云服务器上的
	-webui：网上一堆团队，专门开发的一个前端项目--》运行起来后，可以配置大模型地址--》如果在局域网内，局域网用户都可以访问这个网站；如果在云服务器上，互联网用户都可以访问这个网站
    -类似于豆包：浏览器打开，问问问题--》它给回答--》用的你部署的大模型
    	-你平时问问题，用豆包还是用我们自己的？
        -如果能上网--》指定用豆包--》参数量更大，还免费
        -如果不能上网--》只有局域网用户--》就需要用本地
# 5 项目地址：
	-https://github.com/open-webui/open-webui
    -部署方案好几种：docker，python，直接运行
    -我们使用python
    
    
# 6 使用步骤：
0 需要安装python解释器：必须是3.12及以下：3.11,3.12
	-如果是 3.13 直接不行
    -如果没装，看我们课程中的视频--》苑老师讲的
    
1 配置国内镜像站
# Windows CMD
set HF_ENDPOINT=https://hf-mirror.com

# Windows PowerShell
$env:HF_ENDPOINT="https://hf-mirror.com"

# Mac/Linux 终端
export HF_ENDPOINT=https://hf-mirror.com
    
    
2 安装 :等好久，要下载东西
# pip install open-webui  # 安装模块：open-webui
# 我们使用这个
pip3.11 install open-webui -i https://mirrors.aliyun.com/pypi/simple/
# 会去下载一些模型--》模型在国外，我们国内下不下来，必须配置国内的镜像

3 启动
open-webui serve

4 浏览器访问：端口冲突
# ollama跑在11434端口
# dify 跑在 80端口
# coze 默认跑在8888端口
# 有的同学自己学习写项目，或者是用本地docker跑项目，跑在了8080端口---》这个就起不来
# 我们计算机是一个大房子--》房子有1--65535个窗户【端口】，我们应用程序运行，监听端口，等待别人来连接
从外部--》进房子【计算机】--》需要有地址和端口
	-地址：计算机位置
    -端口：访问你哪个软件
如果有的程序占用了8080，这个就跑不起来
你把你的那个项目的监听端口随便改一个即可
重启机器：所有应用都停了--》也就不占端口了

http://127.0.0.1:8080/
        
5 创建管理员账号


6 登录进来，配置本地大模型的地址【远程大模型也可以，只要有地址即可】
	1 进入管理员面板
    2 进入到设置：http://127.0.0.1:8080/admin/settings/connections
    	-外部连接：默认有一条：http://localhost:11434
         		 如果本地跑了ollama，部署了大模型--》这个open-webui一进来就能使用
        		如果ollama跑在虚拟机或云服务器上，部署了大模型，需要新增一条
    3 增加远程的大模型地址
    4 就可以使用了
    	- 千问是win机器的大模型
        - DeepSeek是虚拟机中的大模型
        
        
        
        
        
7 我们本地现在跑的服务
	dify ：前提是你跑在win，mac上，不是虚拟机或云服务器上，会占80端口
    ollama：前提是你跑在win，mac上，不是虚拟机或云服务器上，会占11434端口
    open-webui：前提是你跑在win，mac上，不是虚拟机或云服务器上，会占8080端口
    
    虚拟机中部署dify--》根本不会影响你win机器的端口
    
8 dify 是制作AI智能体的软件--》创建智能体，创建工作流
	-大模型：可以使用本地，可以使用远程的
    
9 open-webui前端项目，可以对接大模型【本地还是远端】
	-像豆包一样，我们问问题，它回答，不需要联网

2 dify对接大模型

我上课演示--》是用虚拟机中的dify：你们使用云服务器或者本地mac，win上一模一样

# 1 重新开机后，开启dify服务
	1.0 开启部署dify的虚拟机
	1.1 finallshell连接上
	1.2 启动docker
    	systemctl start docker
    1.3 启动dify：需要去docker目录
	1.4 访问：192.168.231.131
    
# 2 重新开机后，开启ollama服务
	2.0 开启部署ollama的虚拟机：有的同学dify和ollama是一台机器
	2.1 finallshell连接上
	2.2 启动ollama
    	systemctl start ollama
    2.3 浏览器访问：http://192.168.231.128:11434/
    	

2.1 dify对接本地大模型

# 0 coze 需要对接大模型吗？
	不需要--》因为它内置好了，能用的大模型，coze都内置好了，其它的不能用--》coze不能使用本地大模型
    
# 1 打开dify地址
	
# 2 右上角--》设置

# 3 模型供应商  大模型提供商
	-支持市面上几乎所有的大模型
    
# 4 我们学习对接
	-1 本地ollama
    -2 DeepSeek
    -3 火山方舟：就是豆包
    -4 硅基流动：国内目前比较出名的大模型提供商
    	-他们很多服务器，跑了各家的大模型--》购买他的token，使用这些大模型
# 5 装对应插件

# 6 ollama插件装好后，添加模型
	-如下图：win机器本地的大模型
    

2.2 对接DeepSeek【远端的】

# 1 deepseek官网：https://chat.deepseek.com/
	这个可以直接聊天，使用它家最新最牛逼大模型
    
# 2 这个公司同时也对外提供收费服务
	-我们 调用大模型服务【dify】---》我们花钱
    -open-webui也可以调的
# 3 aip开放平台，需要实名认证，充点钱：我充了5块钱
https://platform.deepseek.com/usage
    
    
# 4 创建api-key：一把钥匙，独属于你的，你拿着apikey 访问 deepseek，他就知道这是你，扣你钱
	地址：https://platform.deepseek.com/api_keys
	创建apikey，只会显示一次：复制下来
    sk-8d2d6a1e14bb4fcfa728945747322444

# 5 回到我们 dify上，如下图配置

2.3 对接火山方舟-豆包底层的大模型

# 1 coze 使用的默认大模型就是它

# 2 注册账号，实名认证，充钱
https://console.volcengine.com/ark/region:ark+cn-beijing/model?vendor=Bytedance&view=DEFAULT_VIEW
        
# 3 开通管理--》开通一个模型

# 4 创建aip-key
https://console.volcengine.com/ark/region:ark+cn-beijing/apiKey?apikey=%7B%7D
5a4d9211-c369-4944-866f-8825cbebf5d1

# 5 自定义推理
	如下图
    
    
# 6 我们需要：
	1 自定义推理的：ep   ————》ep-20260201213841-w49zj
    2 api_key：             5a4d9211-c369-4944-866f-8825cbebf5d1

2.4 对接硅基流动

# 1 硅基流动 专门的大模型提供商
	-把别人开源的大模型，部署在自己服务器上，对外卖
    
###########步骤--新用户有免费额度#############
#1 注册账号
https://cloud.siliconflow.cn/sft-d178p8oo8n4s73934nf0/models
# 2 添加api秘钥
https://cloud.siliconflow.cn/sft-d178p8oo8n4s73934nf0/account/ak
sk-kjhkpeemmosgfpnjibtabwwjqdglqhqazkuldgxzgcyakqrv
# 3 通过实名认证
https://cloud.siliconflow.cn/sft-d178p8oo8n4s73934nf0/account/authentication
# 4 充值
https://cloud.siliconflow.cn/sft-d178p8oo8n4s73934nf0/expensebill
    
# 5 dify对接
输入apikey即可
sk-kjhkpeemmosgfpnjibtabwwjqdglqhqazkuldgxzgcyakqrv
输入模型名称：
deepseek-ai/DeepSeek-V3.2

# 6 原来不需要写模型名称
	-所有模型都可以用
    
    
    
# ollama是本地部署大模型的一种方案
# 在线大模型是人家企业部署的，用的别的方案
# 最终，都是大模型：有的智商低，有的智商高

-----到此，我们的dify才像coze一样能用-----------------

3 Dify之聊天助手，Agent，文本生成应用，ChatFlow和工作流 区别

### 1. 聊天助手（Chat Assistant）---coze的智能体

- 定义：基于预训练大模型（如 deepseek）的对话式 AI，可理解用户输入并生成自然语言回复。
- 特点
  - 单轮或多轮对话：支持简单问答或复杂对话上下文。
  - 知识库增强：可连接外部知识库（如文档、FAQ）提升回答准确性。
  - 无代码配置：通过 Dify 界面配置参数、提示词模板即可创建。
- 适用场景：客服机器人、智能问答、闲聊机器人。

### 2. Agent（智能代理）--》coze的智能体+插件使用
- 定义：具备工具使用能力的 AI 系统，可调用外部 API（如搜索、计算器、数据库）完成复杂任务。
- 特点
  - 工具调用：自动选择并调用合适的工具（如调用天气 API 查询天气）。
  - 推理链：分解复杂问题为多个步骤，逐步执行并整合结果。
  - 代码能力：部分 Agent 支持生成或执行代码（如 Python 脚本）。
- 适用场景：数据分析、API 调用、多工具协同任务（如 “查询航班并预订酒店”）。

### 3. 文本生成应用（Text Generation App）--》coze的智能体--》做创作：诗歌，文章
- 定义：基于大模型的文本生成能力，专注于内容创作的应用。
- 特点
  - 模板化生成：通过预设模板生成特定类型内容（如文案、报告、诗歌）。
  - 参数控制：调整生成长度、风格、创造性等参数。
  - 批处理：支持批量生成多份内容。
- 适用场景：内容创作、文案生成、报告自动撰写。

### 4. ChatFlow（对话流程） ---》coze的工作流
- 定义：可视化编排的对话逻辑，定义用户输入与 AI 回复的流程规则。
- 特点
  - 流程图设计：通过拖放节点创建复杂对话逻辑（如多轮引导、条件分支）。
  - 节点类型：包括文本回复、API 调用、条件判断、跳转等。
  - 状态管理：保存对话上下文，支持长时间多轮对话。

- 适用场景：表单填写（如预订流程）、复杂业务流程引导、多轮对话游戏。

### 5. 工作流（Workflow）---》coze的工作流
- 定义：跨应用、跨系统的自动化任务序列，不仅限于对话场景。
- 特点
  - 跨系统集成：连接 Dify 与其他工具（如 Slack、Notion、数据库）。
  - 触发器驱动：基于时间、事件（如用户提交表单）自动启动。
  - 多角色协作：支持不同用户角色参与流程（如审批、执行）。
- 适用场景：企业流程自动化（如工单处理）、数据同步、营销自动化。

4 聊天助手-应用发布

# 1 创建聊天助手

# 2 问题：千问2b大模型，在哪？花钱吗？
	1 在win机器本地跑
    2 不花钱
    
# 3 豆包seed 1.8--》底层大模型跟coze，第一个大模型是一个东西
	-智商一样
    -花钱也一样
    -智商很高
    
    
# 4 我们可以把coze自动生成的提示词--》直接粘贴到dify中

# 5 系统提示词

# 角色
你是一位专业且贴心的智能导游，凭借丰富的旅游知识和经验，根据用户提供的目的地、旅游天数、预算等信息，为用户生成详细且合理的旅游计划。

## 技能
### 技能 1: 生成旅游计划
1. 当用户输入目的地、旅游天数、预算后，先使用工具搜索该目的地的热门景点、特色美食、住宿选择等信息。
2. 依据旅游天数，合理规划每天的行程安排，包括景点游览顺序、停留时间等。
3. 结合预算，推荐符合预算的住宿、餐饮和交通方式。
4. 生成详细的旅游计划，内容应包含每日行程、景点介绍、交通指南、餐饮推荐、住宿建议等。
===回复示例===
- **第一天**：
    - **上午**：抵达[目的地]，前往[酒店名称]办理入住。之后前往[景点 1]，[简单介绍景点 1]，游览时间约[X]小时，交通方式为[具体交通方式]。
    - **中午**：在景点附近的[餐厅名称]用餐，推荐菜品[菜品名称]。
    - **下午**：前往[景点 2]……
- **第二天**：……
（依此类推，按天数详细列出行程）
===示例结束===

4.1 发布

# 1 发布后：运行 ---》就是coze的发布到应用商店
http://192.168.231.131/chat/PqcMA69ShU7bhAZR
    
# 2 如果是在公网上，大家都能访问

# 3 访问api--》可以通过代码形式调用我们的智能体 
http://192.168.231.131/app/0e699f0c-09a9-47e9-84c1-5b061d6d7f63/develop
    
    
# 4 假设我们开发了一个非常有用的智能体：智能换脸
	-我们可以写app，微信小程序---》调用dify的智能体实现这个功能
    -app，微信小程序，就相当于套了个壳--》调用dify智能体--》完成高级功能
    
    -一键最低价格查询：输入一个商品地址
    	-去各大平台比j

补充

# 1 openclaw 就是个智能体
	-直接运行在电脑上：电脑上的文件，软件。。。都能操作
    -dify，coze：运行在浏览器中--》对操作系统的控制就很弱--》操作系统级别任务，我们不好做
    
# 2 也需要大模型
	-远端大模型：付费买token
    	-一直运行在操作系统上--》让它干活--》就需要跟大模型交互
        -费token可是相当大
        
    -本地大模型：性能不行--》智商不够---》完不成别人能完成的牛逼操作

# 3 举个例子
	-我使用我的电脑，我发现很卡
    	-正常操作：查看进程--》看看哪个软件消耗资源大--》手动关掉
    -openclaw对电脑有完全的操作权限：豆包手机类似
    	-跟它用自然语言讲：我电脑很卡，帮我优化一下 ：分析哪个软件消耗资源大--》在你干正事时，不用那个占资源大的软件，停止，不允许启动
        -自动清理电脑的垃圾
        
    -相当于你雇了一个员工--》原来需要你做的，它帮你做了
    	自动剪辑视频
        
# 4 用代码复现：openclaw 10%

# 5 豆包手机：耐克xx款42的鞋--》各个电商平台搜索比价--》关注前段时间价格--》挑一个最低的--》直接下单--》你就等收货即可---》只需要通知你--》去小区哪个快递站取即可

# 这种设计理念就是AI智能体