Day29-局部重绘
局部重绘
专用模型局部重绘
下载修复模型
模型下载链接: https://pan.baidu.com/s/182TWMAlCShvPXZF8rsDu0w?pwd=irj3 提取码: irj3
创建工作流
局部重绘可以基于图生图工作流进行修改实现。先创建图生图工作流:
如果修图的图像想要调整也可以添加一个【缩放图像(比例)】节点,对图像进行放大或者缩小。
将原先的【VAE编码】节点修改为【VAE编码(局部重绘)】节点,因为该节点会有一个“遮罩”的功能。

查看遮罩效果,可以添加一个【遮罩转换为图像】节点:
遮罩图中白区=重绘,黑区=保留
右击上传好的图像,然后在遮罩编辑器中打开图像:
对要进行重绘部分进行遮罩后保存:
遮罩后效果如下:

连线:
-
【VAE编码(局部重绘)】的vae链接【Checkpoint加载器(简易)】的vae
-
【加载图像】的遮罩链接【VAE编码(局部重绘)】的遮罩
-
【VAE编码(局部重绘)】的Latent链接【K采样器】的Labent图像
修改正向提示词:Cream cake on pink tablecloth,Anime style 翻译:蛋糕在粉红色桌子上,卡通风格
修改k采样器参数:

重要参数解释:
-
VAE编码(局部重绘)节点的扩展遮罩参数:
- 白区边缘扩展6像素 → 形成灰阶渐变过渡带。类似羽化,参数建议6
-
K采样器
-
降噪:专用模型用1,若要强制用大模型降噪要稍微降低
-
采样器:
采样器 推荐步数 边缘自然度 细节丰富度 速度排名 建议 uni_pc_bh2 18-25 ⭐⭐⭐⭐☆ ⭐⭐⭐⭐ 1 小范围修改 dpmpp_2m_sde 22-30 ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ 2 超高细节时用 euler_ancestral 20-28 ⭐⭐⭐☆ ⭐⭐⭐⭐ 3 抽卡创意 ddim 25-35 ⭐⭐☆ ⭐⭐⭐ 4 不推荐
-
通用模型局部重绘
该方法对生图模型没有要求,可以使用通用模型。其流程可以基于【专用模型局部重绘】工作流进行修改。

将【VAE编码(局部重绘)】节点替换为【设置Latent噪波遮罩】

添加【vae编码】节点

连线1:
连线2:【设置Latent噪波遮罩】的labtent链接【K采样器】的Latent图像
连线3:【VAE编码】的vae链接【Checkpoint加载器(简易)】的vae
连线4:【设置Latent噪波遮罩】的遮罩链接【加载图像】的遮罩
核心参数调整:
- 【Checkpoint加载器(简易)】加载dreamshaper_8模型
- 【K采样器】
- randomize
- 步数:25
- 采样器:dpmpp_2m
- 调度器:karras
- 降噪:因为是图生图,越小越像原图。建议0.7左右。(0.8-1.0重构内容,0.5以下微调)
注意:该方法进行局部重绘主要是对相似内容进行重绘,之前我们把杯子重绘成蛋糕的效果,在该方法下效果就不好了。因此,我们可以对猫脸进行相似重绘。
修改提示词:cat on pink tablecloth,Anime style
对猫脸进行遮罩:
效果:
另一个示例:
给下图女孩肚子重绘毛衣遮挡。

在上面工作流进行如下修改:
- 模型:real写实模型
- 提示词:
White sweater,high details,best quality,award winning,super detail - K采样器:
- 降噪:0.8/0.9
效果:
图像扩展
对花朵下部分进行内容扩展:

基于【专用模型局部重绘】工作流为基础进行实现。
模型选择:512-inpainting
删除【图像缩放节点】
添加【外补画板】节点
- 下:200,表示向图像下方拓展200像素
- 羽化:40

连线:
提示词:
a close-up of a delicate pink rose with velvety petals, reflecting soft ambient light, Dark green-toned light.The background consists of blurred pink roses and green foliage, creating a dreamy and harmonious depth.(soft lighting, dim background, cinematic lighting, realistic shading, gentle contrast, warm tones)
一朵精致的粉玫瑰特写,花瓣如天鹅绒般细腻,反射着柔和的环绕光,整体笼罩在暗绿色调的光线中。背景由虚化的粉玫瑰与绿色枝叶构成,营造出梦幻而和谐的景深感。柔和光照、暗调背景、电影感光线、真实阴影、轻柔对比、暖色调
k采样器参数:

提示词工具
six god prompt介绍和安装
SixGod是一款功能强大的ComfyUI提示词插件。它提供了丰富的提示词库、方便的权重设置、正面与负面提示词添加、提示词收藏与配置等功能,以及特色的中英文翻译功能。通过使用该插件,用户可以更加高效地进行AI创作。
开源地址:https://github.com/thisjam/comfyui-sixgod_prompt
插件安装
在github中,复制其下载地址:
然后在cloudstudio的/ComfyUI/custom_nodes目录下打开终端,进行插件下载:
git clone https://github.com/thisjam/comfyui-sixgod_prompt.git

大模型配置(可用于翻译和随机灵感)、
查看当前系统的python版本:

安装 llama_cpp_python(模型部署调用工具),下载地址:https://abetlen.github.io/llama-cpp-python/whl/cu122/llama-cpp-python/,选择适配当前系统和python版本的安装包进行下载:

下载好之后,将其上传到cloudstudio中和ComfyUI同级目录下:

右击该文件在终端中打开:

在打开的终端中执行下面安装命令:
python -m pip install llama_cpp_python-0.2.63-cp311-cp311-linux_x86_64.whl
在huggingface中下载千问模型:https://huggingface.co/Qwen/Qwen1.5-4B-Chat-GGUF/tree/main

将下载好的千问模型上传到:ComfyUI/custom_nodes/comfyui-sixgod_prompt/models
注意:安装成功后,重启下ComfyUI服务!
six god prompt使用
添加节点:
打开配置页:
进行主要设置:
以后可以使用six god的节点也可以使用通用的clip文本编码:

提示词权重:
comfyui的提示词最终必须是英文。并且一般是短语而非完整句子,通常用关键概念或短语拼接,避免冗长句子,用逗号分隔不同短语。
提示词越靠前,相对权重越大(还是1,但是在1里前面的影响更大)。提示词数量太多反而让每个提示词影响变小。
Embedding模型
embedding本质是提示词合集,因此可通过提示词加入,一般放入负面提示词,常用于防止多手指和低质量。
模型存放路径:ComfyUI\models\embeddings
可在负向提示词中添加该模型:


浙公网安备 33010602011771号