day21：图生图原理+实操
图生图原理+实操
图生图原理+实操
原理
图生图（Image-to-Image）的根本目标，是在利用输入图像的结构、构图、色彩等基础信息的前提下，根据新的指令（如提示词、风格）对其进行有目的的改造。
我们可以用一个比喻来理解：
- 文生图：相当于你告诉画家：“画一个宇航员在月球上”。画家从一张白纸开始自由创作。
- 图生图：相当于你给画家一张维多利亚女性的肖像照片，然后说：“请保持她的姿势和背景感觉，但把她改造成一个长着蝴蝶翅膀的精灵。” 画家是在现有底稿上进行修改。
在ComfyUI中，这个“底稿”就是潜变量（Latent）。
因此，图生图的起点是带噪的潜变量（来自输入图像），而非纯随机噪声，因此能保留更多原始信息。
- latent节点变为加载图像节点，然后输入图像通过 **VAE编码器 **转换为潜空间表示。
- 模型基于条件空间——文本提示（Prompt）或其他条件（如ControlNet）逐步去噪，生成新图像。
提示词：photograph of victorian woman with wings, sky clouds, meadow grass
重点：“降噪”参数
该参数的取值是0-1之间。参数值越接近0（越小）则表示上传的参考图对生图的影响越大，参数值接近1（越大）则表示提示词对生图的影响就越大。例如当该参数值为0.6则表示提示词和参考图分别对最终生图造成影响的权重占比分别为60%和40%。
因此，在生图过程中需要不断尝试使用不同的降噪值来查看生图后的效果！
qwen图生图工作流
Lumi-Batcher节点
作用：可以实现进行工作流节点中相关参数测试和参数调优。
管理器安装comfyui-lumi-batcher节点包，安装完成后需要重启comfyui服务
重启后，在页面右上角可见：
实现对模型选择和降噪值批量测试
-
创建任务：
-
报错处理：
- 在工作流中添加保存图像节点即可。在图生图场景下comfyui-lumi-batcher节点要求必须包含保存图像节点。
-
选择需要测试的参数
-
模型：
-
降噪：
-
-
提交任务：
-
浏览任务：
多图参考：使用图像拼接核心节点
案例实操
将下面动漫图转换为真人古风的风格
由于原始图像大小为1915 x 1080，如果我们使用的生图模型支持最大分辨率为达不到1915 x 1080，我们可以使用ps将图片裁剪为指定大小即可。在线ps工具：https://ps.gaoding.com/#/
或者也可以使用【裁剪图像】节点进行裁剪：
降噪参数修改为：0.8，步数：35，采样器：euler-ancestral
修改提示词：
masterpiece，highly detailed，Best quality,1girl, long black hair, straight hair, hair accessories, blue long dress, necklace, many flowers, smile, evening, white flowers, falling petals, Chinese, ancient costume, ancient style, beautiful, photorealistic
使用batcher节点找寻最合适的生图参数
-
降噪参数选择：
-
模型选择：
-
查看结果：
图像高清放大
注意：K采样器的降噪参数建议0.5-0.7之间
文生图或者图生图后发大都可以，下面简单测试图生图后高清放大后效果。下面是原始图生图工作流
基于K采样器的Laten后面添加一个缩放节点（可以成倍对原图进行高清缩放）：
添加缩放节点后，接下来基于图生图的形式进行缩放后结果的二次生图。因此需要再次添加一个K采样器：
基于原先的k采样器单机后ctrl-c复制，然后在空白处ctrl+shift+v进行带连线的粘贴
其原理就是将原先K采样器的潜空间输出的数据基于缩放节点进行缩放，缩放后的结果再次基于新的K采样器进行潜空间降噪处理，输出降噪后结果给VAE解码器即可。
然后将缩放节点的输出的latent连线到新K采样器的Latent图像中，将新K采样器的输出Latent连线到VAE解码节点的Latent中即可：
最后结果为：原先768x768的图片被放大到了1152x1152
模型放大
-
下载图像高清放大模型：
模型名称 训练数据/类型 核心优势 弱点 推荐场景 4x-UltraSharp.pth 自然图像 + 人工锐化增强 边缘锐化极强，细节纹理清晰 易产生锐化伪影（如金属反光过曝） 建筑/机械/需强线条感的图像 8x_NMKD-Superscale_150000_G.pth 动漫/游戏截图 色彩饱和度高，二次元线条流畅 写实照片易出现卡通化 动漫/插画/像素风游戏素材 BSRGAN.pth 真实场景照片 自然降噪，光影过渡柔和 细节修复偏保守（如发丝模糊） 写实/老照片修复/风景摄影 ESRGAN_4x.pth 通用图像（ESRGAN变体） 平衡细节与真实感，泛化性强 复杂纹理可能混乱（如密集树叶） 日常人像/商品展示图 -
将模型存放到
ComfyUI/models/upscale_models -
添加节点测试：
-
工作流：
Lora控制
一、Lora是什么
百科解释
LoRA（Low-Rank Adaptation，低秩自适应）是一种轻量级模型微调技术。它通过向预训练大模型（如 Stable Diffusion）的权重矩阵中，注入两个可训练的“低秩矩阵”，来高效调整模型行为，实现对特定风格、主题或效果的精细化控制。
通俗理解
想象大模型是一个已经训练好的“万能画家”，而 LoRA 就像是给它加了一个轻巧的“外挂技能包”。无需重新训练整个庞大模型（那样既昂贵又耗时），LoRA 只调整其中极少部分参数（通常小于 0.1%），就能让模型学会新的绘画风格或表现能力。
一句话秒懂 LoRA
LoRA 就是“给大模型打补丁”——你想让训练好的大模型学会一项新技能（比如画国风水墨画），又不想从头训练它，那就用 LoRA 给它贴上一个“知识补丁”，专门教它这点新东西！
二、Lora的作用
环境与风格控制：
通过加载不同风格的 LoRA，可以灵活引导模型输出特定视觉风格的图像。
例如：
- 加载 国风山水 LoRA，生成具有水墨笔触与意境的山水画；
- 加载 Blindbox LoRA，能将平面插画转化为具有 3D 手办质感的立体造型。
角色/物体定制：
可针对特定角色或对象（如动漫人物、产品造型）训练专属 LoRA，固定其特征细节（发型、服装、配饰等），确保在不同场景中保持一致外观。这在影视前期设计、游戏角色设定等场景中尤为重要，能有效避免“人设崩塌”，提高视觉连续性。
例如：如果你创作了一部漫画，主角“小星”有标志性的星形发饰和蓝白配色服装。训练一个“小星角色 LoRA”后，无论在校园、森林还是未来都市中生成她的图像，这些核心特征都能稳定保持，大大提高角色的一致性。
功能增强
-
细节优化
- 例如“皮肤质感 LoRA”，可让人物皮肤更细腻、更具真实感，避免塑料感或模糊纹理。
-
特效融合
- 如“火焰特效 LoRA”、“冰霜特效 LoRA”，能在图像中叠加相应特效元素，增强画面表现力。
三、Lora基本应用
创建基础工作流
-
模型：鬼混
-
正向提示词
masterpiece, High quality, high details, 1girl, solo, Lips, Big eyes, black hair, parted bangs, medium breasts, sleeveless shirt, upper body, looking at viewer, outdoors, nature, forest, Flower, tree, water, city,杰作，高质量，高细节，1个女孩，独照，嘴唇，大眼睛，黑发，分开的刘海，中等胸部，无袖衬衫，上半身，看向观众，户外，自然，森林，花，树，水，城市 -
负向提示词
text,nsfw,watermark -
可适当增加防止坏手提示词：
- 正：
(detailed hands:1.4), (perfect hands:1.2), (fingers:1.2) - 负：
bad anatomy, bad hands, missing fingers, extra fingers, fused fingers, deformed hands, malformed hands, lowres, worst quality
- 正：
k采样器参数：
- 步数：20-30
- cfg：6-8
- 采样器：dpmpp_sde
- 调度器：karras
添加LoRA加载器
添加节点【加载LoRA】：
节点连线：
LoRA模型下载：可以直接在liblib中找寻合适风格的模型
LoRA节点参数
-
模型强度：
- lora模型对基础大模型的影响程度，0完全失效，1影响最大化，如果值为1可能会覆盖基础模型的原始特征（例如将写实风格完全转为二次元）。一般从0.3~0.8开始微调
-
clip强度：
- LoRA对文本提示词（Prompt）的响应灵敏度。数值越高，生成的图像越严格匹配提示词描述；数值越低，模型自由发挥空间越大。
-
因此该节点的两个参数可以调整成0.8。使用二次元古风模型。
lora的触发词
在训练LoRA时，开发者会使用特定关键词作为核心标签，使模型学会将该词与目标风格/角色绑定。生成时输入触发词，相当于告诉模型：“请调用与这个词关联的LoRA知识库”。若无此词，模型可能无法激活对应的微调参数。
注意：一些lora有很多触发词，比如jk制服有衣服，领带两个触发词，仅输入衣服则只启用lora的衣服，不会启用lora的领带。还有一点就是，不是所有lora都需要触发词。要根据模型主页介绍具体查看！
因此，在使用lora后，加上触发词能让lora完全发挥效果。下面可以查看"猫爪_二次元古风唯美女装"模型介绍页：
在提示词中添加LoRA触发词查看效果
-
使用鬼混模型效果不佳，然后使用该lora推荐使用的生图模型：
模型下载地址： https://pan.baidu.com/s/1qIsctqCBunf6Icmg0FIG5Q?pwd=t316 提取码: t316
通过放大模型对生图进行高清放大
添加放大节点组：
连线：【使用模型放大图像】节点的左下角“图像”链接【VAE解码】右侧的“图像”。然后将放大节点组中的【VAE编码】的vae链接【checkpoint加载器】的vae。
复制一个K采样器：ctrl-c和ctrl+shift+v。然后将然后将放大节点组中的VAE编码的Latent链接K采样器左上方的Latent。
K采样器后面添加【VAE解码】节点。链接【K采样器】右侧的Latent和【VAE解码】的Latent
然后将VAE解码的vae链接【checkpoint加载器】的vae。
添加【保存图像】节点，链接【VAE加码】的图像即可。
四、更多LoRA模型
风格类
中式水彩
古风神话
吉卜力风格
https://civitai.com/models/6526/studio-ghibli-style-lora
森林氛围
固定类
汉服
jk制服
功能类
细节增强
局部重绘
专用模型局部重绘
下载修复模型
模型下载链接： https://pan.baidu.com/s/182TWMAlCShvPXZF8rsDu0w?pwd=irj3 提取码: irj3
该局部修复模型是专门用于图像局部内容重新生成的，其作用要比传统生图模型效果好一些。当然下面环节，大家也可以使用传统生图模型进行局部重绘查看和该模型的效果对比。
创建工作流
局部重绘可以基于图生图工作流进行修改实现。先创建图生图工作流：
如果修图的图像想要调整也可以添加一个【缩放图像（比例）】节点，对图像进行放大或者缩小。
将原先的【VAE编码】节点修改为【VAE编码（局部重绘）】节点，因为该节点会有一个“遮罩”的功能。
右击上传好的图像，然后在遮罩编辑器中打开图像：
对要进行重绘部分进行遮罩后保存：
遮罩后效果如下：
查看遮罩效果，可以添加一个【遮罩转换为图像】节点：
遮罩图中白区=重绘，黑区=保留
连线：
-
【VAE编码（局部重绘）】的vae链接【Checkpoint加载器（简易）】的vae
-
【加载图像】的遮罩链接【VAE编码（局部重绘）】的遮罩
-
【VAE编码（局部重绘）】的Latent链接【K采样器】的Labent图像
修改正向提示词：Cream cake on pink tablecloth,Anime style 翻译：蛋糕在粉红色桌子上，卡通风格
修改k采样器参数：
重要参数解释：
-
VAE编码（局部重绘）节点的扩展遮罩参数：
- 白区边缘扩展6像素 → 形成灰阶渐变过渡带。类似羽化，参数建议6
-
K采样器
-
降噪：专用模型用1，若要强制用大模型降噪要稍微降低
-
采样器：
采样器 推荐步数 边缘自然度 细节丰富度 速度排名 建议 uni_pc_bh2 18-25 ⭐⭐⭐⭐☆ ⭐⭐⭐⭐ 1 小范围修改 dpmpp_2m_sde 22-30 ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ 2 超高细节时用 euler_ancestral 20-28 ⭐⭐⭐☆ ⭐⭐⭐⭐ 3 抽卡创意 ddim 25-35 ⭐⭐☆ ⭐⭐⭐ 4 不推荐
-
通用模型局部重绘
该方法对生图模型没有要求，可以使用通用模型。其流程可以基于【专用模型局部重绘】工作流进行修改。
将【VAE编码（局部重绘）】节点替换为【vae编码】+【设置Latent噪波遮罩】
连线1：
连线2：【设置Latent噪波遮罩】的labtent链接【K采样器】的Latent图像
连线3：【VAE编码】的vae链接【Checkpoint加载器（简易）】的vae
连线4：【设置Latent噪波遮罩】的遮罩链接【加载图像】的遮罩
核心参数调整：
- 【Checkpoint加载器（简易）】加载dreamshaper_8模型
- 【K采样器】
- randomize
- 步数：25
- 采样器：dpmpp_2m
- 调度器：karras
- 降噪：因为是图生图，越小越像原图。建议0.7左右。（0.8-1.0重构内容，0.5以下微调）
注意：该方法进行局部重绘主要是对相似内容进行重绘，之前我们把杯子重绘成蛋糕的效果，在该方法下效果就不好了。因此，我们可以对猫脸进行相似重绘。
修改提示词：cat on pink tablecloth,Anime style
对猫脸进行遮罩：
效果：
另一个示例：
给下图女孩肚子重绘毛衣遮挡。
在上面工作流进行如下修改：
- 模型：real写实模型
- 提示词：
White sweater,high details,best quality,award winning,super detail - K采样器：
- 降噪：0.8/0.9
效果：
图像扩展
对花朵下部分进行内容扩展：
基于【专用模型局部重绘】工作流为基础进行实现。
模型选择：512-inpainting
删除【图像缩放节点】
VAE编码换成【vae编码（局部重绘）】
添加【外补画板】节点
- 下：200，表示向图像下方拓展200像素
- 羽化：40
连线：
提示词：
a close-up of a delicate pink rose with velvety petals, reflecting soft ambient light, Dark green-toned light.The background consists of blurred pink roses and green foliage, creating a dreamy and harmonious depth.(soft lighting, dim background, cinematic lighting, realistic shading, gentle contrast, warm tones)
一朵精致的粉玫瑰特写，花瓣如天鹅绒般细腻，反射着柔和的环绕光，整体笼罩在暗绿色调的光线中。背景由虚化的粉玫瑰与绿色枝叶构成，营造出梦幻而和谐的景深感。柔和光照、暗调背景、电影感光线、真实阴影、轻柔对比、暖色调
k采样器参数：
浙公网安备 33010602011771号