Day28-lora相关

Lora控制

一、Lora是什么

百科解释
LoRA是一种轻量级模型微调技术。它通过向预训练大模型的权重矩阵中，注入两个可训练的“低秩矩阵”，来高效调整模型行为，实现对特定风格、主题或效果的精细化控制。

二、Lora的作用

环境与风格控制：

通过加载不同风格的 LoRA，可以灵活引导模型输出特定视觉风格的图像。

角色/物体定制：

可针对特定角色或对象（如动漫人物、产品造型）训练专属 LoRA，固定其特征细节（发型、服装、配饰等），确保在不同场景中保持一致外观。这在影视前期设计、游戏角色设定等场景中尤为重要，能有效避免“人设崩塌”，提高视觉连续性。

功能增强

  • 细节优化

    • 例如“皮肤质感 LoRA”，可让人物皮肤更细腻、更具真实感，避免塑料感或模糊纹理。

  • 特效融合

    • 如“火焰特效 LoRA”、“冰霜特效 LoRA”，能在图像中叠加相应特效元素，增强画面表现力。

三、Lora基本应用

创建基础工作流

  • 模型：鬼混

  • 正向提示词

    masterpiece, High quality, high details, 1girl, solo, Lips, Big eyes, black hair, parted bangs, medium breasts, sleeveless shirt, upper body, looking at viewer, outdoors, nature, forest, Flower, tree, water, city,

  • 负向提示词

    text,nsfw,watermark

可以将降噪参数修改为0.7

image-20260123090515509

添加LoRA加载器

添加节点【加载LoRA】：

image-20260123090939434

节点连线：

image-20260123091419360

LoRA模型下载：可以直接在liblib中找寻合适风格的模型

LoRA节点参数

  • 模型强度：

    • lora模型对基础大模型的影响程度，0完全失效，1影响最大化，如果值为1可能会覆盖基础模型的原始特征（例如将写实风格完全转为二次元）。一般从0.3~0.8开始微调

  • clip强度：

    • LoRA对文本提示词（Prompt）的响应灵敏度。数值越高，生成的图像越严格匹配提示词描述；数值越低，模型自由发挥空间越大。

  • 因此该节点的两个参数可以调整成0.8。使用二次元古风模型。

    image-20260123092555841

lora的触发词

在训练LoRA时，开发者会使用特定关键词作为核心标签，使模型学会将该词与目标风格/角色绑定。生成时输入触发词，相当于告诉模型：“请调用与这个词关联的LoRA知识库”。若无此词，模型可能无法激活对应的微调参数。

因此，在使用lora后，加上触发词能让lora完全发挥效果。下面可以查看"猫爪_二次元古风唯美女装"模型介绍页：

在提示词中添加LoRA触发词查看效果

image-20260123093854096

通过放大模型对生图进行高清放大

添加放大节点组：

image-20260123100154970

连线：【使用放大模型放大图像】节点的左下角“图像”链接【VAE解码】右侧的“图像”。然后将放大节点组中的【VAE编码】的vae链接【checkpoint加载器】的vae。

复制一个K采样器：ctrl-c和ctrl+shift+v。然后将然后将放大节点组中的【VAE编码】的Latent链接【K采样器】左上方的Latent。

image-20260123100250705

K采样器后面添加【VAE解码】节点。链接K采样器右侧的Latent和VAE解码的Latent

image-20260123095845529

然后将VAE解码的vae链接【checkpoint加载器】的vae。

添加【保存图像】节点，链接【VAE加码】的图像即可。

image-20260123100011482

四、更多LoRA模型

风格类

中式美学

https://www.liblib.art/modelinfo/93408216607c4608829a0b811185f8c3?from=search&versionUuid=67717646f4f74c9cb658b56253a62ae5

中式水彩

https://www.liblib.art/modelinfo/405bc85c1eff43b2be66d3fdc32dd757?from=search&versionUuid=38e90e6fec7c4877b1cffa25b7d57dcc

古风神话

https://www.liblib.art/modelinfo/2e37e763573142e3bfd6a3545f795f8f?from=search&versionUuid=7053dd6faad54e869bb67be2d0e699b8

吉卜力风格

https://civitai.com/models/6526/studio-ghibli-style-lora

森林氛围

https://www.liblib.art/modelinfo/adc1ee41d182444abb6427079ded3592?from=search&versionUuid=ed701673c39e42c9ad63fdb970e851a5

固定类

小说推文

https://www.liblib.art/modelinfo/5e52788c22ec465f923d6c405809d98f?from=search&versionUuid=f508d7c863404c78bb51204dc3196919

刘亦菲

https://www.liblib.art/modelinfo/195741615d59468fa0b4ff5894356729?from=search&versionUuid=c13ce08348cc459faf82ceb01534c951

少女脸型

https://www.liblib.art/modelinfo/f2f8ee483e2d46278c3be82f5713e9b3?from=search&versionUuid=6c460114f2834dc0b49568ef6ea63b47

汉服

https://www.liblib.art/modelinfo/bc934d47ea2c45a488d0cc38fdcfe273?from=feed&versionUuid=525dca0cc11a4a2d844c17054a5a9b32&rankExpId=RVIyX0wyI0VHMTEjRTE3X0wzI0VHMjAjRTMw

jk制服

https://www.liblib.art/modelinfo/a524d2c0bff89337dc5c7b121ddd3aa1?from=feed&versionUuid=ac001a05b222b81bfac815ffc387af5a

功能类

细节增强

https://www.liblib.art/modelinfo/d85a805f758f4117815e9d3d9bc9ea03?from=search&versionUuid=d41f62255b0143279533c39915af9952

五、图像修复

相关修复节点下载安装

加载【脸部修复.json】工作流

在Manager中选择Install Missing Custom Nodes

下载下面节点：

image-20260123112616064

最后重新加载工作流，如果只出现下面提示信息，则表示节点安装完毕：

image-20260123140219554

图像局部修复实操

创建图生图工作流

image-20260123143129194

添加【FaceDetailer】节点

核心面部修复和增强节点

image-20260123143224098

添加【UltralyticsDetectorProvider】检测加载器节点

该检测加载器使用来加载检测模型的，用于检测脸部、手部或者身体等位置像素

image-20260123143409097

检测模型存放位置：ComfyUI\models\ultralytics

检测模型下载：https://huggingface.co/Bingsu/adetailer/tree/main

检测模型资料：

  • face_*：专用面部检测与细化（如关键点定位、皮肤修复）
  • hand_*：手部检测（与面部无关）
  • person_*：人体检测（带 seg 后缀，如 person_yolov8s-seg.pt)
  • deepfashion2_*：服装检测（时尚/电商场景）

    • 为通配符可以表示：n、s、m和c

    • n：

      • 体积最小（如 face_yolov8n.pt 仅6.23MB）
      • 速度最快，精度最低：适合移动端/低算力设备（如手机、树莓派）
      • 用例：实时基础面部检测，对精度要求不高的场景

    • s：

      • 平衡型（如 face_yolov8s.pt 约22.5MB）
      • 速度与精度均衡：通用场景首选（如普通桌面应用）
      • 用例：大多数面部细化任务的性价比选择

    • m：

      • 高性能（如 face_yolov8m.pt 约52MB）
      • 精度更高，速度较慢：需中高端GPU支持
      • 用例：专业图像处理，对细节要求高的场景（如高清修图/影视后期）

    • c：

      • 截图中代表更大规模变体（如 face_yolov9c.pt 约51.6MB）
      • 精度更高但资源消耗大：需较强算力支持

面部细化优先选择：

  • 基础需求 → face_yolov8n_v2.pt（体积小，速度快）
  • 质量优先 → face_yolov8s.pt（精度与速度平衡）
  • 专业需求 → face_yolov8m.pt（需GPU支持）

添加【SAMLoader】SAM加载器节点

image-20260123143521062

该加载器是用来加载SAM分割模型的，其作用就是对检测到的人脸/手部等进行像素级精确分割，并且能准确分割出面部轮廓，包括头发、耳朵、手指等等复杂边缘。

模型文件下载地址：https://pan.baidu.com/s/1Wk-9gUcuS46rJfCL9DQcOg?pwd=3k5p 提取码: 3k5p

模型安装路径：ComfyUI-aki-v1.7\ComfyUI\models\sams如果没有sams文件夹则新建一个即可！

这三个 SAM（Segment Anything Model）模型是不同大小的版本，适用于不同的使用场景。

image-20260123152036216

模型名称 参数量 模型大小 精度等级 速度 显存占用
sam_vit_b_01ec64.pth 9100万 ~375MB 基础 最快 最低
sam_vit_h_4b8939.pth 6.36亿 ~2.56GB 高 中等 高
sam_vit_l_0b3195.pth 3.09亿 ~1.25GB 中等 快 中等

其他节点和连线

image-20260123155247918

修复节点整体和图生图工作流连线

image-20260123153016767

基于lumi-Batcher找寻最优参数

提示词可以适当增加关于手部的描述

检测模型和SAM模型选择

下图中重点参数选择

image-20260123155458187

posted @ 2026-01-30 19:10  凫弥  阅读(5)  评论(0)    收藏  举报