Creative Image Generation with Diffusion Model

Creative Image Generation with Diffusion Models 论文总结

Song K., Elgammal A. — Rutgers University
核心思想:当前 T2I 扩散模型在分布内训练、用 FID/IS 评估,本质偏向"典型"输出。本文不重训模型、不加新数据,而是在冻结的 CLIP 嵌入空间里,把当前图像嵌入主动推向低概率尾部,同时用两道 Pullback 守住语义和质量。


1. 一句话贡献

把"创造力"操作化为 在图像嵌入空间中走向低概率区域:用扩散先验采样一个局部高斯,再用梯度下降把当前嵌入往这个高斯的尾部推,靠 Anchor Loss 和多模态大模型检查器保证不跑飞。


2. 理论根基

概念 论文做法
Berlyne 唤醒理论 审美唤醒来自新奇、惊异、复杂、模糊(collative variables)
Wundt 曲线 人偏好中等唤醒——太典型则无聊,过度偏离则厌恶
新颖性量化 AP_novelty(x; M) = − log P(x; M),即越罕见的图像新颖性越高
质量/创造力权衡 推向尾部会掉质量 → 必须设计 Pullback 机制

3. 方法三阶段

  1. Prior Distribution Sampling:对正向提示 P_pos,用扩散先验采样 5000 个图像嵌入 e,PCA 降维后拟合局部高斯 Ĝ。
  2. Creative Optimization:冻结主干,只训练 token 嵌入和 LoRA,最小化 log Ĝ(ẽ) 把嵌入推向尾区。
  3. Pullback 守门:
    • Anchor Loss:CLIP 余弦相似度锚定 P_pos,动态阈值策略;
    • MLLM Checker:每隔几步用 LLaVA / Janus 问"这还是 X 吗?",No 即终止。
    • 可选 负簇建模:对不讨喜方向拟负高斯 Ĝ_neg,加项 −α·log Ĝ_neg(ẽ) 把模型推开。

总损失(三项相加):

L = log Ĝ(ẽ) ← creative loss:推向低概率尾区
+ (−α · log Ĝ_neg(ẽ)) ← negative cluster:推开不讨喜方向
+ L_anchor ← pullback:CLIP 余弦锚定,防止跑飞


4. 按第六节实现细节复现

以下伪代码基于论文 Sec.6 + Appendix S2 的超参数,以 diffusers + PyTorch 风格组织,所有数字均来自论文。

4.1 环境与基座

论文在 Kandinsky 2.1 官方实现上做实验,使用其扩展文本编码器。

import torch
import numpy as np
from sklearn.decomposition import PCA

DEVICE = "cuda"   # 单卡 NVIDIA A100
DTYPE  = torch.float16

# Kandinsky 2.1 = 文本编码器 φ + 扩散先验 εθ + 扩散 UNet 解码器
# prior: 文本嵌入 -> 图像嵌入 e ∈ R^768
# unet : e + 噪声 -> 图像
from diffusers import KandinskyV22PriorPipeline, KandinskyV22Pipeline

prior = KandinskyV22PriorPipeline.from_pretrained(
    "kandinsky-community/kandinsky-2-1-prior", torch_dtype=DTYPE
).to(DEVICE)
decoder = KandinskyV22Pipeline.from_pretrained(
    "kandinsky-community/kandinsky-2-1-decoder", torch_dtype=DTYPE
).to(DEVICE)

4.2 阶段一:先验分布采样 + PCA + 高斯拟合

论文超参:5000 个嵌入、diffusion step = 5、batch size = 500、<1 分钟完成;
PCA 从 768 维降到 k=50(保留 >95% 方差)。

@torch.no_grad()
def sample_prior_embeddings(prompt_pos: str, n_samples: int = 5000,
                            batch_size: int = 500, num_inference_steps: int = 5):
    """用 P_pos 从扩散先验采样 n_samples 个图像嵌入 e ∈ R^768。"""
    embs = []
    for _ in range(n_samples // batch_size):
        out = prior(
            prompt=prompt_pos,
            num_inference_steps=num_inference_steps,   # = 5
            num_images_per_prompt=batch_size,
        )
        embs.append(out.image_embeds.cpu().float())   # [B, 768]
    return torch.cat(embs, dim=0)                     # [5000, 768]


def fit_prior_gaussian(embeddings_768: np.ndarray, k: int = 50):
    """PCA 降到 50 维,再闭式拟合多元高斯 Ĝ。论文:>95% 方差保留。"""
    pca = PCA(n_components=k)
    e_pca = pca.fit_transform(embeddings_768)          # [5000, 50]

    mu  = e_pca.mean(axis=0)                          # 均值 [50]
    cov = np.cov(e_pca, rowvar=False) + 1e-4 * np.eye(k)
    return pca, mu, cov


# —— 实际跑 ——
emb = sample_prior_embeddings("a photo of a vehicle")   # [5000, 768]
pca, mu, cov = fit_prior_gaussian(emb.numpy(), k=50)

# 预计算高斯精度矩阵,后面 log-prob 直接用
precision = np.linalg.inv(cov)

4.3 阶段二:构造可训练参数(token 嵌入 + LoRA rank=10)

论文:只训练 token 嵌入和扩散先验上的 LoRA,主干全程冻结;LoRA rank=10。

from peft import LoraConfig, get_peft_model

# 1) 给扩散先验挂 LoRA(rank=10)
lora_cfg = LoraConfig(
    r=10, lora_alpha=10,
    target_modules=["to_q", "to_k", "to_v", "to_out.0"],   # UNet attention
    lora_dropout=0.0, bias="none",
)
prior_trainable = get_peft_model(prior, lora_cfg)

# 冻结全部,只放开 LoRA 参数
for p in prior_trainable.parameters():
    p.requires_grad_(False)
for n, p in prior_trainable.named_parameters():
    if "lora_" in n:
        p.requires_grad_(True)

# 2) 额外可训练的"创意 token"嵌入(初始化为默认主体词的嵌入)
#    论文:token 初始化为默认主体词;LoRA A 随机初始化、B 零初始化
creative_token_emb = None   # 从 φ("vehicle") 取初始向量,设 requires_grad=True

4.4 阶段二:创意优化主循环

论文超参:AdamW、lr=1e-4、batch size=1、最多 1000 步;每 25 步跑一次 MLLM 检查;前 50 步内出创意。

import torch.nn.functional as F

def log_gauss(e_pca: torch.Tensor, mu, prec) -> torch.Tensor:
    """在 PCA 空间里算 log N(e; mu, cov)(常数项略去)。"""
    diff = e_pca - mu
    return -0.5 * (diff @ prec @ diff.T).diag()

def anchor_loss(e: torch.Tensor, e_pos: torch.Tensor) -> torch.Tensor:
    """L_anchor = 1 - cosine(e, φ(P_pos))。"""
    return 1 - F.cosine_similarity(e, e_pos, dim=-1).mean()


# 优化器:对 token 嵌入 + LoRA 参数一起,AdamW lr=1e-4
params = [creative_token_emb] + [p for p in prior_trainable.parameters() if p.requires_grad]
opt = torch.optim.AdamW(params, lr=1e-4)

e_pos = torch.tensor(mu, device=DEVICE, dtype=DTYPE)   # 锚点 = 先验均值
ANCHOR_THRESHOLD = 0.3                                 # 动态阈值:anchor 损失低于此就换新 seed

for step in range(1000):                               # 最多 1000 步
    opt.zero_grad()

    # 1) 当前优化状态 -> 扩散先验 -> 图像嵌入 e ∈ R^768
    e = prior_trainable(
        inputs_embeds=creative_token_emb.unsqueeze(0),
    ).image_embeds.squeeze(0)                          # [768]

    # 2) PCA 投影到 50 维
    e_pca = (e.detach().cpu().numpy() - pca.mean_) @ pca.components_.T
    e_pca = torch.tensor(e_pca, device=DEVICE, dtype=DTYPE, requires_grad=True)

    # 3) 创意损失 = log Ĝ(ẽ),最小化它 = 把 e 推向低概率尾区
    L_creative = log_gauss(e_pca, mu, precision)

    # 4) Anchor Loss(CLIP 余弦)
    L_anchor = anchor_loss(e, e_pos)

    # 5) 可选:负簇损失 L_neg = -α · log Ĝ_neg(ẽ)
    # L_neg = -alpha * log_gauss(e_pca, mu_neg, prec_neg)

    loss = L_creative + L_anchor                       # + L_neg
    loss.backward()
    opt.step()

    # 6) 动态 Pullback:anchor 损失太小说明跑到新 seed,换新 seed;
    #    anchor 太大说明离题,本 seed 内继续用 anchor 拉回。
    if L_anchor.item() < ANCHOR_THRESHOLD:
        creative_token_emb = init_fresh_token()        # 换新 seed

    # 7) 每 25 步:渲染一张图,问 MLLM"这还是 {subject} 吗?"
    if step % 25 == 0 and step > 0:
        img = decoder(image_embeds=e.unsqueeze(0)).images[0]
        verdict = mllm_yes_no(img, prompt="Is this still a vehicle? Yes or No.")
        if verdict == "No":
            break                                      # 出界,终止本试验

4.5 MLLM Checker(每 25 步调用一次)

论文用 Janus-1.3B(DeepSeek-AI)或 LLaVA-Next 二选一。

def mllm_yes_no(image, prompt: str) -> str:
    """周期性语义闸门:Yes 继续优化,No 终止试验。"""
    # from transformers import AutoProcessor, AutoModelForCausalLM
    # processor = AutoProcessor.from_pretrained("deepseek-ai/Janus-1.3B")
    # mllm = AutoModelForCausalLM.from_pretrained("deepseek-ai/Janus-1.3B").to(DEVICE)
    # 或 LLaVA-Next
    inputs = processor(images=image, text=prompt, return_tensors="pt").to(DEVICE)
    out = mllm.generate(**inputs, max_new_tokens=3)
    ans = processor.decode(out[0], skip_special_tokens=True).strip().lower()
    return "Yes" if ans.startswith("yes") else "No"

4.6 推理阶段渲染

@torch.no_grad()
def render(e_pca_50: np.ndarray):
    # 50 维 -> 反 PCA 回 768 维
    e_768 = e_pca_50 @ pca.components_ + pca.mean_
    e_768 = torch.tensor(e_768, device=DEVICE, dtype=DTYPE)
    img = decoder(image_embeds=e_768.unsqueeze(0),
                  num_inference_steps=50).images[0]
    return img

5. 关键超参数速查(全部来自 Sec.6 + Appendix S2)

阶段 超参 取值
先验采样 样本数 5,000
先验采样 diffusion step 5
先验采样 batch size 500
先验采样 耗时 < 1 分钟
降维 PCA k 50(保留 >95% 方差)
创意优化 硬件 单卡 A100
创意优化 最大步数 1,000
创意优化 batch size 1
创意优化 优化器 AdamW
创意优化 学习率 1e-4
可训练参数 token 嵌入 初始化为默认主体词
可训练参数 LoRA rank 10
MLLM 检查 间隔 每 25 步
MLLM 模型 Janus-1.3B / LLaVA-Next 二选一
出创意速度 前 ~50 步 / <2 分钟 即出现

6. 实验结论(一句话版)

  • 收敛快:ConceptLab 要 ~300 轮才出创意,本方法第 1 轮就有;
  • 人类偏好:8 类主体里 7 类多数偏好本方法,外星人 70.8%、车辆 75%,仅恐龙 47.5% vs 44.3% 接近持平;
  • 消融:直接优化图像嵌入 e 会崩画质;优化 Subject token 不稳;Adjective token 易收敛到"鲜艳多彩";LoRA 概念空间最优;
  • 双 Pullback 缺一不可:去掉 MLLM 后 CLIP 会被对抗欺骗(主体变人但画面里仍画小水果)。

7. 项目主页

代码与更多样例见 creative-t2i.github.io。

posted @ 2026-11-04 11:16  来杯whiskey  阅读(18)  评论(0)    收藏  举报