Creative Image Generation with Diffusion Model
Creative Image Generation with Diffusion Models 论文总结
Song K., Elgammal A. — Rutgers University
核心思想:当前 T2I 扩散模型在分布内训练、用 FID/IS 评估,本质偏向"典型"输出。本文不重训模型、不加新数据,而是在冻结的 CLIP 嵌入空间里,把当前图像嵌入主动推向低概率尾部,同时用两道 Pullback 守住语义和质量。
1. 一句话贡献
把"创造力"操作化为 在图像嵌入空间中走向低概率区域:用扩散先验采样一个局部高斯,再用梯度下降把当前嵌入往这个高斯的尾部推,靠 Anchor Loss 和多模态大模型检查器保证不跑飞。
2. 理论根基
| 概念 | 论文做法 |
|---|---|
| Berlyne 唤醒理论 | 审美唤醒来自新奇、惊异、复杂、模糊(collative variables) |
| Wundt 曲线 | 人偏好中等唤醒——太典型则无聊,过度偏离则厌恶 |
| 新颖性量化 | AP_novelty(x; M) = − log P(x; M),即越罕见的图像新颖性越高 |
| 质量/创造力权衡 | 推向尾部会掉质量 → 必须设计 Pullback 机制 |
3. 方法三阶段
- Prior Distribution Sampling:对正向提示 P_pos,用扩散先验采样 5000 个图像嵌入 e,PCA 降维后拟合局部高斯 Ĝ。
- Creative Optimization:冻结主干,只训练 token 嵌入和 LoRA,最小化 log Ĝ(ẽ) 把嵌入推向尾区。
- Pullback 守门:
- Anchor Loss:CLIP 余弦相似度锚定 P_pos,动态阈值策略;
- MLLM Checker:每隔几步用 LLaVA / Janus 问"这还是 X 吗?",No 即终止。
- 可选 负簇建模:对不讨喜方向拟负高斯 Ĝ_neg,加项 −α·log Ĝ_neg(ẽ) 把模型推开。
总损失(三项相加):
L = log Ĝ(ẽ) ← creative loss:推向低概率尾区
+ (−α · log Ĝ_neg(ẽ)) ← negative cluster:推开不讨喜方向
+ L_anchor ← pullback:CLIP 余弦锚定,防止跑飞
4. 按第六节实现细节复现
以下伪代码基于论文 Sec.6 + Appendix S2 的超参数,以 diffusers + PyTorch 风格组织,所有数字均来自论文。
4.1 环境与基座
论文在 Kandinsky 2.1 官方实现上做实验,使用其扩展文本编码器。
import torch
import numpy as np
from sklearn.decomposition import PCA
DEVICE = "cuda" # 单卡 NVIDIA A100
DTYPE = torch.float16
# Kandinsky 2.1 = 文本编码器 φ + 扩散先验 εθ + 扩散 UNet 解码器
# prior: 文本嵌入 -> 图像嵌入 e ∈ R^768
# unet : e + 噪声 -> 图像
from diffusers import KandinskyV22PriorPipeline, KandinskyV22Pipeline
prior = KandinskyV22PriorPipeline.from_pretrained(
"kandinsky-community/kandinsky-2-1-prior", torch_dtype=DTYPE
).to(DEVICE)
decoder = KandinskyV22Pipeline.from_pretrained(
"kandinsky-community/kandinsky-2-1-decoder", torch_dtype=DTYPE
).to(DEVICE)
4.2 阶段一:先验分布采样 + PCA + 高斯拟合
论文超参:5000 个嵌入、diffusion step = 5、batch size = 500、<1 分钟完成;
PCA 从 768 维降到 k=50(保留 >95% 方差)。
@torch.no_grad()
def sample_prior_embeddings(prompt_pos: str, n_samples: int = 5000,
batch_size: int = 500, num_inference_steps: int = 5):
"""用 P_pos 从扩散先验采样 n_samples 个图像嵌入 e ∈ R^768。"""
embs = []
for _ in range(n_samples // batch_size):
out = prior(
prompt=prompt_pos,
num_inference_steps=num_inference_steps, # = 5
num_images_per_prompt=batch_size,
)
embs.append(out.image_embeds.cpu().float()) # [B, 768]
return torch.cat(embs, dim=0) # [5000, 768]
def fit_prior_gaussian(embeddings_768: np.ndarray, k: int = 50):
"""PCA 降到 50 维,再闭式拟合多元高斯 Ĝ。论文:>95% 方差保留。"""
pca = PCA(n_components=k)
e_pca = pca.fit_transform(embeddings_768) # [5000, 50]
mu = e_pca.mean(axis=0) # 均值 [50]
cov = np.cov(e_pca, rowvar=False) + 1e-4 * np.eye(k)
return pca, mu, cov
# —— 实际跑 ——
emb = sample_prior_embeddings("a photo of a vehicle") # [5000, 768]
pca, mu, cov = fit_prior_gaussian(emb.numpy(), k=50)
# 预计算高斯精度矩阵,后面 log-prob 直接用
precision = np.linalg.inv(cov)
4.3 阶段二:构造可训练参数(token 嵌入 + LoRA rank=10)
论文:只训练 token 嵌入和扩散先验上的 LoRA,主干全程冻结;LoRA rank=10。
from peft import LoraConfig, get_peft_model
# 1) 给扩散先验挂 LoRA(rank=10)
lora_cfg = LoraConfig(
r=10, lora_alpha=10,
target_modules=["to_q", "to_k", "to_v", "to_out.0"], # UNet attention
lora_dropout=0.0, bias="none",
)
prior_trainable = get_peft_model(prior, lora_cfg)
# 冻结全部,只放开 LoRA 参数
for p in prior_trainable.parameters():
p.requires_grad_(False)
for n, p in prior_trainable.named_parameters():
if "lora_" in n:
p.requires_grad_(True)
# 2) 额外可训练的"创意 token"嵌入(初始化为默认主体词的嵌入)
# 论文:token 初始化为默认主体词;LoRA A 随机初始化、B 零初始化
creative_token_emb = None # 从 φ("vehicle") 取初始向量,设 requires_grad=True
4.4 阶段二:创意优化主循环
论文超参:AdamW、lr=1e-4、batch size=1、最多 1000 步;每 25 步跑一次 MLLM 检查;前 50 步内出创意。
import torch.nn.functional as F
def log_gauss(e_pca: torch.Tensor, mu, prec) -> torch.Tensor:
"""在 PCA 空间里算 log N(e; mu, cov)(常数项略去)。"""
diff = e_pca - mu
return -0.5 * (diff @ prec @ diff.T).diag()
def anchor_loss(e: torch.Tensor, e_pos: torch.Tensor) -> torch.Tensor:
"""L_anchor = 1 - cosine(e, φ(P_pos))。"""
return 1 - F.cosine_similarity(e, e_pos, dim=-1).mean()
# 优化器:对 token 嵌入 + LoRA 参数一起,AdamW lr=1e-4
params = [creative_token_emb] + [p for p in prior_trainable.parameters() if p.requires_grad]
opt = torch.optim.AdamW(params, lr=1e-4)
e_pos = torch.tensor(mu, device=DEVICE, dtype=DTYPE) # 锚点 = 先验均值
ANCHOR_THRESHOLD = 0.3 # 动态阈值:anchor 损失低于此就换新 seed
for step in range(1000): # 最多 1000 步
opt.zero_grad()
# 1) 当前优化状态 -> 扩散先验 -> 图像嵌入 e ∈ R^768
e = prior_trainable(
inputs_embeds=creative_token_emb.unsqueeze(0),
).image_embeds.squeeze(0) # [768]
# 2) PCA 投影到 50 维
e_pca = (e.detach().cpu().numpy() - pca.mean_) @ pca.components_.T
e_pca = torch.tensor(e_pca, device=DEVICE, dtype=DTYPE, requires_grad=True)
# 3) 创意损失 = log Ĝ(ẽ),最小化它 = 把 e 推向低概率尾区
L_creative = log_gauss(e_pca, mu, precision)
# 4) Anchor Loss(CLIP 余弦)
L_anchor = anchor_loss(e, e_pos)
# 5) 可选:负簇损失 L_neg = -α · log Ĝ_neg(ẽ)
# L_neg = -alpha * log_gauss(e_pca, mu_neg, prec_neg)
loss = L_creative + L_anchor # + L_neg
loss.backward()
opt.step()
# 6) 动态 Pullback:anchor 损失太小说明跑到新 seed,换新 seed;
# anchor 太大说明离题,本 seed 内继续用 anchor 拉回。
if L_anchor.item() < ANCHOR_THRESHOLD:
creative_token_emb = init_fresh_token() # 换新 seed
# 7) 每 25 步:渲染一张图,问 MLLM"这还是 {subject} 吗?"
if step % 25 == 0 and step > 0:
img = decoder(image_embeds=e.unsqueeze(0)).images[0]
verdict = mllm_yes_no(img, prompt="Is this still a vehicle? Yes or No.")
if verdict == "No":
break # 出界,终止本试验
4.5 MLLM Checker(每 25 步调用一次)
论文用 Janus-1.3B(DeepSeek-AI)或 LLaVA-Next 二选一。
def mllm_yes_no(image, prompt: str) -> str:
"""周期性语义闸门:Yes 继续优化,No 终止试验。"""
# from transformers import AutoProcessor, AutoModelForCausalLM
# processor = AutoProcessor.from_pretrained("deepseek-ai/Janus-1.3B")
# mllm = AutoModelForCausalLM.from_pretrained("deepseek-ai/Janus-1.3B").to(DEVICE)
# 或 LLaVA-Next
inputs = processor(images=image, text=prompt, return_tensors="pt").to(DEVICE)
out = mllm.generate(**inputs, max_new_tokens=3)
ans = processor.decode(out[0], skip_special_tokens=True).strip().lower()
return "Yes" if ans.startswith("yes") else "No"
4.6 推理阶段渲染
@torch.no_grad()
def render(e_pca_50: np.ndarray):
# 50 维 -> 反 PCA 回 768 维
e_768 = e_pca_50 @ pca.components_ + pca.mean_
e_768 = torch.tensor(e_768, device=DEVICE, dtype=DTYPE)
img = decoder(image_embeds=e_768.unsqueeze(0),
num_inference_steps=50).images[0]
return img
5. 关键超参数速查(全部来自 Sec.6 + Appendix S2)
| 阶段 | 超参 | 取值 |
|---|---|---|
| 先验采样 | 样本数 | 5,000 |
| 先验采样 | diffusion step | 5 |
| 先验采样 | batch size | 500 |
| 先验采样 | 耗时 | < 1 分钟 |
| 降维 | PCA k | 50(保留 >95% 方差) |
| 创意优化 | 硬件 | 单卡 A100 |
| 创意优化 | 最大步数 | 1,000 |
| 创意优化 | batch size | 1 |
| 创意优化 | 优化器 | AdamW |
| 创意优化 | 学习率 | 1e-4 |
| 可训练参数 | token 嵌入 | 初始化为默认主体词 |
| 可训练参数 | LoRA rank | 10 |
| MLLM 检查 | 间隔 | 每 25 步 |
| MLLM 模型 | Janus-1.3B / LLaVA-Next | 二选一 |
| 出创意速度 | 前 ~50 步 / <2 分钟 | 即出现 |
6. 实验结论(一句话版)
- 收敛快:ConceptLab 要 ~300 轮才出创意,本方法第 1 轮就有;
- 人类偏好:8 类主体里 7 类多数偏好本方法,外星人 70.8%、车辆 75%,仅恐龙 47.5% vs 44.3% 接近持平;
- 消融:直接优化图像嵌入 e 会崩画质;优化 Subject token 不稳;Adjective token 易收敛到"鲜艳多彩";LoRA 概念空间最优;
- 双 Pullback 缺一不可:去掉 MLLM 后 CLIP 会被对抗欺骗(主体变人但画面里仍画小水果)。
7. 项目主页
代码与更多样例见 creative-t2i.github.io。
本文来自博客园,作者:来杯whiskey,转载请注明原文链接:https://www.cnblogs.com/zjin/p/23545645

浙公网安备 33010602011771号