基于DiT的身份保持图像生成技术突破

InfiniteYou:在保持身份的同时实现灵活照片重塑

实现灵活且高保真的身份保持图像生成仍然是一项艰巨挑战,特别是在使用如FLUX等先进扩散变换器(DiT)时。本文介绍InfiniteYou(InfU),这是最早利用DiT完成此任务的鲁棒框架之一。

InfU解决了现有方法的显著问题,包括身份相似度不足、文本-图像对齐差、生成质量和美学效果低等。InfU的核心是InfuseNet组件,它通过残差连接将身份特征注入DiT基础模型,在保持生成能力的同时增强身份相似性。

采用多阶段训练策略,包括使用合成单人多样本(SPMS)数据进行预训练和监督微调(SFT),进一步改善了文本-图像对齐度,提升了图像质量,并缓解了人脸复制粘贴问题。大量实验证明,InfU实现了最先进的性能,超越了现有基线方法。

此外,InfU的即插即用设计确保了与各种现有方法的兼容性,为更广泛的研究社区提供了宝贵贡献。

ICCV 2025(亮点论文)。项目页面:https://example.com 代码和模型:https://example.com
更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)或者 我的个人博客 https://blog.qife122.com/
公众号二维码

posted @ 2025-08-25 06:01  CodeShare  阅读(9)  评论(0)    收藏  举报