MOSS-Image-Base:能写长段中文,也能按布局生图

OpenMOSS 开源了图像生成模型 MOSS-Image-Base,以及在它基础上微调的 MOSS-Image-SFT。这组模型能生成写实、动漫等风格的图片,也把中英文长文字和画面布局作为重点:一张图里可以有完整的说明文字,标题、人物和其他元素的位置也能提前指定。

这两项能力放在一起,适合用来生成海报、信息图和带文字说明的画面。模型需要画好主体,也要把文字写出来,让不同内容在一张图里有序排列。文字一长、元素一多,生图的难度就跟着增加了。

一整段中文,也能出现在画面里

项目展示的图片里,一位人物站在白板前,身后写着 MOSS-Image 的技术路线和模型特点。板书中有中文、英文缩写,也有分行和编号。人物、白板和多行手写文字出现在同一幅画面里。

图中能看到,模型把一整段文字放进了具体场景。字要随着白板的角度排列,笔画带有手写感,人物还遮住了部分板书。这比在空白背景上放一个短标题多了几层要求:既要保留文字内容,也要让它和周围的画面协调。

对于讲解板、图文海报这类图片,文字本身就是画面的一部分。短标题通常只有几个字,整段说明却包含连续的信息,少一个词、漏掉一行,都可能影响理解。随着字数增加,模型还得处理段落之间的关系,以及文字与人物、插图之间的空间。

为了解长文字的表现,研究团队设计了 LongLongTextBench,简称 LLTB。测试包含 240 个中英文文学文本渲染任务,两种语言各 120 个,再按正文长度分为三档。每个任务的目标文本平均约 1340 个字符,已经接近需要整页呈现的文字量。

MOSS-Image 在 LLTB 上的 Mean-6 得分为 96.3%,在报告列出的开放权重模型中最高;最长中文组的成绩为92.4%。图中也列出了其他模型在各个长度档位的结果,可以看到长文字条件下的表现差异。

最长中文组的分数仍低于其他部分分组。即使已经能把大段文字写进图片,字数继续增加时,模型依然会遇到错漏。白板样图展示了长文字与画面结合的效果,分组成绩则给出了更完整的表现范围。

画面里的位置,可以提前安排

MOSS-Image-Base 的另一项能力是 Layout 布局控制。除了描述“画什么”,还可以告诉模型“放在哪里”:标题占上方多大一块区域,人物在左边还是右边,几段文字之间留出多少空间。

这些安排可以写在一份 JSON 中。里面既有整张图的描述,也有文字原文、物体外观和各自的位置框。模型读取后,按这些条件生成画面。项目目前把这种输入方式标为实验性功能。

图中的蓝色机器人、橙色方块和绿色盆栽分别对应不同的位置框。框的位置和大小交代了物体如何摆放,场景描述则补充颜色、外观和环境。整张图既包含文字说明,也包含物体示意,布局要求贯穿其中。

放到海报上,这项能力就比较容易理解了。活动名称放在顶部,人物放在一侧,时间和地点排在另一侧,这些都能在生成前交代清楚。比起只说“排版整齐”,模型得到的是各部分内容及其具体安排。

布局还能随着内容一起修改。更换标题,移动人物,或者调整一段文字的位置后,模型可以按新的安排再生成一版。这里改的是生图前的描述,出图时仍会重新生成整张画面;直接拿一张现成图片只改局部,还属于另一类图像编辑任务。

文字和布局,模型是怎么学会的

技术报告中的架构图,把 MOSS-Image 的工作过程画了出来。左边先整理文字需求和布局,中间的扩散模型负责生成,最后得到海报、信息图或界面效果图。右边展开了生成模型内部的注意力与前馈网络。

MOSS-Image-Base 使用从头预训练的 5B 单流扩散 Transformer,简称 DiT。文本编码器采用 Qwen3.5-9B,图像编解码组件采用 FLUX.2 VAE。

文字描述先转成文本特征,与图像特征一起进入生成主干,模型再通过多步去噪逐渐形成画面,最后解码成图片。

关键澄清

“单流”可以结合图来看:文字和图像的特征在同一套 Transformer 中共同处理。

描述中的物体、要写出的文字,以及它们的位置,都需要在生成过程中与画面对应起来。5B 指的是图像生成主干,文本编码器等组件也属于完整流程的一部分。

●单流=文本与图像特征在同一套 Transformer 里共同处理。

●5B 只指图像生成主干,文本编码器与 VAE 属于完整链路。

●物体、要写的字、它们的位置,都要在生成时与画面对应。

这种能力与训练时怎样描述图片有关。团队为图片准备了不同详细程度的说明:有的只用一句话概括主体,有的写出构图、环境和可见文字。部分图片还配有结构化标注,记录文字内容、物体位置及排版属性。

训练标注有三个层次:第一,简短描述,一句话概括画面主体;第二,详细描述,涵盖构图、环境、可见文字;第三,结构化标注,以字段形式记录文字内容、物体位置、排版属性。

换行也保留在标注里。同样一段文字,分成两行还是五行,在图片上会占据不同的空间。如果标注只记录字词,模型就少了一部分排版信息;把行结构一起保留下来,模型学到的内容便更接近图片上的实际排列。

团队还分阶段提高训练分辨率和文本长度。模型最终支持最长 4096 tokens 的文本输入,能容纳更详细的画面描述与布局。

自然语言和 JSON 布局共用文本输入通道,所以普通场景描述与结构化的排版要求都能交给同一个生成模型处理。

统一输入通道

两类输入经由同一文本通道进入 DiT,无需切换模型。

架构图左侧的提示词增强模块,则负责把简短需求展开。例如只有一个信息图主题时,外部语言模型会进一步整理内容和构图,再交给生成器。这是完整系统的一部分;单独加载 Base 权重时,生成模型接收的仍是已经准备好的文字或布局。

也能生成写实和动漫画面

项目公开的系列样图中,还有城市夜景、室内场景、动漫人物、雕塑和手绘风格作品。

不同风格需要处理的细节也不同。夜景中的灯光和反射、室内物体的材质,与动漫画面里的线条和色块,都是这些样图展示的内容。前面的白板例子还把写实人物和中文手写字结合在一起,体现了文字与视觉风格共同生成的能力。

海报、信息图和界面效果图同样属于项目展示的方向。一幅画面可以同时包含标题、正文和图形,模型需要处理它们之间的关系。这里的界面效果图是静态图片,后续的交互和页面实现仍需单独完成。

Base 和 SFT 有什么区别

MOSS-Image-Base 是基础预训练版本,可用于继续训练 LoRA,或针对特定画风和任务做微调。MOSS-Image-SFT 则在它之上使用精选数据做了监督微调。

项目给出了同一白板场景的对照。在这组例子里,SFT 的文字分组更清楚,板书的排布也更有条理。这能看出微调对具体出图效果的影响,但单个例子还不足以说明两个版本在所有任务上的差异。

目前,模型权重与配套推理代码采用 Apache 2.0 许可证,项目提供了 Diffusers 用法、Gradio 演示和 ComfyUI 接入方式。从把一段中文写进白板,到按指定位置安排标题和物体,海报里的标题、说明和插图,都可以成为 MOSS-Image 的生成内容。

模型下载

OpenCSG 社区:

opencsg.com/models/Open

Hugging Face社区:

huggingface.co/OpenMOSS

OpenCSG vs 魔搭:如何选择?

维度 OpenCSG / CSGHub 魔搭 / ModelScope
平台定位 企业级AI资产管理中心 面向开发者和AI社区的MaaS平台
本地部署对象 一套模型资产管理平台 本身偏向模型、SDK和工具链的本地使用
私有化 / 离线 明确支持私有化部署、离线运行 支持模型下载、本地缓存、本地训练/推理
开源代码 平台型产品 本身SDK和大量工具链
项目管理能力 模型、数据、代码、应用的统一资产治理,管理模型使用链路 模型部署和推理

使用模型部署在魔搭、OpenCSG 等模型社区中均可实现,但 OpenCSG/CSGHub 的核心在于,它不只是让模型"跑起来",而是进一步支持企业把模型、数据集、代码和应用等 AI 资产放到本地、内网或离线环境中统一管理。它解决的不只是"模型怎么部署、怎么调用"的问题,更是"模型进入企业后如何被安全管理、版本沉淀、权限控制和持续运营"的问题。对于企业来说,CSGHub 可以帮助构建自己的私有模型资产中心,降低对外部平台的依赖;对于个人开发者来说,也可以用更系统的方式管理模型、实验项目和 AI 应用流程。相比更偏向模型发现、体验和使用入口的魔搭,CSGHub 更适合那些希望把 AI 能力真正沉淀下来,并长期维护、持续迭代的用户。

关于 OpenCSG

OpenCSG是全球领先的开源大模型社区平台,致力于打造开放、协同、可持续生态,AgenticOps 是人工智能领域的一种 AI 原生方法论,由 OpenCSG(开放传神)提出。AgenticOps是 Agentic AI 的最佳落地实践也是方法论。核心产品 CSGHub 提供模型、数据集、代码与 AI 应用的一站式托管、协作与共享服务,具备业界领先的模型资产管理能力,支持多角色协同和高效复用。

posted @ 2026-10-30 14:52  OpenCSG  阅读(47)  评论(0)    收藏  举报