位置条件生成
用户为每个想出现的物体指定一个矩形框，并配上对应短语，模型据此把物体生成在指定区域，而不是让画面构图完全随机。
价格官网未标价
平台—
归类AI 绘画生图
收录2026-10-11
复核2026-10-11
编辑评分
4.3 / 5
★★★★☆
GLIGEN编辑总结
GLIGEN 是一个研究性质的开放域图像生成模型，核心思路是把「框」和文字提示一起喂给生成网络，让用户指定物体出现在画面的哪个位置，而不是只用一句提示词碰运气。它建立在冻结的预训练扩散模型之上，通过新增的门控注意力层注入位置与文本条件，因此不需要重训整个底座就能获得布局控制能力。对研究者和想验证「布局可控生成」这条路线的人来说，它提供的是可复现的方法与代码，而不是一个即开即用的在线产品。
GLIGEN是什么？
GLIGEN 是一个面向开放域图像生成的学术研究项目，全称与「Grounded-Language-to-Image Generation」相关，思路是把语言和空间位置一起作为生成条件。它要解决的问题是：传统文生图只给一句提示，物体出现在哪、有几个、谁压着谁，全由模型自己决定，用户没法指挥。
它的做法是在一个已经训练好的扩散模型基础上，冻结原有权重，另外插入可训练的门控注意力层，用来接收文本框（bounding box）和对应的文本短语。这样一来，底座的画质能力被保留，而新增的少量参数专门学习「把某个词放到某个框里」。训练时使用带框标注的图像数据，因此它能处理训练时没见过的类别组合，也就是所谓开放域。
不同的人用法不同：研究者通常直接看论文与代码仓库，复现实验或在此基础上改结构；做应用的人会把它当作一种「布局可控」的组件，验证值不值得集成到自己的生成流程里；普通用户则不太容易直接上手，因为它面向的是命令行与代码环境，而非网页界面。
GLIGEN核心功能
门控注意力注入
在冻结的预训练扩散模型上插入可训练的门控注意力层，用于接收框与文本条件，底座权重不动，只训练这层新参数。
开放域组合
条件来自文本与框的配对，而不是固定的类别列表，因此可以尝试训练数据里没有直接出现过的物体组合与场景。
兼容现有底座
由于采用冻结底座加外挂条件的结构，方法本身不绑定某一种扩散模型，换底座时可以沿用同一套条件注入思路。
研究向代码与论文
产出以论文和可复现的实现为主，适合作为布局可控生成方向的基线，或作为二次开发与改结构的起点。
GLIGEN使用建议
入门先把路子走对
- 先读论文再跑代码先弄清条件是怎么注入的：门控注意力层接收的是框的坐标与文本嵌入，理解这一点后再调参，比直接改命令行选项有效。
- 从简单布局试起先用两个物体、框之间不重叠的例子跑通，确认环境和权重加载没问题，再逐步增加物体数量和重叠关系。
- 框不要给得太小框太紧会限制物体姿态，太松又等于没约束。可以先按物体大致占地给框，再根据生成结果收放，而不是一次调到像素级。
进阶省时间也省钱
- 把框当作构图草图与其纠结单个框的精确坐标，不如用一组框先定下画面节奏（主体居中还是偏置、前景与背景各占多少），生成质量更稳。
- 文本短语要短每个框配的文本越短越聚焦，长句会让条件之间互相干扰；把描述性修饰词留在全局提示里，把名词短语留在框上。
- 换底座要重训条件层底座冻结不等于条件层通用，更换底层扩散模型后需要重新训练门控注意力部分，否则条件注入的分布对不上。
GLIGEN适合谁用？
布局可控生成研究者
推荐想比较不同条件注入方式、或需要一个开放域布局基线做对照实验的人，能直接读代码改结构。
算法工程师做技术验证
推荐评估「让用户画框控制构图」这条路线是否值得集成进自家生成流程，可先用它跑小规模实验。
需要命令行环境的学生
有条件有 Python 与深度学习框架基础、能自己配环境和加载权重的人上手较顺；不熟环境配置会卡在跑通这一步。
想直接出图的普通用户
不推荐它面向代码和研究流程，不是网页端作图工具，没有现成界面，日常出图需求用它反而绕远。
商用产品团队
不推荐作为研究项目，稳定服务、并发、授权与长期维护都不是它的目标，直接拿来做线上产品要自行承担工程化成本。
GLIGEN优点和缺点
优点
- 用框加短语直接控制物体位置，构图不再完全随机
- 冻结底座只训条件层，改动范围小，思路容易复用到别的扩散模型
- 条件来自文本与框配对，可尝试训练数据外的物体组合
- 作为公开研究项目，有论文与实现可查，便于复现和二次开发
缺点
- 面向代码与命令行，没有可直接出图的界面，普通用户上手门槛高
- 本质是研究产出，缺少面向生产环境的工程封装与运维支持
- 布局靠手写坐标框，物体一多或关系复杂时调参成本明显上升
- 条件层与底座绑定，换扩散模型需要重新训练，迁移不是零成本
GLIGEN常见问题
GLIGEN 和普通文生图有什么区别？＋
普通文生图只吃一句提示词，物体出现在哪、有几个由模型自己决定。GLIGEN 额外接受矩形框和对应短语，把「什么东西」和「出现在哪」分开描述，因此构图可以被指定，而不是靠反复改提示词碰运气。
它需要重训整个扩散模型吗？＋
不需要。它的做法是冻结已经训练好的扩散模型权重，另外插入可训练的门控注意力层来接收框与文本条件，训练集中在这部分新参数上，底座画质能力被保留下来。
普通用户能直接用来出图吗？＋
不太合适。它以论文和代码形式发布，需要自己配环境、加载权重并写调用脚本，没有面向普通用户的作图界面。如果只是想按提示词出图，用现成的在线生成工具更直接。
什么是开放域，体现在哪里？＋
条件不是从固定类别清单里选，而是文本短语加坐标框的组合，所以可以尝试训练数据中没有直接出现过的物体与场景搭配。这让它比只支持预设类别的布局方法适用范围更宽。
换一个扩散模型底座还能用吗？＋
条件注入的思路可以沿用，但不能直接照搬权重。因为门控注意力层学到的分布是和底座绑定的，更换底层模型后需要重新训练这部分，否则框与文本的条件对不上底座的生成分布。
适合直接集成到商用产品里吗？＋
它定位是研究项目，重点在方法验证而非稳定服务。线上产品需要的并发、容错、长期维护和授权确认，都需要团队在它之上自行补齐，工程化成本要提前算进去。
GLIGEN竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| GLIGEN本工具 | 4.3 | 未标价 | 位置条件生成；门控注意力注入；开放域组合；兼容现有底座 | — |
| ProAI | — | 完全免费 | AI 驱动的图像生成工具 | Web |
| Stable Diffusion 3.5 Medium 2.6B | — | 未标价 | 基于人工智能的图像生成模型 | Web |
| Stable Diffusion 3.5 | — | 按 Stability AI Community License 免费开放商用与 | 强大的图像生成模型 | Hugging Face / GitHub |
| Nano Banana AI Image Generator & Editor | — | 按积分扣费， 5 折优惠 | 用于文本或图像提示的 AI 图像编辑器 | Web |
| AINanoBanana | — | 未标价 | 基于 AI 的图像生成和编辑平台 | Web |
