Ideogram 4：93 亿参数开源图像模型，用 JSON Prompt 重新定义 AI 出图

Ideogram 一直是 AI 图像生成领域的「隐形冠军」——它不是最出名的，但在文字渲染这个细分赛道上几乎没有对手。2026 年 6 月 3 日，Ideogram 做了一件让整个社区兴奋的事：开源了他们的第四代模型 Ideogram 4。93 亿参数从零训练，不是任何现有模型的微调版本，在 Design Arena 排行榜上仅次于 GPT 和 Gemini 的闭源模型，是排名最高的开源选手。

更值得关注的是它带来的两个理念创新：结构化 JSON Prompt 和 Magic Prompt 自动展开。前者让图像生成从「写一句话碰运气」变成了「填一张精确的参数表」，后者用 LLM 把你的口语化描述自动翻译成结构化 caption——兼顾了精确性和易用性。

一、Ideogram 是谁？

Ideogram 成立于 2022 年，创始团队来自 Google Brain 和 UC Berkeley，专注于文本到图像生成。在 FLUX、Stable Diffusion、DALL-E 混战的市场里，Ideogram 选择了一条差异化路线：做文字渲染最好的图像模型。

这个定位看似小众，实际上切中了设计行业的核心需求——海报、Logo、社交媒体封面、品牌物料，这些场景都需要在图像中精确嵌入文字。此前的开源模型在这方面普遍拉胯，而 Ideogram 从第一代产品开始就把文字渲染作为核心能力训练。

2026 年 6 月 3 日，Ideogram 4 正式开源，推理代码以 Apache-2.0 发布，模型权重采用非商业许可，在 Hugging Face 上提供 nf4 和 fp8 两种量化版本。

二、从零训练的架构：单流 DiT

Ideogram 4 不是 Stable Diffusion 的微调，不是 FLUX 的蒸馏，是一个完全从零训练的基座模型。它的架构设计有几个关键决策值得拆解。

2.1 文本编码器：用 VLM 替代 CLIP/T5

大多数图像模型用 CLIP 或 T5 做文本编码器。Ideogram 4 换了一个更大胆的选择：Qwen3-VL-8B-Instruct，一个完整的视觉语言模型。

为什么要用这么重的文本编码器？因为 Ideogram 不只是从最后一层提取特征，而是从 13 个中间层（0, 3, 6, 9, …, 33, 35）提取隐藏状态并拼接。浅层编码词法信息，深层编码语义理解，拼接后给 DiT 提供了从「这个词是什么」到「这句话想表达什么」的完整语义光谱。

代价是文本编码器本身就有 8B 参数且被冻结，推理时的显存占用不小。但 Ideogram 认为这个代价值得——更丰富的文本理解直接转化为更好的构图和文字渲染。

2.2 单流 DiT：文本和图像共享注意力

Ideogram 4 的核心是一个 34 层的单流 Diffusion Transformer。所谓「单流」，是指文本 token 和图像潜变量 token 被拼接成一个序列，通过同一组注意力层处理——没有独立的文本分支或图像分支。

序列布局：
┌───────────────────┬────────────────────────┐
│  text tokens      │  image latent tokens   │
│  (最多 2048)       │  (grid_h × grid_w)     │
└───────────────────┴────────────────────────┘

每个 Transformer Block 包含三个关键组件：

QK-RMSNorm + 3D MRoPE：文本 token 用 1D 位置编码广播到 3 轴，图像 token 用 (时间, 高度, 宽度) 坐标。这让两种模态共享统一的位置空间
SwiGLU MLP：带门控的前馈层
AdaLN：时间步 t 的嵌入生成逐块的 scale 和 gate 参数，让每一层都知道当前的噪声水平

模型规格：embedding 维度 4608，注意力头 18，中间层维度 12288，最大文本 token 数 2048。

2.3 Flow Matching 而非 DDPM

Ideogram 4 用 Flow Matching 做训练目标，而非传统的 DDPM 噪声预测。模型预测的是速度场 v(z_t, t)，定义 ODE：

1	dz/dt = v(z_t, t)

推理时从纯高斯噪声 z₁ 出发，用 Euler 方法积分到干净图像 z₀：

1	z_{t-dt} = z_t + v(z_t, t) × dt

噪声调度使用 logit-normal 分布，参数 (mu, sigma) 控制采样器在不同噪声级别上花多少时间。高分辨率图像需要更高的 mu 值，Ideogram 4 会根据分辨率自动调整：

1	mu_adjusted = mu_base + 0.5 × log(num_pixels / base_pixels)

其中 base_pixels = 512 × 512。这意味着同一个模型可以处理从 256px 缩略图到 2048px 海报的所有尺寸，无需切换模型或分辨率特定的权重。

2.4 非对称 Classifier-Free Guidance

每步采样跑两次前向传播：

条件分支：完整文本特征 + 噪声图像潜变量
无条件分支：零化文本特征 + 噪声图像潜变量（只处理图像 token，不填充文本）

引导公式：

1	v_guided = gw × v_conditional + (1 - gw) × v_unconditional

无条件分支省掉了文本 token 的计算，比完整的负向提示便宜不少。V4_QUALITY_48 预设用 48 步采样，前 45 步 gw=7（强引导），最后 3 步降到 gw=3（精修）。

三、核心能力：不只是「能画图」

3.1 文字渲染：开源模型中的绝对王者

这是 Ideogram 的看家本领。在 ContraLabs 的盲评测试中，10 位专业设计师给 4 个模型的文字渲染打分，Ideogram 4 以 47.9% 的首选率碾压 Gemini 3.1 Flash Image Preview（30.0%）、FLUX.2 max（15.5%）和 Grok Imagine 1.0（15.0%）。

更实际的指标是「你会在真实的客户项目中使用这个模型吗？」——Ideogram 4 拿到 3.55/5 分，远高于其他模型的 2.49-2.84 分。这不是实验室数据，是设计师用真金白银的项目标准在投票。

3.2 JSON Prompt：结构化控制的新范式

传统图像模型的 prompt 是一句话：「一只金毛犬戴着巫师帽读魔法书」。Ideogram 4 训练时用的是结构化 JSON caption，每个字段精确描述图像的一个方面：

{
  "high_level_description": "一只金毛犬戴着巫师帽读魔法书",
  "style_description": {
    "aesthetics": "温暖、奇幻、生动",
    "lighting": "柔和的暖色灯光",
    "medium": "illustration",
    "art_style": "水彩风格，柔和的边缘",
    "color_palette": ["#F5C542", "#8B4513", "#2E4057", "#FFD700", "#FFFFFF"]
  },
  "compositional_deconstruction": {
    "background": "一个堆满旧书的温馨书房",
    "elements": [
      {
        "type": "obj",
        "bbox": [200, 300, 800, 900],
        "desc": "一只金毛犬，戴着尖顶巫师帽，前爪捧着一本打开的魔法书"
      }
    ]
  }
}

两种 Prompt 方式的差异一目了然：

维度	传统文本 Prompt	结构化 JSON Prompt
格式	一句自然语言	多字段结构化对象
风格控制	模型自行推断	`style_description` 精确指定
色彩控制	无法指定	`color_palette` 数组（最多 16 色）
空间布局	完全随机	`bbox` 坐标精确定位元素
文字渲染	质量不可控	训练-推理格式一致，质量更高
学习成本	低（写一句话）	中（需要理解 JSON 结构）
补充方案	—	Magic Prompt 免费自动展开

这套设计的核心思想是：训练和推理共享同一个 prompt 格式。训练 caption 越详尽，每个样本提供的监督信号越多，模型从单个样本中提取的文本-图像关系越丰富。推理时用同样的 JSON 格式，就消除了训练-推理分布偏移。

3.3 颜色调色板控制

在 style_description 中指定 color_palette 数组（最多 16 个十六进制颜色），可以精确控制生成图像的主色调。每个元素还可以有独立的调色板（最多 5 个颜色）。这对品牌设计、UI 设计场景非常实用。

3.4 边界框空间布局

compositional_deconstruction 中的 bbox 字段用归一化坐标 [y_min, x_min, y_max, x_max]（0-1000 范围）指定元素在画面中的精确位置。你可以控制「标题放左上角，产品居中，Logo 放右下角」，不用靠 prompt 碰运气。

四、性能评测：开源最强

Ideogram 4 在多个第三方评测中验证了它的实力。

4.1 Design Arena

Design Arena 是专注于设计类图像的 Elo 排行榜。在开源模型子榜中，Ideogram 4 大幅领先第二名：

4.2 开源基准测试

在标准开源基准上，Ideogram 4 用 9.3B 参数在文字渲染上超越了参数量远大于它的模型：

模型	参数量	文字渲染	布局控制	空间推理
Ideogram 4	9.3B	最强	最强	接近最强
Qwen-Image	20B	较弱	中等	中等
FLUX.2 dev	32B	中等	中等	中等
HunyuanImage 3.0	80B MoE	中等	较弱	较弱

参数效率上的优势很明显——用不到 FLUX.2 的三分之一参数，在文字渲染和布局控制上全面超越。这说明架构设计和训练数据质量比单纯堆参数更重要。

4.3 LMArena 总榜

在 LMArena 的通用文生图排行榜上，Ideogram 是开源实验室中排名最高的，总榜 Top 5——排在它前面的只有预算远超数倍的巨型公司。

五、快速上手

5.1 环境准备

# 安装
pip install git+https://github.com/ideogram-oss/ideogram4.git

# 接受 Hugging Face 模型协议
# 访问 https://huggingface.co/ideogram-ai/ideogram-4-nf4 点击 "Agree and access"
hf auth login

# 获取 Ideogram API Key（免费，用于 Magic Prompt）
# 访问 https://developer.ideogram.ai/

5.2 命令行推理

python run_inference.py \
  --prompt "一个戴着墨镜的程序员在喝咖啡" \
  --output out.png \
  --quantization nf4 \
  --magic-prompt-key "$IDEOGRAM_API_KEY"

最高质量模式：

python run_inference.py \
  --prompt "赛博朋克风格的东京街头夜景" \
  --output out_hq.png \
  --quantization nf4 \
  --height 2048 --width 2048 \
  --sampler-preset V4_QUALITY_48 \
  --magic-prompt-key "$IDEOGRAM_API_KEY"

5.3 Python API

import json
from ideogram4 import pipe, PRESETS

caption = {
    "high_level_description": "一个简约风格的科技公司名片设计",
    "style_description": {
        "aesthetics": "极简、专业、几何感",
        "lighting": "均匀漫射光",
        "medium": "graphic_design",
        "art_style": "扁平矢量设计，大量留白",
        "color_palette": ["#FFFFFF", "#333333", "#0066FF", "#00CC88"]
    },
    "compositional_deconstruction": {
        "background": "纯白卡片表面，带细微纸张纹理",
        "elements": [
            {"type": "text", "text": "ACME TECH", "desc": "粗体深灰无衬线公司名称"},
            {"type": "text", "text": "hello@acme.tech", "desc": "小号蓝色无衬线联系方式"}
        ]
    }
}

preset = PRESETS["V4_QUALITY_48"]
images = pipe(
    json.dumps(caption, separators=(",", ":"), ensure_ascii=False),
    height=1024, width=1024,
    num_steps=preset.num_steps,
    guidance_schedule=preset.guidance_schedule,
    mu=preset.mu, std=preset.std,
)
images[0].save("business_card.png")

5.4 Magic Prompt：不用手写 JSON

不想写 JSON？Magic Prompt 用 LLM 把你的口语描述自动展开为结构化 caption：

from ideogram4 import Ideogram4MagicPromptV1, pipe, PRESETS

magic = Ideogram4MagicPromptV1(api_key="your_key")
caption = magic.expand("一只金毛犬戴着巫师帽", aspect_ratio="1:1")

preset = PRESETS["V4_QUALITY_48"]
images = pipe(caption, height=1024, width=1024,
              num_steps=preset.num_steps,
              guidance_schedule=preset.guidance_schedule,
              mu=preset.mu, std=preset.std)

默认使用 Ideogram 官方的免费 API 做展开，也支持通过 OpenRouter 调用 Claude Opus/Sonnet（需要 MAGIC_PROMPT_API_KEY）。Ideogram 还开源了他们的 Magic Prompt 系统提示词，你可以用任何 LLM 自行构造 caption。

六、局限性

许可证是最大的门槛。 代码以 Apache-2.0 开源，但模型权重采用非商业许可——你可以研究、学习、微调，但不能直接用于商业产品或通过 API 提供服务。想商用需要单独和 Ideogram 谈授权。

硬件要求不低。 nf4 量化版虽然是量化过的，但 9.3B 参数加上 8B 的文本编码器，推理时的显存占用仍然可观。官方支持 CUDA（nf4）和所有设备（fp8），但没有提供 CPU 推理或更轻量的量化方案。

安全过滤偏严。 提示词和输出都经过 Hive 的安全审查，误杀率对非 JSON 格式的 prompt 更高。官方承认这是已知问题，可能会在未来的 checkpoint 中改进。

Magic Prompt 依赖外部 API。 默认的免费 Magic Prompt 需要联网调用 Ideogram 的服务器。如果你想完全离线推理，需要自己写 JSON caption 或用本地 LLM 展开。

七、为什么这件事重要

Ideogram 4 的开源传递了一个信号：图像生成的竞争正在从「谁的模型更大」转向「谁的控制更精确」。

FLUX.2 有 32B 参数，HunyuanImage 3.0 有 80B MoE，但 Ideogram 用 9.3B 参数在文字渲染和布局控制上全面超越它们。JSON Prompt 的设计哲学——把训练 caption 的结构暴露给用户——是一种全新的交互范式，比「写一句自然语言碰运气」更适合专业设计场景。

当然，非商业许可证限制了它的商业落地。但对于研究者、独立开发者、设计师来说，这是一个可以本地跑、可以微调、可以学习其架构设计的顶级图像模型。在闭源模型越来越贵、API 限制越来越多的当下，有一个开源的「设计领域最强选手」供社区研究和创新，本身就是一件有价值的事。