JoyAI-Echo：京东开源5分钟长音视频生成框架，跨模态记忆让故事一镜到底

5 分钟的视频，25 个镜头，画面里同一个角色从不同角度出现、说话、转身——音色始终一致，服装纹丝不变。这不是 Sora 的演示片，是京东 Joy Future Academy 开源的 JoyAI-Echo 在你自己的 GPU 上跑出来的效果。

2026 年 6 月 3 日，京东在 GitHub 上开源了 JoyAI-Echo——一个专注于分钟级多镜头音视频生成的推理框架。上线一周，GitHub 星标突破 1300，HuggingFace 模型下载 4500+ 次，知乎、IT之家、腾讯新闻等媒体纷纷跟进报道。更关键的是，它在人类评估中全面碾压了 HappyOyster 的 Directing 模式，甚至在以人为中心的短视频任务上超过了阿里的 Wan 2.6。

这篇文章会拆解 JoyAI-Echo 的核心技术架构，告诉你它凭什么能同时搞定「长视频」「音视频同步」「跨镜头一致性」这三个长期困扰行业的难题。

一、为什么长视频生成这么难

现有的视频生成模型——无论是 Sora、Kling 还是 Wan 2.6——大多聚焦于单镜头短视频（5-15 秒）。当你试图把它们串联起来生成一个完整的故事时，会遇到三个棘手的问题：

误差累积：每个镜头的生成都会引入微小偏差，镜头越多偏差越大。到第 10 个镜头时，角色的脸可能已经「漂移」到另一个人了。

跨模态割裂：视频和音频通常是分开生成的。一个角色在镜头 1 里用低沉的声音说话，到了镜头 3 可能变成了尖细的嗓音。

推理延迟：高质量视频生成本身就慢，多镜头叠加后延迟更是不可接受。一段 5 分钟的视频可能需要几个小时才能渲染完成。

JoyAI-Echo 的解决方案是四个字：记忆驱动。

二、核心架构：跨模态记忆库

JoyAI-Echo 的核心创新是一个名为「跨模态记忆库」（Paired Cross-Modal Memory Bank）的机制。简单来说，它做的事情是：

1. 生成镜头 1 时，同时提取视觉特征（角色外观、场景风格）和音频特征（说话音色、背景音效）
2. 将这些特征存入配对的记忆槽（Slot-Paired Memory）
3. 生成镜头 2 时，从记忆库读取前序镜头的视觉和音频特征作为条件
4. 依此类推，每个新镜头都「记住」了之前发生的一切

这种设计的精妙之处在于：视觉记忆和音频记忆是配对存储的。当镜头 2 读取「角色 A 的外观」时，同时会读取「角色 A 的音色」，确保音画同步。

三、四大技术亮点

3.1 DMD 蒸馏：7.5 倍推理加速

JoyAI-Echo 基于 Lightricks 的 LTX-2.3 作为基础视频生成器，并在此之上应用了 Distribution Matching Distillation（DMD）技术。DMD 的核心思想是把多步扩散过程压缩成极少步数的推理，同时保持生成质量。

实测数据：原来需要 50 步的推理过程，DMD 蒸馏后只需 4-6 步，速度提升约 7.5 倍。这意味着生成一个 241 帧（约 10 秒）的镜头，从分钟级缩短到了秒级。

3.2 Gemma-3-12B 文本编码器

JoyAI-Echo 选择了 Google 的 Gemma-3-12B-IT 作为文本编码器，而不是更常见的 CLIP 或 T5。Gemma-3-12B 是一个 120 亿参数的指令微调模型，对复杂叙事性 prompt 的理解能力远超传统的文本编码器。

这也是 JoyAI-Echo 能处理「多镜头故事 prompt」的关键——你需要在一个 JSON 文件里描述每个镜头的角色外观、动作、对话、镜头运动、音效和 BGM，传统编码器根本理解不了这么复杂的语义结构。

3.3 配对跨模态记忆

这是 JoyAI-Echo 最核心的创新。传统方案要么只做视觉一致性（如 IP-Adapter），要么音视频分开处理。JoyAI-Echo 的 Slot-Paired Memory 机制将视觉和音频特征绑定在一起：

• 视觉记忆槽：存储角色外观（面部特征、服装、体型）和场景风格
• 音频记忆槽：存储角色音色（说话声音特征）和 BGM 风格

每个镜头生成后，视觉和音频特征同时写入对应的记忆槽。下一个镜头生成时，模型会从记忆库中读取这些特征作为条件输入，确保跨镜头的角色外观和声音保持一致。

在官方的 100 个 benchmark 故事（共 3000 个评估镜头）中，JoyAI-Echo 的 IP 一致性获得了 59.4% 的用户偏好，远超 HappyOyster 的 27.7%。

3.4 Director Agent：对话式编辑

JoyAI-Echo 计划推出一个 Director Agent，允许用户通过对话式指令实时编辑生成的视频。比如你可以对它说「把镜头 3 的背景改成夜晚」或者「让角色 A 在镜头 5 里笑得更自然」，Agent 会在已有记忆库的基础上进行局部修改，而不是重新生成整个视频。

目前这个功能还在 TODO 列表中，但架构上已经预留了接口。

四、人类评估：全面领先

JoyAI-Echo 团队进行了大规模的 GSB（Good/Same/Bad）人类评估，对比对象是 HappyOyster 的 Directing 模式和阿里的 Wan 2.6。

长视频任务（vs HappyOyster Directing）

音频质量和指令跟随两项的领先幅度尤其惊人——81.7% vs 11.8%，几乎是碾压级的优势。

短视频任务（vs Wan 2.6）

在短视频领域，JoyAI-Echo 的视觉美学明显领先（58.8% vs 26.5%），但音频质量和指令跟随与 Wan 2.6 基本持平。这符合预期——JoyAI-Echo 的核心优势在于长视频生成，短视频场景下各方案差距不大。

五、同类方案对比

从上表可以看出，JoyAI-Echo 在三个关键维度上都处于领先地位：

• 最长视频：5 分钟，远超 Sora 的 1 分钟和 Kling 的 2 分钟
• 音视频同步：原生支持，不需要额外的音频合成步骤
• 跨镜头一致性：记忆库驱动，不是简单的参考图机制

更重要的是，JoyAI-Echo 是开源的。Sora 和 Kling 都是闭源产品，你只能通过 API 调用。HappyOyster 虽然有开源版本，但其 Directing 模式的长视频能力仍然有限。

六、实际部署

硬件需求

JoyAI-Echo 的模型权重约 46GB（含 transformer + VAE + vocoder），加上 Gemma-3-12B 文本编码器约 24GB，总计需要约 70GB 存储空间。推理时峰值显存占用约 46-50GB，一块 H100/A100（80GB）或 48GB 级别的 GPU 即可运行。

对于显存较小的 GPU，可以通过减少帧数来降低显存需求：

1
2

# 减少到 121 帧（约 5 秒），降低显存占用
python inference.py --num-frames 121

快速上手

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

# 克隆仓库
git clone https://github.com/jd-opensource/JoyAI-Echo.git
cd JoyAI-Echo

# 创建环境（conda）
conda env create -f environment.yml
conda activate echo-long

# 下载模型权重（约 70GB）
# echo-longvideo-release.safetensors (46GB) -> checkpoints/
# gemma-3-12b/ (24GB) -> checkpoints/

# 编写故事 prompt（JSON 格式）
# 参考 prompts/example_multi_shot.json

# 运行推理
python inference.py

输出文件会保存在 inference_result/outputs/ 目录下。

ComfyUI 集成

社区已经开发了 ComfyUI 节点包 ComfyUI_JoyAI_Echo，支持：

• 完整 bf16 精度（无 GGUF 量化损失）
• 逐镜头可编辑 prompt + 实时视频预览
• 三阶段 GPU 显存热切换（48GB 显存即可运行）
• 内置 LLM prompt 增强
• 跨镜头记忆链，保持故事级一致性

对于不想写代码的用户，ComfyUI 是最友好的入口。

七、技术细节深挖

Prompt 编写规范

JoyAI-Echo 的 prompt 不是一句话描述，而是结构化的 JSON。每个镜头需要包含 6 个部分：

官方提供了 prompt 增强器（prompts/long_story_writer_system_prompt.md），可以将简单的故事情节扩展为结构化的多镜头 prompt。强烈建议使用增强器——未经增强的 prompt 生成效果会明显下降。

模型架构

JoyAI-Echo 的技术栈：

• 基础视频生成器：LTX-2.3（Lightricks），基于 DiT（Diffusion Transformer）架构
• 文本编码器：Gemma-3-12B-IT（Google），120 亿参数
• 蒸馏技术：DMD（Distribution Matching Distillation），7.5 倍加速
• 记忆机制：Paired Cross-Modal Memory Bank，Slot-Paired 设计
• 音频生成：内置 Vocoder，与视频同步生成
• 超分辨率：一步式音视频超分（计划开源）

整个推理流程是一次性加载模型、批量处理所有 prompt 文件的设计，避免了重复加载的开销。

八、局限性与展望

JoyAI-Echo 目前有几个明确的限制：

不支持图生视频（I2V）：当前版本只支持文生视频（T2V）。如果你有一张参考图想基于它生成视频，暂时做不到。团队表示 I2V 支持正在开发中。

显存门槛较高：46-50GB 的峰值显存意味着消费级 GPU（如 RTX 4090 的 24GB）无法直接运行。虽然社区已经有了 GGUF 量化版本，但量化会带来质量损失。

非商用协议：基于 LTX-2 的 Community License，仅限学术研究和非商业用途。商用需要联系 Lightricks。

Super-Resolution 和 Director Agent 未开源：这两个功能在论文中有描述，但代码尚未发布。

尽管如此，JoyAI-Echo 的开源已经填补了长视频生成领域的一个重要空白。在此之前，想要在本地生成分钟级的连贯音视频，几乎没有可用的开源方案。

九、写在最后

JoyAI-Echo 最让我印象深刻的是它的「记忆驱动」思路。大多数视频生成模型在处理多镜头时，采用的是简单的参考图拼接或者独立生成后后期对齐的方式。JoyAI-Echo 从架构层面就把「记忆」作为一等公民——每个镜头生成时都同时写入视觉和音频的记忆，后续镜头自动读取。

这种设计不仅解决了跨镜头一致性的问题，还天然支持了流式生成（每个镜头独立推理，但共享记忆），为未来的实时交互式视频生成打下了基础。

京东这次开源的诚意很足——代码、权重、ComfyUI 集成、prompt 工具链一应俱全。对于想在长视频生成方向做研究或做产品的团队来说，JoyAI-Echo 是目前最值得关注的开源项目之一。

相关链接

• GitHub 仓库
• HuggingFace 模型
• 项目主页（含 Demo 视频）
• 技术论文
• ComfyUI 节点包