REFERENCE & GENERATION PERFORMANCE · 2026-09-04

Reference 如何影响生成效果与推理效率?

在 MiniMax-H3 中加入 Base50 oracle reference,生成效果、少步表现和推理耗时会如何变化?我们比较 Base 50/25/20/15/10 NFE、PDD8 与 LightX4;轨迹一致性是观察 reference 作用的一个维度。

2scenes
28validated outputs
7settings / option
2exact noise pairs

01 · CONTROLLED DESIGN

Option2 不是换掉原条件,而是在它上面加 oracle

每个 scene 内,14 个结果复用同一对显式 float32 video/audio initial-noise tensors。

OPTION 1

原始生成任务

保留这个 case 本来的输入条件,生成 Base50 oracle 以及所有低 NFE 对照。

ADDED CONDITION

Option1 Base50 完整 MP4

124 帧视频与同步音轨都作为 Video 1 输入 Ref2VA;不是抽一张 frame。

OPTION 2

Oracle reference 重生成

Option1 原有输入条件 + Base50 audiovisual oracle,使用独立的 transformer_ref

SceneOption1:原始任务Option2:增加 oracle 后
Car driftseed 20260904 TEXT纯 T2VA,无 reference VIDEO + AUDIOBase50 oracle MP4
Desert observatoryseed 20260905 IMAGE原始 telescope Picture 1 IMAGEVIDEO + AUDIOPicture 1 + Base50 oracle MP4

02 · VIDEO EVIDENCE

对比 Reference 加入前后的生成效果

CASE 01

Rain-soaked neon car drift

高运动 T2VA:低机位跟拍红色跑车漂移,通过积水、霓虹反射与快速相机弧线测试轨迹敏感性。

SEED · 20260904
Option 1 · 原始生成任务 Text-only T2VA
Option 2 · Oracle reference 重生成 Full Base50 video + audio reference
Option1 layoutBase50 · 25 · 20 · 15 / Base10 · PDD8 · LightX4 · 原始输入
Option2 layoutOracle · Base50 · 25 · 20 / Base15 · 10 · PDD8 · LightX4

声音默认关闭。开启后只播放 Option1 Base50 音轨;Option2 composite 的音�来自同一个 oracle,因此不会双重播放。

查看当前 case prompt

03 · ORACLE ADHERENCE

Oracle reference 把低步结果拉近了多少?

一致性用于观察 reference 保持程度,是性能评估的一个维度。所有数值相对于该 scene 的 Option1 Base50 oracle;视频指标取 16 个等距帧。

SSIM0–1

越高表示采样帧在结构和亮度上越接近 oracle;它不是主观画质评分。

Option1 · 直接/原始参考生成 Option2 · 加入 Base50 oracle
Option2 Base50 本身相对原始 oracle Car · SSIM 0.8283

Reference generation 是重生成,不是像素复制;低步结果应同时看 oracle adherence 和对 Option2 Base50 的内部一致性。

PDD8 · Option2 internal SSIM 0.9348 Car 0.9646 Desert

两个 case 都略高于 Base10 对各自 Option2 Base50 的一致性。

LightX4 · Desert +0.5441 audio waveform −0.0119 SSIM gain

Oracle 对声音帮助明显,但没有把视觉构图拉回 oracle。

PDD8 · Oracle gain +15.482 dB Car +9.556 dB Desert

相对于 Option1,加入 oracle 后的 PSNR 增益。

04 · RUNTIME

少步减少 denoise,但 reference encoding 是固定成本

时间包含 conditioning、denoise、VAE decode 和导出,不含单独记录的 checkpoint load。

ScenarioBase50Base10PDD8LightX4LightX4 speedup
Car · Option1Text T2VA130.4s29.3s28.5s16.4s7.97×
Desert · Option1Image Ref2VA152.7s43.3s43.8s28.3s5.39×
Car · Option2Video-oracle Ref2VA844.8s301.1s267.4s215.7s3.92×
Desert · Option2Image + video Ref2VA866.0s313.1s289.0s220.1s3.93×
8.1–11.7s model load

约 197 GiB immutable assets 每节点只 stage 一次到 NVMe;大型模块 meta 初始化,8 个 FSDP2 ranks 直接读取各自 safetensor rows。

05 · REPRODUCIBILITY

每组生成结果都有可审计记录

28/28 输出通过媒体、scheduler、partition、noise 和 oracle checksum 验证。

Sampling contract

  • Rectified-flow Euler,eta=0
  • Literal 50 / 25 / 20 / 15 / 10 / 8 / 4 NFE
  • Sigma grid points = NFE + 1,terminal zero 不计 forward
  • Video shift 12 · Audio shift 3

Matched partitions

  • T2VA:transformer + FL2VA LoRA
  • Ref2VA:transformer_ref + Ref2VA LoRA
  • Alibaba PDD 8 NFE · strength 1.0
  • LightX2V Turbo 4 NFE · alpha 8

Validated media

  • 960×544 · 124 frames · 24 fps
  • 32 kHz stereo generated audio
  • One video + one audio stream per MP4
  • Four web composites decode end-to-end
Exact noise and oracle SHA-256
Car video noise7532dfeeb7a8a006b7b4dae370b80e2b6d6e9311f524854235456bcf3695e8b9
Car audio noisebf5467870ff06b605b724bcad7f24a472fec898f3c19fcc7bbf27e813f43f219
Car oracle2d76ee4eee48a5ace742167cc9389b30d241929b2bc1bb57fc7cdca6b932464a
Desert video noisea594c2fd78001f47b6a7c4633442690303f9f07c9f0bbb213c7f072e369da20c
Desert audio noise5e4d49256ad04fe79a1ffd5f2a3ebee2aad5ac09c3c682d74dd639b0f0f987ac
Desert oracle9079f7898594fe422f271ae22a76e4657a830cf69be788429c3bb74efc292fb7

READ WITH CARE

这是两个受控 case,不是总体排行榜

相同 noise 只控制一个随机源,不能让 T2VA 与 Ref2VA 的 latent trajectory 天然相同。PSNR/SSIM 会惩罚合理的构图变化,也不能替代人工画质和偏好评测。