原始生成任务
保留这个 case 本来的输入条件,生成 Base50 oracle 以及所有低 NFE 对照。
REFERENCE & GENERATION PERFORMANCE · 2026-09-04
在 MiniMax-H3 中加入 Base50 oracle reference,生成效果、少步表现和推理耗时会如何变化?我们比较 Base 50/25/20/15/10 NFE、PDD8 与 LightX4;轨迹一致性是观察 reference 作用的一个维度。
01 · CONTROLLED DESIGN
每个 scene 内,14 个结果复用同一对显式 float32 video/audio initial-noise tensors。
保留这个 case 本来的输入条件,生成 Base50 oracle 以及所有低 NFE 对照。
124 帧视频与同步音轨都作为 Video 1 输入 Ref2VA;不是抽一张 frame。
Option1 原有输入条件 + Base50 audiovisual oracle,使用独立的 transformer_ref。
| Scene | Option1:原始任务 | Option2:增加 oracle 后 |
|---|---|---|
| Car driftseed 20260904 | TEXT纯 T2VA,无 reference | VIDEO + AUDIOBase50 oracle MP4 |
| Desert observatoryseed 20260905 | IMAGE原始 telescope Picture 1 | IMAGEVIDEO + AUDIOPicture 1 + Base50 oracle MP4 |
02 · VIDEO EVIDENCE
高运动 T2VA:低机位跟拍红色跑车漂移,通过积水、霓虹反射与快速相机弧线测试轨迹敏感性。
SEED · 20260904声音默认关闭。开启后只播放 Option1 Base50 音轨;Option2 composite 的音�来自同一个 oracle,因此不会双重播放。
03 · ORACLE ADHERENCE
一致性用于观察 reference 保持程度,是性能评估的一个维度。所有数值相对于该 scene 的 Option1 Base50 oracle;视频指标取 16 个等距帧。
越高表示采样帧在结构和亮度上越接近 oracle;它不是主观画质评分。
Reference generation 是重生成,不是像素复制;低步结果应同时看 oracle adherence 和对 Option2 Base50 的内部一致性。
两个 case 都略高于 Base10 对各自 Option2 Base50 的一致性。
Oracle 对声音帮助明显,但没有把视觉构图拉回 oracle。
相对于 Option1,加入 oracle 后的 PSNR 增益。
04 · RUNTIME
时间包含 conditioning、denoise、VAE decode 和导出,不含单独记录的 checkpoint load。
| Scenario | Base50 | Base10 | PDD8 | LightX4 | LightX4 speedup |
|---|---|---|---|---|---|
| Car · Option1Text T2VA | 130.4s | 29.3s | 28.5s | 16.4s | 7.97× |
| Desert · Option1Image Ref2VA | 152.7s | 43.3s | 43.8s | 28.3s | 5.39× |
| Car · Option2Video-oracle Ref2VA | 844.8s | 301.1s | 267.4s | 215.7s | 3.92× |
| Desert · Option2Image + video Ref2VA | 866.0s | 313.1s | 289.0s | 220.1s | 3.93× |
约 197 GiB immutable assets 每节点只 stage 一次到 NVMe;大型模块 meta 初始化,8 个 FSDP2 ranks 直接读取各自 safetensor rows。
05 · REPRODUCIBILITY
28/28 输出通过媒体、scheduler、partition、noise 和 oracle checksum 验证。
eta=0transformer + FL2VA LoRAtransformer_ref + Ref2VA LoRA7532dfeeb7a8a006b7b4dae370b80e2b6d6e9311f524854235456bcf3695e8b9bf5467870ff06b605b724bcad7f24a472fec898f3c19fcc7bbf27e813f43f2192d76ee4eee48a5ace742167cc9389b30d241929b2bc1bb57fc7cdca6b932464aa594c2fd78001f47b6a7c4633442690303f9f07c9f0bbb213c7f072e369da20c5e4d49256ad04fe79a1ffd5f2a3ebee2aad5ac09c3c682d74dd639b0f0f987ac9079f7898594fe422f271ae22a76e4657a830cf69be788429c3bb74efc292fb7READ WITH CARE
相同 noise 只控制一个随机源,不能让 T2VA 与 Ref2VA 的 latent trajectory 天然相同。PSNR/SSIM 会惩罚合理的构图变化,也不能替代人工画质和偏好评测。