ICML 2026 · F2S Workshop 最佳论文奖 口头报告

Temporal State Transport in Video Generation

Diagnosing and Correcting Spectral Imbalance

Luyao Tang, Bingjun Luo, DONG Yi, Jialin Guo, Haoning Xi, Cheng Chen, Yizhou Yu, Chaoqi Chen

ICML 2026 Workshop on From Frames to Stories (F2S)

时间注意力并非只会沿一个方向失效:它既可能变得碎片化,也可能出现过度混合。 TST 是一种无需训练的“先诊断、后校正”框架,通过恢复平衡的时间状态传输,在不微调模型的前提下提升时序一致性、视觉细节与物理合理性。

碎片化传输帧间联系被割裂,外观与细粒度细节随时间发生漂移。
平衡态传输健康状态同时保留跨帧一致性与必要的时间差异。
过度混合传输时间差异被抹平,运动与物理动态逐渐变得不合理。

简要概述

我们提出 Spectral Tension,用于诊断时间注意力是否处于平衡的传输状态;并进一步提出 Spectral Transport Homeostasis,在推理阶段有选择地校正异常状态。无需任何微调,即可同时改善时序一致性、视觉质量与物理合理性。

💡 核心洞见

时序不一致,本质上是一个平衡问题。

更多跨帧交互并不总是更好。时间注意力会沿两个相反方向失衡,因此有效的干预必须先判断失效状态,再施加方向正确的校正。

Spectral Tension判断时间失衡的方向与严重程度。
带符号决策区分碎片化传输与过度混合热点。
稳态校正仅对异常状态进行干预,并尽可能保留已平衡的状态。
⚡ 无需训练 🔌 即插即用 🎛️ 单一核心参数 🧠 层级与时间步自适应

研究动机

现有无需训练的增强方法往往直接强化跨帧交互,却无法判断时间交互是否保持健康。我们将时间注意力视作状态传输算子,其平衡程度决定视频能否在时间维度保持连贯。

状态诊断

Spectral Tension 比较局部注意力弥散度与全局谱多样性。负值对应碎片化传输,正值对应过度混合热点,接近零则表示更平衡的时间状态。

自适应校正

Spectral Transport Homeostasis 是一种无需训练的 query-temperature 调节器:锐化过度混合状态、软化碎片化状态,同时尽可能保留已经平衡的传输。

TST 诊断碎片化传输与过度混合热点,并通过 Spectral Transport Homeostasis 恢复平衡的时间状态传输。
核心思想。健康的时间状态传输位于两种异常状态之间。Spectral Tension 提供带符号的诊断信号,不仅判断注意力是否失衡,也指出应沿哪个方向进行校正。 打开完整分辨率 PDF

🧮 核心公式

从谱诊断到自适应校正

TST 从两个互补尺度读取时间注意力,判断失衡方向,并在推理阶段施加具有层级和时间步调度的自适应校正。

01

局部弥散度

Hrow(A) = − avgi Σj Aij log(Aij + ε)

行熵刻画每一帧如何在时间维度分配注意力,以及局部注意力分布的弥散程度。

02

全局谱多样性

HvN(ρ) = − Σk λ̃k log(λ̃k + ε)

Von Neumann 熵概括归一化注意力 Gram 矩阵的特征值分布,从全局角度衡量谱多样性。

03

Spectral Tension:带符号的诊断

𝒯(A) = Ĥrow(A) − ĤvN(ρ)
𝒯 < 0 🧩 碎片化 𝒯 ≈ 0 ⚖️ 平衡态 𝒯 > 0 🌪️ 过度混合
04

Spectral Transport Homeostasis

αtemp = 1 − mean(diag(A))
QTST = αtemp · ĤvN(1 − ĤvN)
τeff = τ · wlayer · wstep
sTST = 1 + τeffQTST,   Y′ = sTSTY

有效校正强度 τeff 会随 Transformer 层级与扩散时间步自动调度。整个干预轻量、自适应,仅由一个核心参数 τ 控制;论文推荐设置为 0.2。

摘要

可靠的视频生成不仅需要高质量的单帧画面,还需要模型在时间维度持续传输身份、场景布局、运动和细粒度细节等视觉状态。现有无需训练的方法主要强化跨帧注意力或分析局部注意力熵,却无法判断时间交互是否处于健康的传输状态。本文从 Temporal State Transport 的视角重新研究视频生成中的时间一致性。

我们提出 Spectral Tension,通过比较局部注意力弥散度与全局谱多样性,对时间注意力进行带符号诊断,并识别两种方向相反的失效模式:碎片化传输与过度混合热点。在此基础上,我们提出 Spectral Transport Homeostasis,在尽可能保留平衡状态的同时,以无需训练的方式柔性校正异常时间状态。

更忠实的细节与更丰富的真实结构

以下案例重点展示外观真实感、细粒度结构与场景细节如何在时间维度保持稳定,并呈现出更具说服力的视觉效果。

更合理的物理结构与运动逻辑

以下动态场景中,原始模型容易产生不合理的物理行为;我们的方法能够恢复更加连贯、可信的时间结构。

文献引用

引用

如果本研究对你的工作有所帮助,欢迎引用:

@misc{tang2026temporalstatetransportvideo,
  title={Temporal State Transport in Video Generation: Diagnosing and Correcting Spectral Imbalance},
  author={Luyao Tang and Bingjun Luo and Dong Yi and Jialin Guo and Haoning Xi and Cheng Chen and Yizhou Yu and Chaoqi Chen},
  year={2026},
  eprint={2609.08505},
  archivePrefix={arXiv},
  primaryClass={cs.CV},
  url={https://arxiv.org/abs/2609.08505},
}