局部弥散度
行熵刻画每一帧如何在时间维度分配注意力,以及局部注意力分布的弥散程度。
Diagnosing and Correcting Spectral Imbalance
ICML 2026 Workshop on From Frames to Stories (F2S)
时间注意力并非只会沿一个方向失效:它既可能变得碎片化,也可能出现过度混合。 TST 是一种无需训练的“先诊断、后校正”框架,通过恢复平衡的时间状态传输,在不微调模型的前提下提升时序一致性、视觉细节与物理合理性。
我们提出 Spectral Tension,用于诊断时间注意力是否处于平衡的传输状态;并进一步提出 Spectral Transport Homeostasis,在推理阶段有选择地校正异常状态。无需任何微调,即可同时改善时序一致性、视觉质量与物理合理性。
💡 核心洞见
更多跨帧交互并不总是更好。时间注意力会沿两个相反方向失衡,因此有效的干预必须先判断失效状态,再施加方向正确的校正。
现有无需训练的增强方法往往直接强化跨帧交互,却无法判断时间交互是否保持健康。我们将时间注意力视作状态传输算子,其平衡程度决定视频能否在时间维度保持连贯。
Spectral Tension 比较局部注意力弥散度与全局谱多样性。负值对应碎片化传输,正值对应过度混合热点,接近零则表示更平衡的时间状态。
Spectral Transport Homeostasis 是一种无需训练的 query-temperature 调节器:锐化过度混合状态、软化碎片化状态,同时尽可能保留已经平衡的传输。
🧮 核心公式
TST 从两个互补尺度读取时间注意力,判断失衡方向,并在推理阶段施加具有层级和时间步调度的自适应校正。
行熵刻画每一帧如何在时间维度分配注意力,以及局部注意力分布的弥散程度。
Von Neumann 熵概括归一化注意力 Gram 矩阵的特征值分布,从全局角度衡量谱多样性。
有效校正强度 τeff 会随 Transformer 层级与扩散时间步自动调度。整个干预轻量、自适应,仅由一个核心参数 τ 控制;论文推荐设置为 0.2。
可靠的视频生成不仅需要高质量的单帧画面,还需要模型在时间维度持续传输身份、场景布局、运动和细粒度细节等视觉状态。现有无需训练的方法主要强化跨帧注意力或分析局部注意力熵,却无法判断时间交互是否处于健康的传输状态。本文从 Temporal State Transport 的视角重新研究视频生成中的时间一致性。
我们提出 Spectral Tension,通过比较局部注意力弥散度与全局谱多样性,对时间注意力进行带符号诊断,并识别两种方向相反的失效模式:碎片化传输与过度混合热点。在此基础上,我们提出 Spectral Transport Homeostasis,在尽可能保留平衡状态的同时,以无需训练的方式柔性校正异常时间状态。
以下案例重点展示外观真实感、细粒度结构与场景细节如何在时间维度保持稳定,并呈现出更具说服力的视觉效果。
以下动态场景中,原始模型容易产生不合理的物理行为;我们的方法能够恢复更加连贯、可信的时间结构。
文献引用
如果本研究对你的工作有所帮助,欢迎引用:
@misc{tang2026temporalstatetransportvideo,
title={Temporal State Transport in Video Generation: Diagnosing and Correcting Spectral Imbalance},
author={Luyao Tang and Bingjun Luo and Dong Yi and Jialin Guo and Haoning Xi and Cheng Chen and Yizhou Yu and Chaoqi Chen},
year={2026},
eprint={2609.08505},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2609.08505},
}