Diffusion 的计算该花在哪：从循环深度到去噪步数

这次阅读是从一个疑问开始的：Diffusion 已经在反复去噪了，为什么还要把 Transformer 放进循环里？同样多花一点 compute，增加内部计算深度，和增加去噪步数，到底差在哪？

顺着这个问题，材料逐渐分成三类：研究循环生成的工作、研究预训练模型如何转换成循环结构的工作，以及研究层和时间相关性的工作。它们常用相近的词，回答的问题却不一样。这篇笔记保留这条检索和辨析的过程，不把所有结果合成一个“循环越多越好”的结论。

范围：整理于 2026 年 10 月 21 日（Asia/Shanghai）。核心机制按 Looped-DiT v1、LiFT v1 与 RRT v3 核对；会议信息截至 10 月 20 日。下文数字均来自论文或作者材料，未在本地复现实验。

先分清：深度、时间和步数不是一回事

读这些论文时，最容易混在一起的是四个变量。

这里的记号统一用于说明，原论文可能采用其他字母。尤其不能把“某一层在不同 $t$ 下的重要性”直接理解为“增加 $K$ 可以替代增加 $T$”。LiFT §2–3明确分开了计算深度与生成时间；其 flow matching（流匹配，即学习从噪声分布到数据分布的速度场）背景来自 Flow Matching for Generative Modeling。

图 1：依据 Looped-DiT 与 LiFT 自绘的结构示意，不代表实验结果。内层循环结束后，外层采样器才推进。

可以把两种计算理解成：一方面，用更多步数跟随预测出的生成方向；另一方面，在当前位置花更多计算形成这次预测。这是理解上的区分，不是误差能够完全分离的定理。模型预测和采样轨迹会相互影响。

计算预算也不能只数“前向次数”。FLOPs 表示浮点运算次数，1 TFLOP 为 $10^{12}$ 次浮点运算。共享核心每循环一次的成本，通常小于重新执行整个模型。LiFT 将每张图的推理成本写成 $C_{\mathrm{infer}}=T\,C_{\mathrm{forward}}(K)$；比较不同架构时，还要说明是否计入解码器、引导和路由开销，不能把 FLOPs 降低直接当成延迟等比例降低。

Looped-DiT：先让重复计算变得有用

Looped-DiT把 MiniT2I 的像素空间多模态 Transformer 分成前置段 $A$、共享段 $B$ 和后置段 $C$。这里的 MMDiT 指分别处理图像、文本并通过联合注意力交互的骨干；本文依据 Looped-DiT §2 的使用方式讨论它。

$$h^{(0)}=A(h_{\mathrm{input}}),\qquad h^{(r)}=B(h^{(r-1)}),\qquad \hat{x}_0=C(h^{(K)}).$$

下一轮接收图像和文本的隐状态。默认分块为 $6/5/6$，中间五块执行四轮：存储 17 组块参数，执行 32 次块计算。单纯重复并不可靠，作者因此引入两项设计。见 §2、图 2。

深监督（Deep Supervision）让每一轮状态都能经过共享的 $C$ 预测干净图像，再对同一目标计算损失。它缩短早期状态获得监督的路径，也要求中间出口保持可用；这并不保证每轮误差严格下降。训练需要额外解码中间状态，推理则只读最终出口。见 §2.1。

自调节注意力（Self-Modulating Attention）处理反复更新的强度。可学习门控按 token 和 attention head 缩放输出；另一种 XSA（Exclusive Self Attention，独占自注意力）用投影去掉输出沿该 token 自身 value 方向的分量。XSA 不等于简单删除注意力矩阵对角线，也不直接跳过计算。见 §2.2 及附录 A.3。

这两项设计分别约束“中间状态能不能预测”和“后续更新会不会过度改写”。位置探针与更新范数提供了支持，但作者也承认，关于潜在视觉推理的证据主要是行为和表示层面的。见 §3.3、局限部分。

图 6 正面比较了循环和去噪步数：给单轮对照增加采样步数，匹配四轮模型的推理 FLOPs，还用了同一个 checkpoint 作为对照，控制训练历史。报告的设置支持循环更划算，但组合有限，尚不足以描述整个预算空间。于是检索继续转向 LiFT。

LiFT：把循环深度和采样步数放进同一张图

LiFT为不同循环指定不同中间目标。令 $u_0$ 为初始速度预测，$u^\star$ 为训练目标，$s\in[0,1]$ 为计算深度坐标，它构造：

$$\bar{u}_s=(1-s)\,\operatorname{sg}(u_0)+s\,u^\star.$$

$\operatorname{sg}$ 表示停止这条目标分支的梯度。训练随机采样中间深度坐标，最终坐标固定为 1；推理改用均匀坐标，让不同循环预算都到达同一个端点。见 §3.1、算法 1–2。

图 2：自绘监督示意。LiFT 的直线位于预测空间；不表示隐状态沿直线运动，也不保证学到的核心就是一个数值积分器。

更有价值的是 §4.4 与附录 A.3 的联合扫描。同一 L/2-R10 checkpoint，改变 $T$ 和 $K_{\mathrm{inf}}$，比较质量与计算量。FID（Fréchet Inception Distance，用特征分布距离评估生成质量，越低越好）采用论文的 50,000 张图评估协议；该指标最初见 Heusel 等，2017。

图 3：按 LiFT v1 附录 A.3、表 6 的 24 个网格点重绘，未插值。颜色表示 FID，低值更好。每个格子的成本不同，不能只沿某一行判断哪种分配更划算。

第二行比第一行更便宜、质量更好；第三行又比第二行更贵、更差。这里能支持的是两种计算需要共同分配，不是循环总比步数重要。更小的 B/2 模型没有呈现同样优势，不能忽略容量条件。见 §4.3–4.4。

单独打开数据交互图。调整预算后，图中只标出所展示 24 个实测点里的最优值；它不预测未测配置，也不代表连续空间的最优解。表 6 还报告了 50 步下 3 轮、5 轮的两个配置，未纳入此规则网格。

这些结果用了多大的训练？

LiFT 主实验是 ImageNet-1k 的类别条件生成，分辨率 256×256；SD-VAE 将图像转成 $4\times32\times32$ latent，以 $2\times2$ patch 得到 256 个 token。作者训练自己的 dense 和 LiFT 对照，使用相同数据流程。见 §4.1、附录 D。

主配置使用 4 个前置块、没有 Transformer coda。每个模型训练 500k updates、全局 batch 256，使用 4 张 H100。1.28 亿是累计图像呈现次数，包含重复读取，并非独立图片数。原文未明确交代预训练权重初始化，也未验证“普通 DiT 微调后即可得到同样效果”。见表 15–16、附录 D.5。

为什么还要保留反例？

Wenhao Chai 的 LoopDiT 实验博客在小型 DiT-B/4、MeanFlow 目标下发现，小预算时更多采样步数更划算。MeanFlow 是预测有限时间区间平均速度的生成目标，原始方法见 Mean Flows for One-step Generative Modeling。

博客的预算比较使用 80-epoch checkpoint，作者列出了训练预算和规模的限制。它不能否定 LiFT，却足以阻止我们把“共享权重可以多算”直接推成“这些计算一定有效”。初始化、训练目标、模型容量与评估任务都可能改变结果。

现成模型能改吗：RRT 的共享权重从哪里来

检索到 Relaxed Recursive Transformers（RRT）后，问题具体了许多：原始层并不需要全部丢掉，可以先把它们转换为共享结构，再继续训练。

论文比较了选取前部层、间隔取层、平均对应层权重等初始化。放松共享约束的版本以共享矩阵加上位置独立的低秩增量表示原始层：

$$W_{j,r}\approx \bar{W}_j+B_{j,r}A_{j,r},\qquad \bar{W}_j=\frac1K\sum_r W^{\mathrm{original}}_{j,r}.$$

$j$ 表示共享块内的位置，$r$ 表示原来的逻辑深度。低秩增量按残差的截断 SVD（奇异值分解）初始化；LoRA 即用低秩矩阵乘积表达权重增量，其原始方法见 Hu 等，2021。

图 4：依据 RRT §2.2–2.3 自绘。共享的是基础矩阵，各循环位置的 LoRA 不共享；继续训练时两者都更新。图中只画一个对应矩阵组，实际转换涉及多个层与矩阵。

RRT 的关键贡献是用层独立的低秩增量放松严格共享，在额外参数量与原模型的恢复能力之间折中。论文讨论了增量的秩对原始权重近似精度的影响；其转换后的继续训练会更新共享权重与低秩增量，而非只训练 adapter。见 RRT §2.3、§3.5。

“微调”也要看量级。RRT 的初始化比较用了 15B tokens 的 uptraining（转换后的继续训练）；不能把它理解成几百条任务数据的轻量适配。见 §2.2、§3.4。

后续检索还找到 LoopUS、Closing the Loop 和小模型 adapter 转换实验，见文末清单。它们证明预训练模型改造成循环结构已有直接研究，但这些语言模型结果不能直接替代 DiT 证据。

Layer × timestep：已有论文究竟测了什么

筛选截图中的相关工作时，判断标准从“名字有没有 depth、step”变成了“它到底测量或控制了什么”。下面的公式采用统一记号，便于横向阅读；概括记号不冒充原论文定义。

RMS 指均方根；这里的具体测量定义见 DAR §3。DIFT 与 Hyperfeatures 使用的 PCK 是正确关键点比例，定义见各自评估章节。它们关注“信息在哪”，缓存与剪枝工作关注“哪些计算可以省”，LiFT 的联合网格则直接评价“预算怎样分配”。这几种证据不能相互替代。

从检索清单到贡献判断

这轮阅读最有帮助的变化，是不再按一个共同关键词给论文归类。具体需要核对：改的是权重存储、层执行、token 数量、表示聚合，还是采样过程？对照是否保持 checkpoint、训练 FLOPs 和数据一致？更高分究竟来自循环、额外训练，还是其他新增组件？

FlashLoop 是一个提醒：它从循环冗余出发，优化推理计算与 KV 缓存，但不能据此说明图像生成中的循环已经更经济。Looped-DiT 的同 checkpoint 对照比单纯跨模型排名更接近因果问题；LiFT 的联合网格又比只固定一个轴更完整。即使如此，FID 也不是所有语义能力的代名词，已有实验不能被扩写成通用规律。

会议信息也需要按原始记录核对。MD-DiT 是 NeurIPS workshop，R-MDMs 已核实的是 ICML workshop；“在 ICML 上展示”不能简写成“ICML 主会”。DAR 已注明 NeurIPS 2026 Poster，但截至核对日应写成已接收，而不是会议已经结束。预印本仍然有阅读价值，只是证据状态要写清楚。

目前能稳妥保留的判断是：内部计算深度和外部采样步数确实是两种可调资源，但它们的收益取决于模型如何训练、共享核心有多大，以及评价什么任务。层与时间相关的重要性分析解释了计算不均匀的现象；要评价预算分配，仍需回到等成本的最终生成结果。

本次讨论的论文与阅读范围

下表按问题分类。“机制／实验”表示读到了相应原文部分，不代表逐式复现；“摘要／官方说明”不包含未核实的细节。简称在正文已链接到对应原文。会议状态仅列截至 2026-10-20 能确认的记录；未确认不代表未投稿。

循环生成与推理计算

预训练模型转换

层、时间与表示

概念联系与延伸材料

SpiralFormer、RecurrentGPT、RecursiveVLM、Training-Free Looped Transformers、LoopSpec 曾在检索中出现，未进入本次机制比较。它们分别涉及多分辨率递归、递归调制、多模态递归、冻结模型推理包装和自推测解码；以上仅为摘要层面的定位，不补写未核实的实验结论。原始入口依次为 SpiralFormer、RecurrentGPT、RecursiveVLM、Training-Free Looped Transformers、LoopSpec。

另有 ODEₜ(ODEₗ) 与 Scalable Adaptive Computation for Iterative Generation 被检索为时间／网络计算的背景线索，未在这轮讨论中精读，不据标题推断其具体实验结论。