第 2 课 · Lesson 0002

HCM 四件套构造

Mission: 为组会分享而学 — 把 HCM 从"概念"降到"子件级"可默写

第 1 课你已知 HCM 用 $X_{\text{endo}}$ 造源 $Y_0=\mu_{\text{hist}}+\sigma_{\text{hist}}\delta_{\text{hist}}$。这一课把右端三项拆成四件套(barycenter mapping、uncertainty estimator、manifold projector、coverage constraint),每一件都讲清输入→公式→输出形状→职责。读完后你应能不看论文默写 Eq.4–9 并说清每项为什么存在。

回顾:HCM 替换了什么

标准 FM 从 $Y_0\sim\mathcal N(0,I)$ 出发。KITE 把它换成可学的历史条件流形 $\mathcal H(\mu_{\text{hist}},\sigma_{\text{hist}},\delta_{\text{hist}})$,源样本 $Y_0=\mu_{\text{hist}}+\sigma_{\text{hist}}\,\delta_{\text{hist}}$(Eq.9)。$\mu$ 决定中心在哪、$\sigma$ 决定覆盖多宽、$\delta$ 决定扰动沿哪个低秩方向走。三者都只由内生历史 $X_{\text{endo}}\in\mathbb R^{N\times T}$ 决定。

为什么替换源而非改路径:FM 的传输路径由源和目标唯一确定(直线插值 $Y_s=s\,Y_{\text{endo}}+(1-s)Y_0$)。把 $Y_0$ 搬近目标,等价于缩短传输距离、压平曲率——这是 HCM 全部设计的物理直觉,也是 Appendix Prop 1Prop 2 要形式化的东西。

件 1 — Barycenter Mapping:造中心 $\mu_{\text{hist}}$

$$\boxed{\mu_{\text{hist}}=f_\phi(X_{\text{endo}})\in\mathbb R^{N\times F}}\qquad\text{(Eq.4)}$$

$f_\phi$ 是线性映射或 MLP(论文明确写"linear mapping or a Multi-Layer Perceptron parameterized by $\phi$")。输入 $X_{\text{endo}}\in\mathbb R^{N\times T}$,输出 $\mu_{\text{hist}}\in\mathbb R^{N\times F}$——把历史从 $T$ 步投影到 $F$ 步预测空间的中心位置。"barycenter"即"质量中心",把历史信息压成一个历史依赖的局部中心,贴近目标 $Y_{\text{endo}}$ 的典型位置。

职责:决定源分布的"质心坐标"。Prop 1 的关键量 $\mathbb E[\|Y-\mu(h)\|_1\mid h,c]$ 就是衡量目标相对这个质心的残差——质心越准,残差越小,FM 要传输的距离越短。

件 2 — Uncertainty Estimator:造尺度 $\sigma_{\text{hist}}$

$$\boxed{\sigma_{\text{hist}}=\mathrm{Softplus}(g_\psi(X_{\text{endo}}))+\sigma_{\min}}\qquad\text{(Eq.5)}$$

$g_\psi$ 是 MLP,输出标量(注意是标量,非向量)。Softplus 保证 $\sigma_{\text{hist}}>0$;$\sigma_{\min}>0$ 是基线探索宽度,保证即使 $g_\psi$ 想输出 $-\infty$,$\sigma$ 也不会塌成 0。

异方差性:$\sigma$ 随 $X_{\text{endo}}$ 变化——历史复杂/多变时 $\sigma$ 大、覆盖宽;历史平稳时 $\sigma$ 小、源更尖。这让源分布的"宽度"自适应于历史不确定性。

职责:决定源分布的"扩散半径"。但光有 $\sigma$ 不够——若让它自由学,它会塌成 0 让 $Y_0\to\mu$(退化为确定点),导致源支撑盖不住目标。这就引出件 4 的 coverage constraint

件 3 — Manifold Projector:造扰动 $\delta_{\text{hist}}$

$$\boxed{\delta_{\text{hist}}=\alpha\cdot\frac{Mz}{\|Mz\|}+(1-\alpha)\cdot\epsilon\in\mathbb R^{N\times F}}\qquad\text{(Eq.6)}$$

三个角色:

$\frac{Mz}{\|Mz\|}$ 是归一化——把 $Mz$ 投到单位球面,保证这个分量的范数恒为 1。$\epsilon$ 是各向同性噪声。$\alpha$ 学的是"扰动走低秩流形方向"还是"走纯随机方向"的权衡。

为什么低秩 + 各向同性混合:论文写得很明确——低秩 $M$ 让扰动"对齐目标数据的几何结构"(anisotropic prior aligned with target geometry),防止过拟合到这个低秩流形,同时捕获细微扰动,所以再混一份各向同性 $\epsilon$。

职责:决定源分布的"扰动方向结构"。Prop 1 证明里设 $C_H:=\mathbb E[\|\delta\|_1]$,正是这个归一化让 $\delta$ 的噪声幅度可控,配合 $\sigma$ 的 coverage constraint,保证"加的噪声不过大"。

易错点:$\delta_{\text{hist}}$ 是 $N\times F$ 的,不是标量。它和 $\mu_{\text{hist}}$ 同形状,$Y_0=\mu+\sigma\cdot\delta$ 逐元素运算。$M$ 把 $r$ 维 $z$ 映到 $N\!\times\!F$ 维,所以 $Mz\in\mathbb R^{N\times F}$(把 $N\!\times\!F$ 拉成向量理解)。

件 4 — Coverage Constraint:防 $\sigma$ 塌缩

$$\boxed{L_{CC}=\frac{1}{2}\log\sigma_{\text{hist}}+\frac{\|Y_{\text{endo}}-\mathrm{detach}(\mu_{\text{hist}})\|^2}{2\,\sigma_{\text{hist}}^2}}\qquad\text{(Eq.7)}$$

形式上就是对数高斯负对数似然:把 $\mu_{\text{hist}}$ 当均值、$\sigma_{\text{hist}}^2$ 当方差,衡量 $Y_{\text{endo}}$ 在这个高斯下的负对数似然。但有个关键 trick:

$\mathrm{detach}(\mu_{\text{hist}})$:对 $\mu$ 做 stop-gradient。意思是 $L_{CC}$ 对 $\mu$ 不回传梯度,只对 $\sigma$ 回传。论文原话:"ensuring that this constraint does not interfere with the geometric optimization of the barycenter"——让 $\mu$ 只由 FM 主损失 $L_{\text{FM}}$ 优化几何位置,$L_{CC}$ 专职校准 $\sigma$。

理解 $L_{CC}$ 对 $\sigma$ 的作用:

职责:强制源分布的支撑(由 $\mu\pm\text{几倍}\sigma$ 决定)盖住真值 $Y_{\text{endo}}$。没有它,$\sigma$ 会塌成 0,$Y_0\to\mu$ 成确定点,FM 源丧失多样性。

合成:源 $Y_0$ 怎么进 FM 路径

四件套产出 $\mu,\sigma,\delta$ 后合成源(Eq.9),再进 FM 路径(Eq.8):

$$Y_0=\mu_{\text{hist}}+\sigma_{\text{hist}}\,\delta_{\text{hist}},\qquad Y_s=s\,Y_{\text{endo}}+(1-s)\,Y_0.$$ 训练目标速度 $\hat v=Y_{\text{endo}}-Y_0$,网络回归它。$L_{CC}$ 与 $L_{\text{FM}}$ 联合优化——$L_{CC}$ 管 $\sigma$,$L_{\text{FM}}$ 管 $\mu,\delta,M,\alpha$ 和整个 $v_\theta$。

X_endo (N×T) │ ├─────────────► f_φ ──► μ_hist (N×F) ──────────┐ ├─────────────► g_ψ ──► Softplus + σ_min │ │ ──► σ_hist (标量) ───┐ │ │ z ~ N(0,I_r), ε ~ N(0, I_{N×F}) │ │ │ M ( (N×F)×r ) │ │ │ α (可学) │ │ │ └─► δ = α·Mz/‖Mz‖ + (1-α)·ε (N×F) ──┐ │ │ │ │ │ │ │ Y_endo ────► ‖Y_endo − detach(μ)‖² ────►│ │ │ │ L_CC (只回传 σ) ◄────────┘ │ │ │ │ │ └────────────────────────────────────────────► Y0 = μ + σ·δ (N×F) │ Y_s = s·Y_endo + (1-s)·Y0 │ v̂ = Y_endo − Y0 (训练目标)

一件表收口

公式输出形状管什么被谁优化
Barycenter Mapping$\mu=f_\phi(X_{\text{endo}})$$N\times F$源中心位置$L_{\text{FM}}$($L_{CC}$ detach 掉)
Uncertainty Estimator$\sigma=\mathrm{Softplus}(g_\psi(X_{\text{endo}}))+\sigma_{\min}$标量源扩散半径$L_{CC}$(主)+ $L_{\text{FM}}$
Manifold Projector$\delta=\alpha\frac{Mz}{\|Mz\|}+(1-\alpha)\epsilon$$N\times F$扰动方向结构$L_{\text{FM}}$
Coverage Constraint$L_{CC}$标量防 $\sigma$ 塌缩、盖住目标只回传 $\sigma$
组会上讲 HCM 时,建议这样收口:"HCM 没有改 Flow Matching 的路径形式,它只换了起点 $Y_0$。这个起点由内生历史经四个子件造出:一个线性/MLP 映射把历史压成预测空间的质心 $\mu$;一个 Softplus MLP 给出异方差尺度 $\sigma$;一个低秩可学流形基 $M$ 加各向同性噪声的混合给出结构化扰动 $\delta$;最后 coverage constraint 用对数高斯似然把 $\sigma$ 校准到'刚好盖住真值',并对 $\mu$ stop-gradient 不干扰它的几何优化。结果是源 $Y_0$ 拓扑上贴近目标邻域——这就是 Prop 1 和 Prop 2 要形式化的'传输距离变短'。"

自测

Check 1
Coverage Constraint $L_{CC}$ 对哪个参数 stop-gradient?
对。$\mathrm{detach}(\mu_{\text{hist}})$ 让 $L_{CC}$ 只回传 $\sigma$,不干扰 $\mu$ 的几何优化——$\mu$ 由 $L_{\text{FM}}$ 专职调位置。
Check 2
$\delta_{\text{hist}}$ 里 $\frac{Mz}{\|Mz\|}$ 的归一化保证什么?
对。归一化让 $Mz$ 分量范数固定为 1,于是 $\delta$ 的幅度完全由 $\sigma$ 控制;这也是 Prop 1 证明里 $C_H=\mathbb E[\|\delta\|_1]$ 可控的依据。
Check 3
若没有 $L_{CC}$,$\sigma_{\text{hist}}$ 会怎样?
对。$\sigma\to 0$ 让 $Y_0$ 退化为 $\mu$,源支撑盖不住目标;$L_{CC}$ 的 $\log\sigma$ 与 $\frac{\|Y-\mu\|^2}{\sigma^2}$ 两项联合把这个塌缩压住。
与 TSFlow 的关键差异(组会高频追问):TSFlow 也用信息源替代高斯,但它的源是固定非可学 GP 核规则生成的;HCM 的 $\mu,\sigma,M,\alpha$ 全是可学参数。论文 §4.2 开头明确:"Unlike prior works that rely on non-learnable, rule-based generation"——这是 HCM 相对 TSFlow 的表达力优势所在,也是"固定核→可学流形"的代表性突破。