无限画布 AI 视频后端架构：Vera1.1 画布坐标映射与特征缓存设计

很多人体验无限画布，只会关注可视化效果：画面向外扩展、多镜头拼接。

但很少有人深究后端发生了什么。同样的模型，小幅外扩运行流畅，做大尺寸四向外扩直接显存爆炸、特征错位、画面撕裂，问题根源大多落在坐标映射出错、缓存管理失效上。

不少开发同学会问：无限画布动态改变分辨率，原有帧特征是怎么对齐到新画布上的？特征缓存为什么时而提速时而吃爆显存？

市面上大多数资料集中在应用层效果演示，后端坐标变换、缓存淘汰逻辑公开信息很少。实际做私有化、API 服务开发，这两块恰恰是故障高发区。Vera1.1 无限画布不是简单 resize + 局部重绘，整套后端架构围绕可变画布做了一整套坐标映射体系与分层特征缓存机制。

一、Vera1.1 无限画布后端整体架构概览

Vera1.1 无限画布依托双流 DiT，在原有空间‑时序模块上层新增画布管理层。整体分为三大语义单元：画布坐标映射模块、掩码生成单元、分层特征缓存管理器。

• 画布坐标映射模块：负责原始视频、外扩区域、新画布之间的空间坐标转换，把旧特征精准映射到新画布 Token 位置。
• 掩码生成单元：结合坐标信息生成保留区、待重绘区、边界过渡掩码，对接三级图像注入架构。
• 分层特征缓存管理器：管理空间特征、时序 KV 缓存，处理画布伸缩后的缓存复用、淘汰、重映射。

可变画幅最大的痛点：每次外扩，Token 矩阵尺寸会发生变化。传统固定尺寸视频推理的缓存机制直接失效。如果直接丢弃全部历史特征重新计算，速度会暴跌；盲目复用旧特征，又会出现坐标错位、物体漂移。

下面是后端开发调试时高频接触的核心配置参数：

用户高频疑问：关闭 canvas_coord_offset_enable 会发生什么？ 关闭之后不再做坐标偏移换算。旧帧特征直接粗暴贴到新画布，外扩后主体画面大概率发生偏移、物体错位，边界出现大量撕裂黑边。仅适合调试定位问题，生产环境禁止关闭。

二、画布坐标映射模块实现原理

无限画布执行外扩、拼接操作之后，输出画布宽高发生改变。原始视频的每一块特征，必须映射到新画布的 Token 网格中，这就是坐标映射模块承担的工作。

2.1 原始坐标系与目标画布坐标系

原始视频拥有一套局部坐标系。当向左、向右、上下做外扩，原始画面在新画布里面会发生整体偏移。

举个简单例子：原始 1280×720 画面，向左外扩 0.5 倍宽度。原始画面所有像素在新画布上 X 坐标整体向右偏移，左侧新增区域属于全新待生成区域。

后端流程拆解：

1. 计算外扩参数，得到目标画布完整宽高，计算原始画面在新画布上的偏移 offset_x、offset_y。
2. 将原始视频每一个 Token 的空间坐标，叠加偏移量，映射到新画布 Token 网格。
3. 根据 coord_interp_mode 做特征插值，把旧特征重采样到新网格位置。
4. 结合掩码，区分 “复用旧特征区域” 和 “需要扩散重绘的外扩区域”。

2.2 坐标映射下的掩码联动

坐标输出结果会直接喂给掩码生成单元。

• 落在原始映射区域：掩码标记为保留区，复用历史特征，降低重绘强度。
• 新增外扩区域：掩码标记生成区，执行扩散重绘。
• offset 周边 coord_padding_margin 范围：设置为边界过渡区，做掩码模糊，避免硬切割。

这里有一个很容易踩坑的细节：坐标映射和掩码必须同步计算。

如果坐标已经偏移，掩码还沿用旧画布位置。就会出现：本该保留的人物被重绘，本该生成的外扩区域直接黑屏。线上不少诡异 badcase 都来自两者不同步。

2.3 不同插值模式的业务表现对比

用户高频疑问：把 coord_padding_margin 调得越大，是不是就可以彻底消除边界撕裂？ 并不是。补边只是缓解边界突变。如果外扩倍率过大，坐标映射本身形变压力高，单纯加大补边参数，只会造成过渡区域画面糊化。

三、Vera1.1 分层特征缓存设计

无限画布场景，缓存远比固定画幅复杂。画布尺寸一变，Token 排布全部改变，旧缓存不能直接读取使用。

Vera1.1 没有使用单一 KV 缓存，采用分层特征缓存设计，分为时序 KV 缓存、空间中间特征缓存两层。

3.1 两层缓存分工

1. 时序 KV 缓存：时序注意力模块使用，保存各帧 K/V，用于滑动窗口时序注意力计算，保证帧间运动一致性。画布变化时，需要根据坐标映射结果做重对齐。
2. 空间中间特征缓存：保存 DiT 中间层空间特征。外扩的时候，把原始区域特征复用，不需要全部重新跑前向传播，用来压缩推理耗时。

feature_cache_layer 参数控制开启哪一层缓存：

• 1：仅保留时序 KV 缓存。显存占用最低，但空间特征每次重新计算，推理速度慢。私有化低配机器常用。
• 2：时序 + 空间双层缓存，Vera1.1 默认配置。速度与显存做折中，绝大多数业务首选。
• 3：全量特征缓存。速度最快，但显存占用暴涨，只适合小倍率外扩场景。

3.2 缓存重对齐与淘汰机制

cache_realign_on_expand开关至关重要。画布尺寸发生变化，旧缓存 Token 位置和新画布不匹配，不能直接复用。

开启后流程：

1. 外扩完成触发画布变更事件。
2. 读取坐标映射表，对缓存内历史特征执行坐标重采样对齐。
3. 重新对齐完成后，淘汰超出 cache_evict_threshold 阈值的老旧缓存条目。
4. 新外扩区域写入全新特征，原始区域复用对齐后的旧缓存。

如果关闭 cache_realign_on_expand：缓存直接沿用旧坐标，特征和画布位置错位，画面物体漂移、错乱概率大幅上升。

下面是 A10‑24G 实测不同缓存层级的性能数据，测试条件：原始 1280×720，横向 1.5 倍外扩，30 帧视频。

真实线上现象：很多同学为了追求速度直接开 3 级缓存。小倍率外扩体验很好，一旦做大倍率四向外扩，显存直接打满，还会伴随特征错位。

四、后端工程落地、参数调优与团队踩坑复盘

看懂架构原理，不等于线上服务稳定跑起来。我们团队在做星桥 API 以及私有化部署对接时，在坐标映射、缓存模块踩过不少坑。下面整理可复用调参清单与团队协作经验。

业务调参经验清单

• 短剧人物口播场景：feature_cache_layer=2、coord_interp_mode=bilinear、coord_padding_margin=8‑12，优先保证人物坐标不偏移。
• 国风漫剧硬线条镜头：可切换coord_interp_mode=nearest，同时适度调高 coord_padding_margin，缓解锯齿撕裂。
• 显存紧张私有化部署：feature_cache_layer=1，牺牲推理速度降低显存压力；不建议使用 3 级全量缓存。
• 大倍率多轮迭代外扩：开启cache_realign_on_expand=True，cache_evict_threshold 下调至 0.7‑0.8，主动更早淘汰老旧无效缓存。

团队协作、研发流程心得

1. 接口层要透出画布相关关键参数。做 API 封装的时候，不要把坐标映射、缓存参数完全黑盒封装。私有化对接客户的研发，需要能够调整这部分配置，否则遇到显存、错位问题无从排查。
2. 建立故障复现用例库。无限画布后端故障具备条件依赖性：同样代码，小倍率外扩正常，大倍率四向外扩就出问题。团队要沉淀一批问题用例，版本迭代做回归测试。修改坐标映射逻辑、缓存淘汰逻辑，必须跑一遍可变画布测试集。
3. 增加可观测埋点。线上服务建议埋点记录：画布偏移 offset、缓存显存占用、缓存重对齐触发次数、缓存淘汰次数。出现画面异常，优先看埋点数据，而不是盲目调整提示词。
4. 分清模块能力边界。坐标映射 + 缓存只能做特征迁移，不能修复原始素材本身的缺陷。业务侧脚本依旧要避免关键人物肢体紧贴画布边缘，不要把全部希望交给后端模块修复。

用户高频疑问：多次迭代外扩，反复修改画布尺寸，缓存会不会累积大量垃圾特征？ 会。多轮外扩之后，即便有淘汰机制，依旧会残留部分失效特征。高要求商用生产，建议多轮外扩之后主动清空一次全部缓存，规避累积错位问题。

五、架构固有的能力边界

这套坐标映射 + 分层缓存方案解决了可变画幅推理，但本身存在客观技术边界，做产品设计需要心里有数。

1. 外扩倍率极大时，坐标重采样插值会带来特征信息损耗。多次迭代外扩，误差不断累积，人物、物体发生偏移概率持续上涨。实测：单次 2 倍以上四向外扩，特征错位概率提升 37%。
2. 缓存加速是有代价的。高等级缓存会占用大量显存。硬件显存不足场景，缓存收益会被 OOM 风险抵消。不存在兼顾极速、超大画幅、低显存占用的完美参数组合。
3. 坐标映射对物体跨边界处理能力有限。当人物肢体刚好跨新旧画布边界，插值重采样很容易造成肢体扭曲残缺。最好从上游分镜层面规避。
4. 画布坐标映射模块和时序注意力、三级图像注入强耦合。修改其中任意一个组件，其余模块都需要适配改动，改动成本高，容易引入隐性 bug。

FAQ（常见问题）

Q1：无限画布外扩后画面主体整体发生偏移，是什么排查思路？ A：优先检查canvas_coord_offset_enable是否开启；核对 offset_x、offset_y 计算是否和外扩参数匹配；确认掩码生成单元使用同一套坐标输出。常见 bug 是坐标计算与掩码两套逻辑独立，参数不同步。

Q2：开启 cache_realign_on_expand 之后，推理耗时突然上涨很多，正常吗？ A：属于正常现象。画布尺寸变更时，缓存重对齐、重采样会带来计算开销。如果频繁切换画布尺寸，对齐开销会被放大。业务尽量减少短时间内频繁多次画布缩放外扩。

Q3：coord_interp_mode 选 bilinear 出现画面模糊，换成 nearest 又出现撕裂锯齿，怎么折中？ A：优先不要单次使用超大外扩倍率，改用多轮迭代外扩；适度调高 coord_padding_margin；也可以外扩完成后增加一轮轻量空间修复，不要单纯依赖插值参数解决。

Q4：feature_cache_layer=3 全量缓存，什么场景才适合打开？ A：仅适合小倍率单向外扩、硬件显存充裕的离线批量生成场景。API 线上服务、私有化低显存机器，不建议开启，容易突发 OOM，服务稳定性下降。

Q5：多段分镜拼接场景，缓存是继承上一段还是清空？ A：Vera1.1 默认会保留部分时序缓存并执行坐标重对齐。超过 3 段连续拼接，建议业务层主动清空缓存，防止历史脏特征不断累积，降低角色漂移错乱风险。