聊AI视频生成，很多人第一反应是VAE怎么压缩、提示词怎么写。

但真正决定生成质量的，是藏在中间的主干网络——DiT（Diffusion Transformer）。它是整个生成流程的"大脑"，VAE压缩后的潜空间数据在这里完成去噪和内容生成。Vera 1.1的核心升级，围绕DiT的架构设计展开。
## DiT到底是什么

先说最基本的概念。传统扩散模型用U-Net做主干，靠卷积层提取特征、恢复细节。DiT做的事情一样，但把U-Net换成了Transformer。

Transformer的自注意力天然擅长长距离依赖——画面左上角和右下角的物体有什么关系，前一帧的运动和后一帧的轨迹怎么衔接，注意力可以直接建模，不需要卷积层一层一层地"传递"信息。

Sora第一次把DiT大规模用到视频生成上，之后Wan、HunyuanVideo、CogVideoX等主流模型几乎全部转向了DiT架构。这是架构层面的代际优势。

## 为什么视频生成要专门设计DiT

可能有人会问：DiT不就是个Transformer吗，图像生成里已经有了，视频直接用不行？

还真不行。视频比图像多了一个时间维度，这个维度带来的挑战是结构性的。

第一，**token数量爆炸**。图像DiT处理二维token序列，视频DiT处理三维——时间×高度×宽度。一段5秒视频，即使经过VAE压缩，token数也可能是单张图像的几十倍。自注意力计算复杂度和token数平方成正比，token翻几十倍，计算量翻几千倍。

第二，**时空依赖要同时建模**。图像只需要空间关系，视频还要时间关系——物体怎么运动、光照怎么变化、消失的主体怎么自然重现。两种依赖特性完全不同，不能用同一套注意力简单处理。

第三，**生成条件更复杂**。图像生成主要靠文本引导，视频生成还要处理首帧参考、运动轨迹、相机位姿等多种条件。这些条件怎么注入DiT，直接影响生成可控性。

## Vera 1.1的四个核心设计

Vera 1.1的DiT主干网络，围绕上述挑战做了针对性设计。这个思路和业界主流一致——HunyuanVideo的双流到单流MM-DiT、Wan系列的交叉注意力注入、FlashVideo的级联DiT，都在解决同样的问题。

### Patch嵌入：把视频变成token序列

DiT的第一步，是把VAE压缩后的潜空间视频切分成patches，每个patch映射成一个token。patch大小直接决定token数量和建模粒度。

patch太大，token少，计算快，但细节粗糙；patch太小，token多，细节好，但计算量飙升。Vera 1.1在patch尺寸上做了平衡，保证空间细节的同时控制token总数。

### 时空注意力：空间细节和时间连贯一起抓

注意力是DiT的核心。视频DiT的注意力设计，目前主要有两条路线。

一条是**全时空注意力**——每个token和所有其他token（包括不同帧的）直接做注意力。HunyuanVideo和Wan 2.7走这条路线，优点是时空依赖建模最充分，缺点是计算量大。

另一条是**分解时空注意力**——先在每一帧内部做空间注意力，再在同一空间位置跨帧做时间注意力。优点是计算效率高，缺点是时空交互不够充分。

Vera 1.1采用混合策略——浅层用分解注意力控制计算量，深层用全注意力强化时空融合。这种设计兼顾效率和质量，是工程实践中的常见选择。

### 3D RoPE：让位置编码适应任意尺寸

Transformer本身没有位置概念，需要靠位置编码告诉每个token"你在哪里"。视频DiT用的是**3D RoPE（旋转位置编码）**——在时间、高度、宽度三个维度上分别施加旋转频率，HunyuanVideo的位置编码通道配置是(16,56,56)，FlashVideo在两级级联中都用了3D RoPE。

3D RoPE的关键优势是**外推性**。训练时见过的分辨率和时长有限，但推理时用户可能要求任意宽高比、任意时长。RoPE通过相对位置编码，能较好地泛化到没见过的尺寸，不需要为每种分辨率单独训练。

### 条件注入：文本和参考帧怎么引导生成

DiT本身只负责"去噪"，生成什么内容靠条件信号引导。条件注入的方式，是DiT架构设计中最能体现差异化的地方。

目前主流有两种方案。一种是**交叉注意力**——文本编码后通过交叉注意力层注入，Wan系列用UMT5文本嵌入。另一种是**MM-DiT（多模态DiT）**——文本token和视频token在自注意力中共享序列，各自有独立的QKV投影和AdaLN调制，HunyuanVideo和Mochi走这条路线。

Vera 1.1做了多通道设计——文本条件走一条通道，首帧参考和运动条件走另一条，两条通道在深层融合。这种设计让不同条件信号各自保持独立性，避免互相干扰。

## 实际能解决什么问题

说了这么多架构，最终要落到用户能感知的效果上。

Vera 1.1的DiT优化后，AI视频工作台在三个方面有了明显提升。

**生成质量提升。** 更深层的全时空注意力让物体运动轨迹更连贯，帧间闪烁减少，画面细节更丰富。

**多分辨率支持。** 3D RoPE的外推性让模型能灵活处理不同宽高比和时长，不需要为每种尺寸单独调整。

**条件可控性增强。** 多通道条件注入让文本、首帧、运动轨迹等条件能同时生效，生成结果更符合预期。
## 写在最后

DiT是AI视频生成的技术基石，也是各家模型差异化竞争的核心战场。

从U-Net到DiT，从二维注意力到三维时空注意力，从单一文本条件到多通道注入——每一次架构演进，都在解决"生成质量"和"计算效率"这对永恒的矛盾。Vera 1.1的设计思路，本质上是在当前技术条件下找到最优平衡点。

星宇智算把这套能力打磨进AI视频工作台，目标很明确：让每一次生成，都更稳、更准、更清楚。

但真正决定生成质量的，是藏在中间的主干网络——DiT（Diffusion Transformer）。它是整个生成流程的"大脑"，VAE压缩后的潜空间数据在这里完成去噪和内容生成。Vera 1.1的核心升级，围绕DiT的架构设计展开。

从底层DiT到视频生成：拆解Vera 1.1主干网络设计思路

人工智能

算法

架构设计

AI视频生成的核心是DiT主干网络，Vera1.1通过Patch嵌入、时空注意力、3DRoPE和条件注入四大设计，优化生成质量与计算效率，支持多分辨率及多条件控制，显著提升视频连贯性和可控性，是技术基石与差异化竞争关键。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

从底层DiT到视频生成：拆解Vera 1.1主干网络设计思路-腾讯云开发者社区-腾讯云

从底层DiT到视频生成：拆解Vera 1.1主干网络设计思路

从底层DiT到视频生成：拆解Vera 1.1主干网络设计思路

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐