
关键词:VR视频透视、VR MR视频、VR180视频透视、VR DLNA服务器、Quest视频透视、VR绿幕合成、Alpha Passthrough、VR本地媒体服务器
最近在折腾 VR 视频时,一直有个痛点: 普通 VR 视频只能“沉浸观看”,但无法和真实环境融合。直到发现这个开源项目 —— VR Video Passthrough Server,直接把普通 VR 视频变成 混合现实(MR)视频。实际体验后,效果非常惊艳,于是整理成完整教程。

VR视频透视服务器 是一个运行在 Windows 的 VR DLNA 本地媒体服务器。
核心目标只有一个:
让所有 VR 视频都能实现透视,变成 MR 视频。
它通过 GPU 实时抠像 + HEVC 编码,把 VR 视频转换成可透视流,然后在 Quest 等头显播放器中直接观看。

版本 | 下载 |
|---|---|
V0.1.0-alpha.6 | https://pan.quark.cn/s/f51712dd4112 |
重要说明

这个项目并不是简单播放器,而是一个完整的 VR视频处理服务器。

两种模式区别:
模式 | 用途 |
|---|---|
Alpha Passthrough | 真正 MR 透视(推荐) |
Green Screen | 绿幕合成兼容模式 |
目前官方没有给最低配置,但根据模型需求可以推断:
项目 | 要求 |
|---|---|
系统 | Windows 10 / 11 |
Python | 3.12 |
显卡 | NVIDIA RTX20 系列以上 |
显存 | ≥6GB(实时) |
高质量离线 | ≥15GB 显存 |
依赖 | FFmpeg / FFprobe |
CUDA显卡列表: https://developer.nvidia.com/cuda/gpus
建议使用最新版 Python 3.12。
pip install uvuv run python main.py启动后即开始运行 DLNA 服务。
uv run python -m ui.app桌面 UI 用于:
基于 Quest 3 实测。
播放器 | Alpha | 绿幕 | 官网 |
|---|---|---|---|
Skybox VR Player | 支持 | 支持 | https://skybox.xyz |
Moon Player | - | 支持 | https://moonvrplayer.com |
4XVR | 支持 | 支持 | https://www.4xvr.net/ |
DeoVR | 支持 | 支持 | https://deovr.com |
HereSphere | 支持 | 支持 | https://heresphere.com |
推荐组合
PT_VIDEO_DIR=D:\VRVideos|E:\MoviesPT_PASSTHROUGH_OUTPUT_MODE=alpha可选:
参数 | 说明 |
|---|---|
none | 关闭 |
green | 绿幕 |
alpha | Alpha透视 |
all | 全部模式 |
项目结构非常工程化:
main.py 服务入口
dlna/ DLNA服务
http_app/ FastAPI接口
pipeline/ 解码 → 抠像 → 编码流水线
offline/ 离线生成
ui/ 桌面UI
models/ AI模型核心技术栈:
技术 | 作用 |
|---|---|
FastAPI | 本地服务器 |
ONNX Runtime | AI推理 |
CuPy | GPU计算 |
PyNvVideoCodec | NVIDIA硬件编码 |
PySide6 | 桌面UI |
项目不训练模型,而是直接调用成熟模型:
模型 | 用途 |
|---|---|
RVM | 实时视频抠像 |
MatAnyone2 | 高质量离线抠像 |
SAM3 | 辅助分割 |
这也是为什么需要 NVIDIA GPU 的原因。
这个项目的意义非常大:
以前: VR视频 = 完全沉浸
现在: VR视频 + 现实环境 = MR视频
本质上,它把所有 VR 视频都升级成了 MR 内容。
如果你有 Quest + NVIDIA 显卡,这个项目非常值得尝试。
如果后续版本更新,我会继续实测整理新版教程。