Vibe Coding XR 是一种快速原型开发工作流,它将开源 XR Blocks 框架与 Gemini Canvas 相结合,能够将用户提示直接转化为具备完整交互性和物理感知能力的 WebXR 应用,并运行于 Android XR 平台。借助这一工作流,创作者无论是在桌面端的模拟环境中,还是在 Android XR 头显设备上,都可以快速测试智能化的空间体验。

通过帮助经验丰富的开发者在头显设备中快速测试新的 UI 界面、3D 交互方式和空间可视化方案,快速验证机制能够避免在可能被放弃的想法上浪费数天的时间,同时也降低了构建交互式教育体验的门槛。

Vibe Coding XR 利用 Gemini 的长上下文能力和思维链推理,使其充当专业的 XR 设计师与工程师角色。
将 XR Blocks 的架构和示例“教给”Gemini,包括房间级 XR 环境的构建规范、包管理机制以及 XR 交互的最佳实践。
底层 XR Blocks 框架基于 WebXR、three.js 和 LiteRT.js 等开放网页技术构建。其核心引擎负责协调空间计算所需的多个子系统,包括环境感知、XR 交互以及 AI 集成。
提示上下文主要包含以下几部分:
谷歌通过多个基于 Vibe Coding 生成的示例原型,展示了这一工作流的广泛适用性:
数学家教:提示“用几何图形可视化欧拉定理,通过不同示例解释顶点、边和面的概念,并进行高亮展示”。Gemini 智能地选择了四面体、立方体和八面体作为示例,在 XR 中将其可视化,并允许用户通过捏合手势切换不同的高亮策略。
物理实验室:提示“创建一个交互式物理实验:天平两侧放置不同重量的物体(带标签),通过增减砝码使天平平衡”。XR 用户可以拿起并放置不同重量的砝码,直观地了解天平的基本工作原理。
沉浸式化学:提示“创建一个交互式化学实验室,用户可通过捏合点火并观察三个实验:在空气中点燃甲烷,将干燥的冷烧杯置于火焰上方,火焰呈淡蓝色,烧杯内壁有水珠凝结;在空气中点燃乙烯,火焰明亮,产生黑烟并释放热量;在空气中点燃乙炔,火焰明亮,产生浓烟并释放热量”。Gemini 设计了教育卡片,并为每个实验渲染了 3D 体可视化效果,营造安全、互动的混合现实体验。
XR 排球:提示“让我用双手打排球,并与周围环境发生碰撞。排球有纹理,从一个红色圆环中缓慢发出,更容易用手击打”。Gemini 创建了一个带纹理的球,可以与双手和物理环境产生互动。
还可以在 XR Blocks Gem 中加入更具体的上下文,例如使用 NASA 系外行星数据、过程式生成,或创建高分辨率纹理,并展示 Vibe Coding XR 流程中的迭代优化能力:
从左到右或从上到下依次为:NASA 星图的沉浸式可视化、城市地图的过程式生成、古埃及金字塔的探索。
