创作者们看过来！browser-use 开源 video-use，AI 视频剪辑的另一种思路

“我是大树，一个差点开始放弃折腾的AGI学习与实践者。 最近在探索和从事的事儿：

• 企业出海与AI自动化转型咨询，AGI创作与出海
• 重新拾起自媒体平台，继续倒逼自己动脑和记录日常的所思所感，不止技术

欢迎大家关注微信公众号 做棵大树，有想要长期联系的朋友也可以通过公众号菜单栏找到我~ ”

但凡你过去一年碰过 AI 视频，肯定被以下场景暴击过至少一次：

“打开某个视频生成平台 → 排队 8 小时 → 生成 15 秒 → 不满意 → 再来一次 → 再排 8 小时 ”

这不是段子。Seedance 高峰期等 10 万人排队，生成一条 15 秒的视频要消耗约 30 万 Token，折合约 15 块钱。而为了保证可用率，创作者通常要 "抽卡" 5-10 次才能挑出一条能用的，实际单条成本轻松破 100 元。Sora 更是因为烧钱烧到扛不住，直接被 OpenAI 关了。

我知道你想说啥：「AI 视频是好啊，但用不起啊。」

今天要聊的这个项目——browser-use 团队刚开源的 video-use——就是冲着这个问题来的。而且它给的答案，不是我之前见过的任何一条路。

先搞清楚 video-use 是什么

video-use 不是又一个视频生成平台，也不是 Premiere Pro 的 AI 插件。

它是一个 Skill——一套专门给 AI 编码 Agent（Claude Code、Codex、Hermes Agent 等）用的 "技能包"。把原始视频素材丢进文件夹，跟 Agent 说一句话，等一会儿，就拿到 final.mp4。

官网已经 13000+ star，GitHub Trending 挂了快一周。

它的定位很明确：不做生成，只做剪辑。

而它的核心设计，才是真正让我觉得 "卧槽这思路有点东西" 的地方。

核心创新：不"看"视频，只"读"视频

大多数人在想 "AI 剪辑视频" 的时候，第一反应是什么？

让 AI 逐帧分析视频画面，理解内容，然后做决策。

这是一个天然的思路，但 video-use 的团队算了一笔账：

“一段 20 分钟的视频，每秒 25 帧 = 30000 帧。 每帧粗略算 1500 token → 30000 × 1500 = 4500 万 token 这还只是一轨素材一次分析的消耗。 ”

4500 万 token 是什么概念？按 GPT-5.5 的价格，光 "看" 一遍视频就要花掉 225 美元。而且看完还得分析，分析完还得剪辑——实际消耗翻倍不止。

所以他们换了个思路。

LLM 不擅长看像素，但 LLM 擅长读文本。那就不让它看视频，让它读转写文本。

他们把原始音频提取出来，用 ElevenLabs Scribe 做高精度语音转写，得到带单词级时间戳、说话人识别、音频事件标记（笑声、叹息、掌声）的 JSON。然后打包成一个 ~12KB 的 takes_packed.md 文件。

一段 40 分钟的原始素材，LLM 看到的不是 4500 万 token 的画面噪声，而是 12KB 的结构化文本。

4500万 token vs 12KB 对比图

4500万 token vs 12KB 对比图

需要看画面的地方怎么办？他们还写了个 timeline_view.py，只在 LLM 不确定的时候（比如一段长的沉默、需要确认视觉节奏），按需生成胶片条 + 波形 + 字幕的复合 PNG。按需调用，不是全量喂入。

这个思路不是凭空冒出来的——browser-use 团队本身就是干这个的：他们之前做浏览器自动化的时候，就是让 LLM 读结构化 DOM 而不是直接看网页截图。现在把同一套哲学搬到了视频领域。

DOM for the web. Transcript for video.

6 步流水线

整个剪辑流程走 6 步，比我想象的简洁得多：

转写 → 打包 → LLM 策略 → EDL 生成 → 渲染 → 自评

Step 1: 转写（Transcribe）提取 16kHz 单声道音频，调 ElevenLabs Scribe API 做转写，结果缓存在 transcripts/ 下。同一个素材不会重复转写。

Step 2: 打包（Pack）把 JSON 级别的单词级时间戳，合并成按 0.5 秒静默或说话人切换分割的短语级文本。看不懂一个长 JSON 没关系，打包后的 Markdown 长这样：

[002.52-005.36] S0 Ninety percent of what a web agent does is completely wasted.
[005.36-008.42] S1 Wait — say that again? Ninety percent?
[008.42-012.15] S0 Yeah. And here's the data to back it up.

40 分钟素材，约 12KB。

Step 3: LLM 策略（Reason）Agent 读完转写文本，用自然语言描述剪辑方案——哪些保留、哪些删、节奏怎么安排、片头片尾用什么风格。这个阶段它不能直接操作，策略需要你确认后才能继续。

Step 4: EDL 生成确认后的策略转成 JSON 格式的 edl.json——每个片段的源文件、起止时间、调色预设、叠加动画 ID、字幕风格，全在里面。

Step 5: 渲染（Render）按片段逐个用 ffmpeg 提取 → 调色 → 无损拼接（-c copy）→ 叠加动画 → 压字幕 → 响度标准化。

Step 6: 自评（Self-Evaluation）渲染完成后，AI 自动检查每个剪切点前后 ±1.5 秒——帧是否有跳动、音频是否爆了、字幕有没有被遮挡。出问题就自动修正重渲染，最多 3 轮。全部通过再给你看结果。

整个过程有个细节我特别喜欢：动画渲染是并行跑的。 如果你插入了多段动画（片头、转场、片尾），Agent 会同时启动多个子 Agent 分别渲染，最终等待时间取决于最慢的那个，而不是总和的累加。

video-use 六步剪辑流水线

video-use 六步剪辑流水线

12 条铁律

video-use 的 SKILL.md 里有 12 条不可协商的硬规则，我觉得这才是它比一般开源项目值钱的地方。

挑几条最关键的说说：

12 条规则之外，其他所有东西——调色风格、字幕分段方式、动画时长、节奏——都由 AI 根据素材自主决定。框架是紧的，创作是松的。 这个设计取舍很聪明。

创作者怎么用？

如果你和我一样，日常用 Claude Code 或者 Codex 这类编码 Agent，那上手 video-use 非常简单。

安装

# 1. 克隆项目
git clone https://github.com/browser-use/video-use.git
cd video-use

# 2. 安装依赖
uv sync

# 3. 把 skill 注册到你的 Agent
# Claude Code: symlink 到 ~/.claude/skills/video-use
# Codex: symlink 到 ~/.codex/skills/video-use

# 4. 安装 ffmpeg（macOS）
brew install ffmpeg

# 5. 配置 API Key
cp .env.example .env
# 在 .env 里填写 ElevenLabs API Key

硬依赖只有一个：ElevenLabs Scribe API Key。社区呼声最高的 feature 是加入本地 Whisper 回退，目前还没实现。如果你非得在纯离线环境用，暂时还有点尴尬。

使用

# 进入你的视频素材目录
cd ~/Videos/我的播客素材

# 打开 Agent
claude

# 说出你的需求
# "把我今天的播客素材剪成一个 10 分钟的精简版，
#  去掉所有的 umm 和 uh，调色用 warm cinematic，
#  在开头加一个片头，结尾压字幕"

Agent 会自动完成：整理素材 → 转写 → 出方案 → 等你确认 → 渲染 → 自检 → 给你 edit/final.mp4。

实际成本

之前说了一段 40 分钟的素材转写结果才 12KB，文字处理几乎不花钱。真正的成本大头是 Scribe 转写：

• 一段 20 分钟的播客：几美分
• 一段 90 分钟的原始素材第一次跑：几美元
• 转写是 缓存 的，同一个素材不会重复付费（Rule 9）

之后改剪辑方案、改调色，因为缓存命中，边际成本基本为零。

我算了一笔账：如果往期我用 Premiere 手动剪一集 20 分钟播客大概要 1.5-2 小时，用 video-use 的话，设置加确认 10 分钟，渲染时间取决于素材长度。对于内容量大的创作者，这个提效幅度是实打实的。

适合什么，不适合什么

说实话，video-use 也不是万能的。

它擅长的

• 口播/播客/教程类内容 — 纯语音驱动，转写文本高度准确，剪起来最省心
• 发布会/产品演示 的快速剪辑 — 多个 Take 拼接，加标题字幕，效率拉满
• 视频信/个人 Vlog 的日常剪辑 — 去掉废话、调整节奏、压字幕，一条龙
• 社交媒体多版本输出 — 同一个源素材剪成横版+竖版+精简版+完整版，改改 EDL 就行

它不擅长的

• 纯视觉驱动的创作 — 没有语音轨的素材（纯 BGM、风光片、ASMR），Agent 无法通过文本理解内容
• 精确的特效合成 — ffmpeg 的天花板摆在那，复杂的动态图形、绿幕抠像别指望
• 需要灵感共创的 "感觉派" 剪辑 — AI 可以用规则判断 "好不好"，但很难理解 "这个节奏对不对"
• 多人协作的复杂工程 — 目前还是单人 Agent 的工作模式

抽象层方法论概念图

抽象层方法论概念图

延伸思考：这个思路为什么值得关注

如果你只是把它当成 "又一个 AI 剪辑工具"，那就白看了。

video-use 真正有意思的地方，是它体现了 browser-use 团队设计 AI Agent 的一贯哲学：

“不要问 LLM 去做它不擅长的事。找到问题的结构化抽象层，让 LLM 在那层工作。 ”

做浏览器自动化的时候，他们让 LLM 读 DOM 而不是看截图。做视频剪辑的时候，他们让 LLM 读转写文本而不是看像素。

这不是巧合。

这里面有个很重要的方法论：AI Agent 的能力上限，不只取决于模型本身，更取决于你用什么方式给模型输入。

你让 GPT-5 级模型直接处理像素，它的表现可能不如一个给 Claude Sonnet 喂结构化转录文本的方案。选对抽象层，比选对模型更重要。

这个思路可以延伸到更多场景：

• 做 UI 自动化测试 → 读组件树，别读截屏
• 做文档处理 → 读结构化数据，别读 PDF 截图
• 做音频处理 → 读波形摘要，别读原始 PCM

给 LLM 喂原始数据，就像让你不看地图直接去跑野外——不是做不到，但效率低到离谱。

最后

video-use 是开源的吗？是的，MIT 协议。

立马能代替 Premiere 吗？不能，至少现在不能。

值不值得关注和试试？我觉得值得。

不是因为它在技术上有多牛——虽然那 12KB vs 4500 万 token 的对比确实让我开了眼界——而是因为它代表了另一种思路：不是让 AI 变得更像人，而是找到信息的结构化抽象层，让 AI 在最适合的粒度上工作。

对于做 AI 视频工具的人来说，这套思路可以直接抄作业。

对于内容创作者来说，可能未来半年到一年，一个懂 Agent 的剪辑师，会比只懂 Premiere 的剪辑师更贵。

“下次你打开某个平台看到一个 20 分钟的视频生成排队 8 小时的时候，想想这个对比——4500 万 token 的噪声，vs 12KB 的转写文本。 有些问题，不一定非要用蛮力解决。 ”

如果这篇文章对你有一点启发：

• 💬 欢迎在 评论 区聊聊你的看法——你用过哪些 AI 剪辑工具？踩过什么坑？
• 👍 点个赞/爱心，让我知道这类内容有人看
• 🔁 收藏/转发，如果觉得内容对做视频的朋友有用