零预算做 AI 音乐 MV 全流程：我用 WorkBuddy 做出了 3 支 1080×1920 竖屏 MV

背景

我做一个小红书音乐账号，目标是零成本运营。最近用 WorkBuddy（腾讯出的 AI 办公工作台）完整跑通了"AI 写歌 → 生成动态背景 → 本地渲染成竖屏 MV"的全流程，3 分多钟的成片渲染只要 6 分钟。这篇文章把完整管线和踩过的坑都分享出来。

整体管线

一句话概括：Melo 出歌 → AI 生成动态背景 GIF → Python + ffmpeg 本地渲染 MV。

第一步：AI 写歌

歌词直接让 AI 写，重点提醒两个经验：

1. 题材必须接地气。失恋、催婚、相亲、打工人这类全民情绪才有流量，技术概念抒情就是自嗨。
2. 15 秒内情绪拉满，副歌提前、前奏短。

生成歌曲用 Melo（免费，中文咬字比同类产品好），具体提示词写法之前的文章有讲，这里不展开。

第二步：让 AI 角色稳定"拿道具"——最值钱的坑

做唱歌背景时我遇到一个难题：想让角色拿麦克风，直接用图生视频，麦克风位置会乱飘，嘴还是外露的。

解决方案是两步走：

1. 先用 ImageGen 生成"角色+道具"的静态底图（input_fidelity 设 high，保证角色长相不变）
2. 再用 VideoGen 基于底图生成动画，提示词里明确写 "Keep the microphone exactly in place"

这个套路适用于所有"角色需要持道具"的场景：折扇、麦克风、乐器都一样。另外如果想让 GIF 复用在多首歌里，可以设计道具遮住嘴部的造型（比如折扇遮嘴），这样口型看不见，一个背景能配所有歌。

第三步：视频转 GIF

VideoGen 出来的是 5 秒 720P 视频，转成循环 GIF 用一行 ffmpeg：

fps=10 + 64 色 + bayer 抖动，400×400 的 GIF 只有 2MB 左右，质量完全够用。

第四步：节拍分析（MV 卡点的灵魂）

MV 要卡点，靠不了肉眼。用 scipy 对音频做 onset 强度分析，提取节拍时间戳存成 beats.json，渲染时按帧号查最近的 beat，触发闪光、粒子爆发、画面震动等特效。

关键参数：hop_length 越小节拍越准，一般 512 够用。前奏和高潮段的 onset 密度差异会自然带动特效节奏，不需要手写时间轴。

第五步：本地渲染——3 分钟成片只要 6 分钟

核心思路是 Python PIL 逐帧合成 + 分片并行：

• 1080×1920、30fps，3 分 50 秒约 6900 帧
• 单进程渲染太慢，按帧区间切成 6 段，用 6 个进程并行
• 每段输出中间 mp4，最后 ffmpeg concat 合并

两个必踩的坑：

1. 分片渲染被中断时，最后一片的 moov atom 可能不完整，concat 会报错。合并前先逐片 ffprobe 检查时长。
2. 字体路径写全。Windows 上直接写 C:/Windows/Fonts/STXINGKA.TTF，相对路径在并行进程里会随机失效。

特效层面，实测有效的组合：频谱能量条（跟着 beats.json 走）、副歌粒子爆发、关键帧闪屏、慢速镜头推拉。别贪多，每段两三种就够。

成本与产出

总结

整条管线里没有一分钱付费工具：歌是免费生成的，渲染是本地 CPU 完成的，唯一花积分的环节是图片/视频生成，每天签到 100 积分完全够用。AI 音乐赛道现在内容还很稀缺，工具链已经成熟到一个人一下午能出一条成片，剩下的就是选题和坚持发。

有问题欢迎评论区交流。