最近在跑一条 AI 视频流水线:WorkBuddy 写脚本,MiniMax H3 导演台生成提示词,云端出片。流程顺,但卡在"提示词优化"这一步——ComfyUI 的 MiniMax H3 Easy 节点折腾了一上午连报三个错。把坑和修复记下来,给同样在玩的朋友避雷。
背景:为什么要本地优化
提示词优化是高频操作,每次都走云端要花积分。我的思路是:用本地 Ollama 跑视觉模型做优化,零成本,把积分留给真正值钱的云端生成。链路是:本地 Ollama(免费)+ ComfyUI 导演台 + WorkBuddy 写脚本。下面三个坑都出在 Ollama 和插件的对接上。
坑 1:提示词优化报 400 invalid model name
现象很直接:Prompt optimization API error (400): invalid model name,重启 ComfyUI 也没用。

排查分三步:
第一步,先本地实测 Ollama 的 OpenAI 兼容接口,直接调用完全正常,说明问题不在服务端。
第二步,翻插件配置文件 prompt_optimizer.json,看模型名配置。里面长这样:
{
"profile": "local_qwen",
"model": "qwen3‑vl:8b-instruct"
}
第三步,用十六进制一查——破案了:model 那一行的连字符不是 ASCII 减号,而是一个 U+2011 不间断连字符。它肉眼看和普通减号一模一样,Ollama 只认 ASCII 减号,碰到这个字符直接 400。把这段文字复制到十六进制编辑器里,才能看出那个位置的字节是 E2 80 91,而不是 2D。

修复:把两个 profile 的模型名改成纯 ASCII 的 qwen3-vl:8b-instruct,配置是实时读取的,不用重启,问题立刻消失。
教训:模型名、路径这类字符串,一定要警惕复制或输入法带入的特殊字符。看着一模一样,其实不是同一个字符。
坑 2:request exceeds context size (4096)
字符问题解决,又报新错:请求 5400 tokens 超了 Ollama 默认上下文 4096。原因是提示词优化请求等于长系统提示词加压缩图,token 量本来就大。

修复:建一个 16k 上下文的副本,原模型不动。用 Modelfile 指定上下文参数,内容是:
FROM qwen3-vl:8b-instruct
PARAMETER num_ctx 16384
然后建副本:
ollama create qwen3-vl:8b-instruct-16k -f Modelfile
配置切到新模型,6000+ token 的大请求立刻通过。后来视频参考要抽帧,token 量级更大,又建了 32k 版本(num_ctx=32768),同时把视频压到 512、图片压到 768,双保险。
坑 3:8B 模型"看图"理解弱,指令要结构化
上下文解决了,但发现本地 8B 视觉模型对画面理解偏弱——让它"图1女孩跳视频1的舞",它编出一个雨夜母子故事,完全跑偏。
对策:把指令改成五段式结构(主体 / 动作 / 场景 / 镜头 / 氛围),动作直接写"参考视频1",不让模型自己"看视频理解动作",生成立刻正常。

收益
整个方案跑通:本地 Ollama(免费)+ ComfyUI 导演台 + WorkBuddy 写脚本,提示词优化零成本上线,大请求全部 HTTP 200。这条链路最大的价值,是提示词优化这种高频操作不用花一分钱,把积分花在真正值钱的云端生成上,省下的够多出好几条片。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。