首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >WorkBuddy写脚本+MiniMax H3导演台+本地Ollama免费优化:AI视频提示词避坑实录

WorkBuddy写脚本+MiniMax H3导演台+本地Ollama免费优化:AI视频提示词避坑实录

原创
作者头像
用户12709751
修改于 2026-10-23 18:42:42
修改于 2026-10-23 18:42:42
1221
举报

最近在跑一条 AI 视频流水线:WorkBuddy 写脚本,MiniMax H3 导演台生成提示词,云端出片。流程顺,但卡在"提示词优化"这一步——ComfyUI 的 MiniMax H3 Easy 节点折腾了一上午连报三个错。把坑和修复记下来,给同样在玩的朋友避雷。

背景:为什么要本地优化

提示词优化是高频操作,每次都走云端要花积分。我的思路是:用本地 Ollama 跑视觉模型做优化,零成本,把积分留给真正值钱的云端生成。链路是:本地 Ollama(免费)+ ComfyUI 导演台 + WorkBuddy 写脚本。下面三个坑都出在 Ollama 和插件的对接上。

坑 1:提示词优化报 400 invalid model name

现象很直接:Prompt optimization API error (400): invalid model name,重启 ComfyUI 也没用。

排查分三步:

第一步,先本地实测 Ollama 的 OpenAI 兼容接口,直接调用完全正常,说明问题不在服务端。

第二步,翻插件配置文件 prompt_optimizer.json,看模型名配置。里面长这样:

  {

   "profile": "local_qwen",

   "model": "qwen3‑vl:8b-instruct"

  }

第三步,用十六进制一查——破案了:model 那一行的连字符不是 ASCII 减号,而是一个 U+2011 不间断连字符。它肉眼看和普通减号一模一样,Ollama 只认 ASCII 减号,碰到这个字符直接 400。把这段文字复制到十六进制编辑器里,才能看出那个位置的字节是 E2 80 91,而不是 2D。

修复:把两个 profile 的模型名改成纯 ASCII 的 qwen3-vl:8b-instruct,配置是实时读取的,不用重启,问题立刻消失。

教训:模型名、路径这类字符串,一定要警惕复制或输入法带入的特殊字符。看着一模一样,其实不是同一个字符。

坑 2:request exceeds context size (4096)

字符问题解决,又报新错:请求 5400 tokens 超了 Ollama 默认上下文 4096。原因是提示词优化请求等于长系统提示词加压缩图,token 量本来就大。

修复:建一个 16k 上下文的副本,原模型不动。用 Modelfile 指定上下文参数,内容是:

  FROM qwen3-vl:8b-instruct

  PARAMETER num_ctx 16384

然后建副本:

  ollama create qwen3-vl:8b-instruct-16k -f Modelfile

配置切到新模型,6000+ token 的大请求立刻通过。后来视频参考要抽帧,token 量级更大,又建了 32k 版本(num_ctx=32768),同时把视频压到 512、图片压到 768,双保险。

坑 3:8B 模型"看图"理解弱,指令要结构化

上下文解决了,但发现本地 8B 视觉模型对画面理解偏弱——让它"图1女孩跳视频1的舞",它编出一个雨夜母子故事,完全跑偏。

对策:把指令改成五段式结构(主体 / 动作 / 场景 / 镜头 / 氛围),动作直接写"参考视频1",不让模型自己"看视频理解动作",生成立刻正常。

收益

整个方案跑通:本地 Ollama(免费)+ ComfyUI 导演台 + WorkBuddy 写脚本,提示词优化零成本上线,大请求全部 HTTP 200。这条链路最大的价值,是提示词优化这种高频操作不用花一分钱,把积分花在真正值钱的云端生成上,省下的够多出好几条片。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档