视觉识别辅助 (Vision Recognition)
Overview
当前主模型可能不支持直接查看图片。本技能通过智谱 GLM-4.6V 视觉大模型把图片"翻译"成文字描述/OCR 文本,返回给 AI,从而让 AI 能处理任何视觉类任务。
唯一依赖:智谱 API Key(已配置在 ~/.config/opencode/opencode.jsonc 的 provider.zhipu.options.apiKey;也可用环境变量 ZHIPU_API_KEY)。
何时使用本技能(触发条件)
只要满足以下任一情况,就应调用本技能:
- 用户给出一张(或多张)图片文件路径、截图,想让你"看看/识别/分析"它
- 任务需要 OCR(提取图片中的文字、表格、表单、票据内容)
- 需要描述图片内容、识别图中的物体/人物/场景/图表
- 用户要求比对图片、验证图片上的信息,或基于截图完成后续工作
使用步骤
1. 确认目标与提示词
根据任务选择识别提示词(--prompt):
- 通用描述:请详细描述这张图片的内容。
- OCR 文字:请识别并输出图中的全部文字,保持原有排版和顺序。
- 表格/表单:图中的表格/表单是什么?请按行列输出每个单元格的内容。
- 多图对比 / 细节核实:请仔细查看图中是否存在 X,并说明位置。
2. 调用脚本
python "<技能脚本路径>/vision.py" "<图片路径>" --prompt "提示词"
技能脚本位于本技能目录:scripts/vision.py。
运行前用 python "<…>/vision.py" --help 确认参数可用。
常见参数:
- --model:默认 glm-4.6v,可换 glm-4v-flash(免费,但输出长度受限)、glm-5v-turbo
- --json:输出原始 JSON(含 token 用量),需要精确解析时使用
- 图片支持本地文件或 http(s):// 图片 URL
3. 处理识别结果
把脚本返回的文本当作"我看到的内容",接续完成用户的实际任务:
- 若是问答 → 基于识别文本作答
- 若是整理 → 结构化输出/写入文件/填表
- 若是验证 → 对照用户预期判断
注意
- 若 API 返回 401,检查 Key 是否失效(config 里
provider.zhipu.options.apiKey)。 - 单张图一次调用;多张图逐张调用后合并结果。
- 识别结果受模型能力限制,遇到模糊/遮挡内容可换
glm-5v-turbo或要求用户提供更清晰图片。 - 不要对识别出的机密信息在对话中重复外泄。