vision

Vision Skill — 图片理解

DeepSeek 主模型是纯文本模型，无法直接“看”图片。本 Skill 通过 MCP 工具 （analyze_image / analyze_clipboard / compare_images）把图片交给第三方 OpenAI 兼容视觉模型（如智谱 GLM-4.6V、硅基流动 Qwen2.5-VL、通义千问 qwen-vl-plus），再把识别文本返回给主模型。

触发条件

满足以下任一条件时，必须调用视觉工具，而不是假装能看到图片：

1. 用户输入中包含本地图片路径，例如 ./screenshot.png、~/Desktop/photo.jpg、 或绝对路径 /Users/me/1.png。
2. 用户输入中包含图片 URL，例如 https://example.com/foo.png。
3. 用户输入中包含 base64 图片数据（可能带 data:image/...;base64, 前缀）。
4. 用户提到剪贴板：说「看看剪贴板里有什么」「我截图了」「刚复制的图片」 ——调用 analyze_clipboard。
5. 用户要求对比多张图片：说「对比这两张图」「这两张有什么区别」——调用 compare_images，把各图片路径/URL 放进 images 数组。
6. 用户明确要求识别 / 理解 / 描述图片内容，例如：
   • “帮我看看这张图里有什么错误”
   • “提取这张图片里的文字”
   • “这张截图显示了什么报错信息？”
   • “描述一下这张照片的场景”
7. 用户上传了图片但主模型无法直接处理（例如在 DeepSeek Harness / Codex 中以附件形式传入），此时同样应调用工具。

必须执行的操作

1. 先确认工具可用：调用前确认当前会话工具列表里有对应的视觉工具。 若没有，说明 MCP 未加载，提示用户检查配置并重启，不要硬编造结果。

2. 判断图片输入形式：本地路径 / URL / base64 / 剪贴板，选择对应工具：

   • 单张图片 → analyze_image(image=..., prompt=?, task=?)
   • 剪贴板图片 → analyze_clipboard(prompt=?, task=?)
   • 多图对比 → compare_images(images=[...], prompt=?)

3. 选择 task（预置任务，无需自己拼 prompt；也可用 prompt 自定义指令， prompt 优先级更高）：

   task	用途	效果
   describe（默认）	通用描述	详细描述图片内容
   ocr	提取文字	逐字提取，保留排版换行，不做评论
   describe_ui	UI 截图	布局 / 组件 / 可见文字 / 状态
   diagnose_error	报错截图	错误信息 / 原因 / 修复步骤
   understand_diagram	流程图/架构图	类型 / 组成 / 关系 / 目的
   analyze_chart	数据图表	类型 / 坐标轴 / 趋势 / 洞察
   code_from_screenshot	代码截图	语言 / 可编辑代码块

   自定义 prompt 示例：

   • 提取文字：请提取图片中的所有文字，保持原有排版顺序。
   • 找错误：请识别图片中的错误信息，并说明可能的原因。
   • 描述场景：请描述图片中的场景、人物、物体和环境细节。
   • 其他需求：把用户的原始诉求改写为对视觉模型的清晰指令。

4. 调用 MCP 工具：

   analyze_image(image="<路径或URL或base64>", task="ocr")
   analyze_clipboard(task="diagnose_error")
   compare_images(images=["./a.png", "https://example.com/b.jpg"], prompt="对比两者差异")
   

5. 工具返回 JSON：{"success": true/false, "result": "...", "model": "...", "provider": "...", "fallback_used": true/false, "attempts": 0, "usage": {...}, "cached": true/false}。

   • success: true：把 result 中的识别文本直接作为回答呈现给用户， 可适当补充说明（来自哪个模型）；cached: true 只表示命中同会话缓存， 内容仍可正常使用。
   • success: false：把 error 字段（如 IMAGE_LOAD_FAILED、 VISION_API_ERROR、CONFIG_ERROR、CLIPBOARD_ERROR）和 result 中的 错误信息转告用户，并给出修复建议（检查路径/URL 是否有效、API Key 是否 配置、图片是否超限、剪贴板是否有图等）。