uocr

UOCR Skill

⚠️ 前置条件（必须满足才能用）

本 Skill 调用的 mcp__uocr__ocr_image / mcp__uocr__ocr_multi 工具，背后依赖一个本地 OCR 服务，必须先启动：

1. OCR 服务必须在线：另一个终端运行 python serve_ocr.py，监听 http://127.0.0.1:10000
   • 验证：curl http://127.0.0.1:10000/v1/models 应返回模型列表
   • 服务未启动时调用会卡住直到超时（默认 1800s）
2. 环境变量（首次下载模型需要）：HF_ENDPOINT=https://hf-mirror.com（国内）
3. conda 环境：需激活 uocr 环境（含 PyTorch + transformers）

详见项目根目录 README.md。

技能目标

使用 uocr MCP server 识别图片中的文字内容，并在拿到识别结果后，按用户原始诉求继续处理（总结、翻译、结构化、回答问题等）。

核心原则：不要在调用 OCR 工具前猜测图片内容。

触发条件

当任务中出现以下任一情况时，必须使用本技能：

• 用户提供了图片（截图、扫描件、拍照件、文档图片等）
• 用户要求"识别这张图""看看图里写了什么""OCR 一下""读取图片"等
• 任务需要从图片中提取文字信息（例如发票、合同、表单、UI 截图等）

可用工具（由 uocr MCP server 提供）

1. ocr_image — 识别单张图片

参数：

• image_path（推荐）：本地图片绝对路径，例如 D:/docs/page.png
• image_base64：图片 base64 编码（不带 data: 前缀）；没有路径时使用
• prompt：识别任务描述，默认 "document parsing."

调用示例：

{
  "image_path": "D:/aiworkspace/uocr-workspace/inputs/1.jpg"
}

2. ocr_multi — 识别多张图片（多页文档）

参数：

• image_paths：图片路径列表，例如 ["page1.png", "page2.png"]
• prompt：任务描述，默认 "Multi page parsing."

调用示例：

{
  "image_paths": [
    "D:/docs/page1.png",
    "D:/docs/page2.png"
  ]
}

多张图会一起识别，能更好地保留跨页上下文，适合多页扫描件、PDF 转出的多张图。

执行流程

1. 判断工具：

   • 单张图 → ocr_image
   • 多张图（≥2）→ ocr_multi

2. 构造参数：

   • 优先使用 image_path（本地绝对路径）
   • 路径需为绝对路径，正斜杠 / 或双反斜杠 \\ 均可
   • 只有在拿不到本地路径时，才退而使用 image_base64（不带 data: 前缀）

3. 调用工具：调用对应的 mcp__uocr__ocr_image 或 mcp__uocr__ocr_multi。

4. 处理结果：

   • 工具返回的是纯文本识别结果（可能附带一段结构化 JSON）
   • 不要把原始 JSON 直接丢给用户，应整理成易读的形式
   • 拿到结果后，继续按用户的原始诉求处理：
     • 仅识别 → 给出识别文字
     • 要求总结 → 总结
     • 要求翻译 → 翻译
     • 要求结构化 → 输出表格 / JSON / Markdown
     • 要求回答问题 → 基于识别内容作答

5. 格式建议：

   • 按图片版面结构组织（标题、正文、表格、底部按钮等）
   • 繁体内容可附简体摘要
   • 主动给出后续可选操作（翻译、结构化导出、对比其他截图等）

注意事项

• ❌ 不要在调用 OCR 工具前猜测或描述图片内容
• ❌ 不要把工具返回的原始 JSON 直接作为最终答复
• ✅ 单图用 ocr_image，多图用 ocr_multi
• ✅ 优先 image_path，必要时才用 image_base64
• ✅ image_base64 必须去掉 data:image/...;base64, 前缀
• ✅ 拿到结果后必须做二次加工，不能止步于返回原文