eagleeye

EagleEye — DSH / Agent Skills 薄包装

这不是第二个 glance/ground CLI。能力在 MCP 工具 eagleeye_* 上。 本文件只规定：何时用、何时不用、先调哪一层。

仓库计划账号：baimaomaomao556。发布后安装 skill：

npx skills add baimaomaomao556/eagleeye-mcp --skill eagleeye

仍须在 Host 里接入 MCP Server（见仓库 docs/HOSTS.md）；本 skill 不替代 stdio 进程。

先看工具列表

• 对话里已经出现 eagleeye_capture_screen 等工具 → 直接调用，不要自己写 Pillow/Tesseract，也不要改去跑 modlens/vision-tools 的脚本。
• 没有这些工具 → 停下来告诉用户：需要按仓库 docs/HOSTS.md 把 EagleEye 以 stdio MCP 接入当前 Host。不要假装已经截到了屏。

不要用 EagleEye 的时候

• 你已经能看见用户贴的图（原生多模态）→ 自己看，不要再截屏。
• 任务只是「读这张已有图片里的字/布局，输出一份 JSON」→ modlens。
• 任务是长截图 OCR、把界面复原成 HTML、把图标描成 SVG → vision-tools。
• 当前模型被用户规则禁止使用外挂视觉 → 遵守用户规则。

要用 EagleEye 的时候

• 需要当前桌面/指定窗口的真实像素（游戏 UI、前端页面、桌面应用）。
• 需要像素级事实：颜色、偏移、模板是否一致、回归有没有坏。
• 需要把一次捕获的图裁开、放大、再量，并且坐标还能追回屏幕。
• 需要量化「画质/审美」分数、做前后对比（改 UI/美术后再截一张评分，看有没有变好）→ score_image （task=aesthetic|quality，模型 qrealign-mini 默认 / musiq-ava / nima；source_type=model_inference， 非校准概率，用于粗排与对比）。

Windows 上可以用 list_windows / capture_window / capture_window_graphics。 其它平台这些工具会返回 PLATFORM_UNSUPPORTED：改用 capture_screen 或 load_image。

调用顺序

1. Observe：需要等界面出现或加载完成时先 wait_for_visual，再 list_windows / list_monitors（需要时）→ capture_screen / capture_window / load_image。命中后的 image_ref 可直接给后续工具，不要再截一张。
2. Locate：已知坐标 → crop_image；已知颜色 → find_color；已知模板 → template_match；已知文字 → locate_text / ocr；只知道「是什么」→ locate_visual_element（推断，必须复核）。
3. Verify：颜色/尺寸用 get_pixel / sample_region / measure_region；差异用 compare_images；pass/fail 用 compare_with_reference 或 visual_regression（动态区域配 ignore_regions）；画质/审美评分用 score_image。

优先级：算法视觉 > OCR > 视觉模型 > 组合工具。能算不算，能测不猜。

region 参数可传对象 {x,y,width,height}，也兼容 [x,y,w,h] 与 {w,h} 别名。

小尺寸裁剪/放大图（最长边 <512px）送 analyze_image 等前，server 会自动放大预处理 （EAGLEEYE_VISION_MIN_DIM 可配）；若仍 VISION_CALL_FAILED，改用更大范围裁剪或直接对整图提问。

capture_window = 用户屏幕上实际看到的窗口（可能被遮挡）。 capture_window_graphics = 应用渲染表面（可后台），不代表用户当前看见的画面。