macos-computer-use

macOS Computer Use (arka plan, model bağımsız)

computer_use aracın var ve Mac'i arka planda kontrol ediyor. Yaptığın eylemler kullanıcının imlecini hareket ettirmiyor, klavye odağını çalmıyor, Space'i değiştirmiyor. Kullanıcı editörde yazarken sen başka bir Space'teki Safari'de tıklayabilirsin.

Her tool-capable modelle çalışır — Anthropic'e özgü schema yok.

Standart İş Akışı

Adım 1 — Önce capture.

computer_use(action="capture", mode="som", app="Safari")

Numaralı overlay'lerle ekran görüntüsü + AX ağacı döner:

#1  AXButton 'Geri' @ (12, 80, 28, 28) [Safari]
#2  AXTextField 'Adres ve Arama' @ (80, 80, 900, 32) [Safari]
#7  AXLink 'Giriş Yap' @ (900, 420, 80, 24) [Safari]

Adım 2 — Element index ile tıkla.

computer_use(action="click", element=7)

Koordinatlardan çok daha güvenilir. Her modelle çalışır.

Adım 3 — Doğrula. Durum değiştiren her eylemden sonra tekrar capture al:

computer_use(action="click", element=7, capture_after=True)

Capture Modları

mode	Döner	En İyi Kullanım
som (varsayılan)	Ekran görüntüsü + numaralı overlay + AX index	Vision modeller; varsayılan tercih
vision	Sade ekran görüntüsü	SOM overlay görevi engellediğinde
ax	Yalnızca AX ağacı, görüntü yok	Metin tabanlı modeller

Aksiyonlar

capture           mode=som|vision|ax   app=…
click             element=N     VEYA   coordinate=[x, y]
double_click      element=N     VEYA   coordinate=[x, y]
right_click       element=N     VEYA   coordinate=[x, y]
scroll            direction=up|down|left|right   amount=3
type              text="…"
key               keys="cmd+s" | "return" | "escape"
wait              seconds=0.5
list_apps
focus_app         app="Safari"  raise_window=false

Tüm aksiyonlar capture_after=True kabul eder. Tüm element hedefli aksiyonlar modifiers=["cmd","shift"] kabul eder.

Arka Plan Kuralları

1. raise_window=True kullanma — kullanıcı bunu açıkça istemedikçe.
2. Capture'ı uygulamaya kısıtla (app="Safari") — daha az gürültü.
3. Space değiştirme — cua-driver, hangi Space'in görünür olduğundan bağımsız olarak her Space'teki elementleri kontrol eder.