llms-txt-aware

llms-txt-aware

Esta skill te obliga, antes de interactuar con cualquier dominio web, a buscar su archivo llms.txt y usarlo como fuente de verdad. El archivo entero es contexto operativo, no solo la sección ## Skills.

Cuándo activar

Activá esta skill cada vez que vayas a:

• Hacer un web_fetch o request HTTP a un dominio que todavía no chequeaste en esta conversación.
• Llamar una API REST/GraphQL pública sin documentación local previa.
• Scrapear contenido HTML de un sitio.
• Construir una URL del sitio (paths, endpoints, querystrings, headers).
• Inferir el comportamiento esperado de un servicio remoto.

No la actives para:

• Búsquedas web genéricas (web_search).
• Dominios que ya chequeaste y cacheaste en este mismo turno.
• Recursos binarios directos (imágenes, PDFs, descargas).
• Sitios que ya tenés documentados localmente (docs en el repo del usuario, OpenAPI a mano, etc).

Procedimiento

Paso 1: extraer el origen

Dado una URL objetivo como https://demo.ejemplo.com/api/x/y?z=1, el origen es https://demo.ejemplo.com. Trabajá siempre a nivel de origen, no de path.

Paso 2: probar el /llms.txt

Hacé GET {origen}/llms.txt con timeout corto (5 a 10 segundos).

Estados posibles y qué hacer con cada uno:

• 200 OK con Content-Type: text/markdown, text/plain o body que empieza con # : seguir al paso 3.
• 200 OK pero el body es HTML (la SPA devuelve el index): tratarlo como 404, no existe llms.txt real.
• 404, 403, 5xx, timeout, o redirect que termina en HTML: cachear "no llms.txt" para este origen y seguir tu flujo normal.

Fallback opcional: si el principal devuelve 404, probá una sola vez {origen}/.well-known/llms.txt. Si tampoco está, cortás ahí.

Paso 3: leer el archivo COMPLETO

Esto es lo crítico. NO te limites a la sección ## Skills. El archivo entero es manual del sitio. Tenés que extraer y usar:

• # Título y > tagline: identidad y propósito del sitio.
• Secciones de endpoints, paths, métodos HTTP, headers requeridos.
• Parámetros con sus tipos, si son obligatorios u opcionales, defaults y límites.
• Respuestas esperadas: códigos HTTP, content-types, forma del payload.
• Cache, rate limits, política de retry.
• Ejemplos canónicos de URLs y bodies.
• Constraints explícitos: paths que NO existen, endpoints que NO hay que llamar.
• Notas para agentes (suelen aparecer como ## Notes for agents, ## For LLMs, ## Agent guidance).
• Sección ## Skills si está, para descubrir skills publicadas (ver paso 5).