Los rastreadores de IA son robots que recorren tu web para alimentar modelos de lenguaje o para responder en tiempo real a lo que pregunta un usuario en ChatGPT, Perplexity o Gemini. Con el archivo robots.txt puedes decirles si pueden pasar o no. Para la mayoría de empresas que viven de que las encuentren, la respuesta sensata es abrir la puerta a los robots que te dan visibilidad y cerrarla solo cuando haya un motivo claro: contenido de pago, información sensible o un consumo de recursos que el servidor no aguanta.
Qué es el robots.txt (y qué no es)
El robots.txt es un archivo de texto que vive en la raíz de tu dominio (tudominio.com/robots.txt) y da instrucciones a los robots: qué partes de la web pueden rastrear y cuáles no. Lleva décadas usándose con Google y Bing, y ahora también lo leen los rastreadores de IA.
Dos matices importantes:
- Es una petición, no un candado. Los robots serios lo respetan; uno malintencionado puede ignorarlo. Si algo no debe verse, protégelo con contraseña, no con robots.txt.
- Bloquear el rastreo no borra lo que ya se sabe. Si un modelo se entrenó con tu web hace tiempo, cerrarle hoy la puerta no hace que lo olvide.
Quién es quién: los rastreadores de IA más habituales
No todos los robots de IA hacen lo mismo. Conviene distinguir entre los que recogen contenido para entrenar modelos y los que buscan en directo para responder a un usuario (y suelen citar la fuente con enlace).
| Robot | Empresa | Para qué lo usa |
|---|---|---|
| GPTBot | OpenAI | Recoger contenido para entrenar modelos |
| OAI-SearchBot | OpenAI | Mostrar webs en las búsquedas de ChatGPT |
| ChatGPT-User | OpenAI | Visitar una página cuando un usuario lo pide |
| ClaudeBot | Anthropic | Recoger contenido para entrenar modelos |
| PerplexityBot | Perplexity | Indexar webs para sus respuestas con fuentes |
| Google-Extended | Controlar si tu contenido se usa para Gemini (no afecta a Google Search) | |
| CCBot | Common Crawl | Archivo abierto que usan muchos proyectos de IA |
Los nombres y su comportamiento cambian con el tiempo, así que revisa la documentación oficial de cada empresa antes de tocar nada.
Abrir la puerta: qué ganas
Si tu negocio depende de que te encuentren, los asistentes de IA ya son un escaparate más. Cuando alguien pregunta «¿qué agencia de reformas hay cerca de Salamanca?» o «¿qué software de facturación me recomiendas?», el asistente tira de lo que conoce y de lo que encuentra al buscar. Si le has cerrado la puerta, es más difícil que hable de ti.
Dejar pasar a los rastreadores de búsqueda (los que citan fuentes) tiene ventajas claras:
- Puedes aparecer en las respuestas con enlace a tu web.
- La IA describe tu negocio con tus palabras, no solo con lo que dicen terceros.
- Refuerzas tu trabajo de posicionamiento GEO: de poco sirve escribir contenido pensado para la IA si luego no la dejas leerlo.
Cerrar la puerta: cuándo tiene sentido
Hay casos en los que bloquear tiene toda la lógica:
- Tu contenido es tu producto. Medios de suscripción, cursos, bases de datos o informes de pago.
- Información interna o sensible que por error es accesible (aunque aquí la solución real es protegerla, no esconderla).
- Tu servidor sufre. Algunos rastreadores son muy intensos y en un hosting modesto pueden ralentizar la web.
- Una decisión de principios: no quieres que tu contenido entrene modelos comerciales.
Un término medio muy habitual es bloquear los robots de entrenamiento y permitir los de búsqueda: no regalas tu contenido para entrenar, pero sigues optando a salir citado.
Cómo se escribe en el robots.txt
La sintaxis es sencilla. Para bloquear un robot concreto en toda la web:
User-agent: GPTBot
Disallow: /Para permitir que un robot de búsqueda acceda a todo:
User-agent: OAI-SearchBot
Allow: /Y para dejar fuera solo una zona (por ejemplo, el área privada de clientes):
User-agent: PerplexityBot
Disallow: /area-clientes/Algunas recomendaciones prácticas:
- Revisa lo que ya tienes. Muchos plugins de SEO y algunos servicios de CDN añaden reglas automáticamente; puede que ya estés bloqueando robots sin saberlo.
- Cambia una cosa cada vez y apunta la fecha, para poder relacionar cambios con resultados.
- No bloquees por error a Googlebot. Una línea mal escrita puede sacarte de Google, que sigue siendo tu principal fuente de visitas.
- Consulta los registros del servidor si tienes acceso: verás qué robots te visitan y con qué frecuencia.
¿Y el archivo llms.txt?
Es una propuesta reciente para ofrecer a los modelos de IA un resumen ordenado de tu web en formato texto. No sustituye al robots.txt ni está adoptado de forma general, pero puede complementarlo. Lo explicamos con calma en llms.txt: qué es y si tu web lo necesita.
Nuestra recomendación
Para una empresa de servicios, una tienda online o un negocio local, lo normal es dejar pasar a los rastreadores de búsqueda de IA, decidir con calma qué hacer con los de entrenamiento y vigilar que el servidor aguante. Lo que no recomendamos es copiar un robots.txt de internet que bloquea «todo lo que suene a IA» sin pensar en las consecuencias.
Antes de decidir, conviene saber cómo te ven hoy los asistentes. Con una auditoría de presencia en IA comprobamos si apareces, qué dicen de ti y qué está frenando tu visibilidad. Si quieres que revisemos tu robots.txt de paso, hablamos.
¿Hablamos?