robots.txt es un archivo estándar que les indica a los crawlers y bots qué secciones de tu sitio pueden rastrear e indexar, incluidos los crawlers de IA.
Por qué configurar robots.txt
- Controlá qué páginas pueden indexar los buscadores y los crawlers de IA.
- Protegé secciones privadas o administrativas del rastreo externo.
- Optimizá tu crawl budget para mejorar el SEO de tu sitio.
Para la visibilidad en IA, asegurate de no estar bloqueando por error a los crawlers de IA que querés que te alcancen. Un
robots.txt mal configurado puede dejar a tu marca completamente fuera de las respuestas de IA.Creá tu robots.txt
Generar con IA
Abrí Acciones → robots.txt y hacé clic en Generate with AI para obtener un archivo sugerido a medida de tu sitio.
Descargar y publicar
Subí el archivo a la raíz de tu sitio para que quede accesible en
https://tudominio.com/robots.txt.Revisá el acceso de crawlers de IA
El Site Check verifica tu robots.txt y las reglas de rastreo para agentes de IA.