robots.txt es un archivo estándar que les indica a los crawlers y bots qué secciones de tu sitio pueden rastrear e indexar, incluidos los crawlers de IA.
Por qué configurar robots.txt
- Controlá qué páginas pueden indexar los buscadores y los crawlers de IA.
- Protegé secciones privadas o administrativas del rastreo externo.
- Optimizá tu crawl budget para mejorar el SEO de tu sitio.
Para la visibilidad en IA, asegurate de no estar bloqueando por error a los crawlers de IA que querés que te alcancen. Un
robots.txt mal configurado puede dejar a tu marca completamente fuera de las respuestas de IA.Creá tu robots.txt
1
Generar con IA
Abrí Acciones → robots.txt y hacé clic en Generate with AI para obtener un archivo sugerido a medida de tu sitio.
2
Editar
Ajustá las reglas en el editor. El archivo queda Sugerido hasta confirmarlo.
3
Confirmar
Hacé clic en Confirm para fijar el contenido y habilitar la descarga.
4
Descargar y publicar
Subí el archivo a la raíz de tu sitio para que quede accesible en
https://tudominio.com/robots.txt.5
Verificar publicación
Usá Verificar publicación para confirmar que el archivo en vivo coincide con tu contenido confirmado.
Revisá el acceso de crawlers de IA
El Site Check verifica tu robots.txt y las reglas de rastreo para agentes de IA.