Robots.txt: cómo controla este archivo a los rastreadores y a los bots de IA
El archivo robots.txt es uno de los archivos de control más antiguos de la web y, sin embargo, a menudo está mal configurado. Establece qué secciones de un sitio web pueden visitar los rastreadores de los motores de búsqueda y, cada vez más, también determina si los sistemas de inteligencia artificial utilizan los contenidos como datos de entrenamiento o para respuestas en tiempo real. Nuestro artículo sobre
Qué hace exactamente el archivo robots.txt
El archivo se encuentra en el directorio raíz de un dominio y está compuesto por reglas de texto sin formato. Cada regla se dirige a un rastreador concreto mediante la entrada «User-agent» y, mediante «Disallow» o «Allow», establece a qué rutas puede acceder dicho rastreador. Google, Bing y otros motores de búsqueda leen este archivo antes de cada proceso de rastreo y, por regla general, respetan las especificaciones de forma fiable.
Una sola entrada «Disallow» incorrecta en el directorio raíz puede bastar para que todo el dominio quede excluido del índice de Google.
Por eso, este archivo es uno de los ajustes técnicos más delicados de una página web. Basta con una barra olvidada o una ruta demasiado amplia para que queden ocultas secciones que, en realidad, deberían estar visibles. Quien modifique el archivo debería comprobar siempre el resultado antes de que la nueva versión se publique.
- Permitir el acceso de bots concretos de forma selectiva
- Excluir directorios completos del rastreo
- Introducir la ruta al mapa del sitio
- Dirigir el presupuesto de rastreo hacia las páginas importantes
- Proteger el contenido duplicado frente a la indexación
Controlar los rastreadores clásicos de los motores de búsqueda
Googlebot, Bingbot y otros rastreadores de motores de búsqueda similares leen el archivo robots.txt cada vez que visitan la página. Mediante líneas específicas de «user-agent», se puede definir una regla propia para cada bot, por ejemplo, para que Bing vea secciones diferentes a las que ve Google. Google Search Console ofrece una herramienta de prueba específica para ello, con la que se pueden comprobar URL concretas frente al archivo actual antes de que un cambio surta efecto. Especialmente en el caso de las grandes tiendas online con páginas de filtrado o rutas de carrito de la compra, una configuración adecuada evita que se desperdicie un valioso presupuesto de rastreo en páginas irrelevantes.
- Establecer reglas específicas para cada motor de búsqueda
- Excluir las páginas de filtros y de la cesta de la compra
- Utilizar la herramienta de pruebas antes de cada modificación
- Definir el retraso de rastreo según sea necesario
Los rastreadores de IA y el nuevo panorama de los bots
Además de los motores de búsqueda clásicos, hoy en día un número cada vez mayor de rastreadores de IA lee el archivo robots.txt, entre ellos GPTBot, ClaudeBot, Google-Extended o CCBot. Mediante entradas propias en el campo «User-agent» se puede determinar si estos sistemas pueden recopilar contenidos para datos de entrenamiento o utilizarlos para respuestas en tiempo real. Este control se ha convertido ya en un componente esencial de una estrategia de visibilidad técnica adecuada, tal y como se comprueba en nuestra
- Permitir el acceso específico a GPTBot y ClaudeBot
- Gestionar por separado Google Extended para el entrenamiento de IA
- Comprobar las reglas antes de cada relanzamiento
- Realizar auditorías periódicas de la visibilidad técnica
Mantener y comprobar correctamente el archivo robots.txt
El archivo no es una tarea que se realice una sola vez, sino que debe actualizarse cada vez que se produzca un cambio importante en la estructura de la página. La creación de nuevos directorios, el cambio de nombre de las rutas o la sustitución del sistema de gestión de contenidos suelen modificar las áreas que realmente deben rastrearse. Una revisión periódica de Search Console permite comprobar si Google se encuentra con bloqueos que ya no son deseados o si algunas áreas importantes siguen bloqueadas por error. Las herramientas externas de análisis técnico también ayudan a poner de manifiesto las diferencias entre la versión actual y una anterior del archivo, antes de que se conviertan en un verdadero problema de visibilidad.
- Comprobar el archivo tras cada cambio de estructura
- Revisar periódicamente las alertas de Search Console
- Comprobar si las restricciones antiguas siguen vigentes
- Documentar los cambios antes de la puesta en marcha
Robots.txt: errores habituales en la práctica
El error más frecuente es una entrada «Disallow» demasiado amplia, que bloquea sin querer secciones enteras de un sitio web, aunque solo se pretendía bloquear un único directorio. Asimismo, las reglas contradictorias, en las que una línea posterior anula una autorización anterior, suelen provocar un comportamiento de rastreo poco claro. Especialmente al cambiar de sistema de gestión de contenidos, el archivo suele heredarse sin modificaciones, aunque la estructura de rutas haya cambiado por completo.
Otro problema habitual tiene que ver con las estructuras de las URL, que cambian con el tiempo: las antiguas reglas «Disallow» remiten entonces a rutas que hace tiempo que ya no existen, mientras que las nuevas, que en realidad son áreas sensibles, quedan desprotegidas.
- No definas las entradas «Disallow» de forma demasiado amplia
- Resolver de forma sistemática las normas contradictorias
- Volver a comprobar el archivo tras el cambio de sistema
- Eliminar periódicamente las rutas obsoletas
El archivo robots.txt en combinación con la gestión de etiquetas
Herramientas como
Por lo tanto, en configuraciones más complejas con varios servicios integrados, conviene realizar un inventario periódico de todos los dominios implicados, y no solo del dominio principal propio.
- Los scripts externos traen sus propias reglas
- No hay que centrarse únicamente en el dominio principal
- Elaborar periódicamente una lista de los dominios implicados
- Actualizar la configuración de los nuevos servicios
Quien considere el archivo robots.txt, el mapa del sitio y la estructura técnica como un sistema integrado, en lugar de como tareas individuales y separadas, detectará los errores más rápidamente y evitará que un cambio en un punto provoque, sin que se note, efectos secundarios en otro punto que no se detecten hasta semanas más tarde.
Medios compartidos: definición, importancia y estrategia en el modelo PESO
Consumidores finales: marketing B2C, comportamiento de los consumidores y estrategias
Posicionamiento en el mercado: estrategia, diferenciación y ventajas competitivas
Canal de distribución: selección, tipos y estrategia para una distribución óptima
Marca comercial: significado, estrategia y competencia con la marca del fabricante
Marca propia (private label): desarrollo, ventajas y estrategias en el comercio electrónico
Comentarios en directo en el marketing: participación de la comunidad en tiempo real
La cuenta atrás en el marketing: urgencia, escasez y campañas basadas en el tiempo
Campañas de descuentos en marketing: estrategias, psicología y factores de éxito
Objetivo de facturación en marketing: planificación, cálculo y gestión de campañas basada en los KPI
4.9 / 5.0