Cómo funciona un rastreador

Un rastreador suele empezar con una lista de URL conocidas y descarga su código fuente. A partir de este código, extrae nuevos enlaces y los añade a una lista de espera para la próxima visita, de modo que, con el tiempo, se crea un enorme mapa de la web en constante crecimiento. Este mapa constituye la base de prácticamente todos los pasos posteriores, desde el índice de búsqueda hasta herramientas de análisis específicas y servicios de monitorización.

Consejo: Un mapa del sitio en formato XML agiliza considerablemente este proceso, ya que proporciona al rastreador todas las URL importantes de un solo vistazo, en lugar de que este tenga que descubrirlas primero a través de enlaces individuales.

Este ciclo de carga, análisis y seguimiento se lleva a cabo las 24 horas del día y a una escala enorme, distribuido en la mayoría de los casos entre miles de servidores simultáneamente. De este modo, incluso las páginas web más pequeñas reciben visitas varias veces al día, a menudo sin que los administradores se den cuenta, siempre que no surjan problemas como una actualización repentina del algoritmo. Solo al consultar los registros del servidor se hace realmente visible este tráfico constante de bots, normalmente en una magnitud que sorprende a muchos administradores a primera vista.

• Inicio a través de listas de URL conocidas
• Se lee el código fuente
• Los nuevos enlaces pasan a la lista de espera
• El proceso se ejecuta de forma continua y en paralelo

Tipos de rastreadores

Además de los rastreadores de los motores de búsqueda, existen rastreadores de herramientas de SEO que comprueban de forma específica si una página concreta contiene errores, así como bots de comparación de precios y de archivos. Cada tipo persigue un objetivo propio, aunque la técnica básica subyacente sea similar. A esto se suman ahora los rastreadores de IA, que recopilan contenidos para modelos de lenguaje en lugar de para un índice de búsqueda clásico, lo que difumina cada vez más los límites entre las categorías. Esto hace que a los operadores les resulte más difícil distinguir claramente cada tipo de bot.

• Rastreadores de motores de búsqueda para la indexación
• Herramientas de SEO para la detección de errores
• Portales de precios y comparativas
• Bots de archivo para la historia de la web

Dirigir y controlar los robots de rastreo

A través del archivo robots.txt se puede especificar a qué secciones puede acceder un rastreador. Muchas tiendas excluyen deliberadamente secciones importantes, como el sistema de carrito de la compra, para reducir la carga del servidor y evitar contenidos duplicados. El SEO técnico de una página también influye en la eficiencia con la que un rastreador encuentra las secciones importantes y en la cantidad de recursos que se desperdician en páginas sin importancia. Una estructura de enlaces internos bien planificada dirige además al rastreador de forma específica hacia las páginas que realmente importan, lo que constituye un elemento fundamental de cualquier optimización SEO on-page sólida.

• El archivo robots.txt regula el acceso
• El mapa del sitio lleva a las páginas importantes
• Los bloqueos reducen la carga del servidor
• Los registros del servidor muestran las visitas reales

Errores habituales en el control de los rastreadores

A menudo, se bloquean por error directorios enteros a través del archivo robots.txt, por ejemplo, tras un relanzamiento o una nueva instalación de un CMS. Este tipo de errores suelen pasar desapercibidos durante mucho tiempo, ya que no se aprecian directamente en el aspecto de la página, sino que solo se detectan cuando disminuye el número de visitantes y aparecen informes vacíos en Search Console. Una breve comprobación inmediatamente después de cada cambio técnico importante suele detectar estos errores de inmediato, en lugar de tener que esperar semanas para darse cuenta de ellos.

• No se han detectado bloqueos tras el relanzamiento
• Rutas incorrectas en el archivo robots.txt
• El mapa del sitio no se mantiene actualizado
• Los errores no se detectan hasta más tarde

Entender el presupuesto de rastreo y utilizarlo de forma específica

Cada sitio web recibe de un rastreador solo una cantidad limitada de atención, lo que a menudo se denomina «presupuesto de rastreo». El número de páginas que se visitan y el tiempo que se dedica a ello dependen del tamaño del sitio web, de su rendimiento técnico y de la frecuencia con la que se publican contenidos nuevos. Si este presupuesto se desperdicia en páginas irrelevantes o duplicadas, los contenidos nuevos importantes permanecen sin ser detectados durante más tiempo del necesario.

Quien quiera gestionar el presupuesto de forma consciente debería eliminar sistemáticamente de la estructura de rastreo las secciones que no sean importantes y, en su lugar, crear una jerarquía clara a partir de páginas de categorías y de detalle. Una estructura clara, que permita llegar a la página más importante con pocos clics, resulta de gran ayuda, al igual que un mapa del sitio actualizado periódicamente, tal y como se describe en la sección «Conceptos básicos» de las Herramientas para webmasters.

Incluso los parámetros de URL aparentemente inofensivos, como los de ordenación o seguimiento, generan constantemente, desde el punto de vista de un rastreador, páginas nuevas e independientes desde el punto de vista técnico y, por lo tanto, consumen sin que nos demos cuenta una parte considerable del presupuesto disponible. Una etiqueta «canonical» aplicada de forma sistemática redirige la atención hacia la versión principal propiamente dicha y evita que los duplicados consuman recursos innecesariamente.

• El presupuesto es, por naturaleza, limitado
• Las páginas sin importancia desperdician capacidad
• Una jerarquía clara de las páginas facilita la visión general
• El mapa del sitio actualizado redirige de forma específica

Los registros del servidor como herramienta para el control de los rastreadores

Los registros del servidor muestran exactamente cuándo y qué rastreador ha visitado qué página, independientemente de lo que muestren posteriormente las herramientas de análisis del navegador. Estos datos brutos ofrecen, por tanto, una perspectiva que las herramientas clásicas de análisis web, por su propia naturaleza, no reflejan, ya que se centran en los visitantes humanos, tal y como describen los fundamentos del análisis en marketing.

Merece la pena revisar estos registros con regularidad, sobre todo tras cambios técnicos, como por ejemplo tras un relanzamiento, ya que en ellos se aprecia de inmediato si los rastreadores encuentran nuevas páginas con errores o si, de repente, las secciones importantes reciben menos visitas. Quien descuide esta comprobación, a menudo no se da cuenta de los problemas hasta semanas más tarde, cuando observa una disminución en el número de visitantes.

Quien quiera analizarlo con más detalle debería comprobar además si un supuesto bot procede realmente del proveedor indicado, ya que algunos programas maliciosos se hacen pasar falsamente por rastreadores conocidos para eludir los bloqueos. Una simple comparación de la dirección IP con los rangos oficiales del proveedor en cuestión permite aclarar rápidamente esta cuestión.

• Las visitas de bots se pueden identificar con precisión en el registro
• Complementa de forma útil el análisis web clásico
• Es especialmente importante tras los cambios técnicos
• Sistema de alerta temprana para problemas de rastreo

Qué hacen los rastreadores de IA

Un rastreador de IA, al igual que cualquier bot, descarga el código fuente de una página y analiza el texto. Sin embargo, a diferencia del rastreo clásico, rara vez se trata de factores de posicionamiento, sino de material en bruto para un modelo de lenguaje o de una respuesta inmediata y concreta a una pregunta específica del usuario.

Advertencia: muchos rastreadores de IA solo respetan el archivo robots.txt de forma parcial o utilizan varios agentes de usuario en paralelo, por lo que, a menudo, una sola entrada no basta para mantener el control total.

Algunos de estos bots recopilan exclusivamente datos de entrenamiento para futuras versiones del modelo, mientras que otros obtienen contenidos nuevos con cada consulta del usuario para generar una respuesta actualizada. Esta diferencia también determina la rapidez con la que los contenidos propios aparecen en las respuestas y el tiempo que la información obsoleta permanece allí sin que una nueva actualización de la página lo corrija automáticamente.

• GPTBot recopila datos para OpenAI
• PerplexityBot recopila contenidos en tiempo real
• Google Extended afecta al entrenamiento de Gemini
• ClaudeBot rastrea modelos de Anthropic

Diferencia con respecto a los rastreadores clásicos de los motores de búsqueda

El Googlebot rastrea una página para incluirla en un índice destinado a la lista de resultados. Los rastreadores de IA, por el contrario, se alimentan bien de un corpus de entrenamiento, bien de una respuesta única generada al instante, sin necesidad de un índice de búsqueda propio en el sentido clásico. Esta falta de estructura de índice dificulta aún más la medición fiable de la propia visibilidad frente a los rastreadores de IA.

Para los administradores, esto supone un doble trabajo a la hora de gestionar el control: una regla en el archivo robots.txt para Google no es válida automáticamente para todos los rastreadores de IA, ya que cada proveedor utiliza sus propios agentes de usuario y sus propias reglas, que, además, pueden cambiar constantemente. Por lo tanto, una vez creada, la lista de bots permitidos o bloqueados debe revisarse y completarse periódicamente, una tarea que ya forma parte integrante del trabajo de cualquier agencia de GEO.

• Googlebot alimenta un índice de búsqueda
• Los rastreadores de IA alimentan modelos o respuestas
• Cada bot necesita sus propias reglas
• El control requiere un mantenimiento constante

Controlar la visibilidad frente a los rastreadores de IA

Quien quiera aparecer en las respuestas de la IA debe permitir activamente los rastreadores de IA; quien no quiera, debe bloquearlos de forma específica. Ambas opciones son posibles a través del archivo robots.txt, pero requieren una decisión consciente en lugar de una configuración predeterminada, ya que un bloqueo generalizado excluye automáticamente también la propia visibilidad en las respuestas de IA, incluso si esa no era la intención.

• Fomentar una mayor visibilidad de la IA
• Restricciones para proteger los contenidos propios
• Revisión periódica del archivo robots.txt
• Aparecen nuevos bots constantemente

Cómo detectar rastreadores de IA en los registros del servidor

Los registros del servidor muestran de forma fiable qué rastreadores de IA visitan realmente una página, independientemente de lo que se permita o se bloquee en el archivo robots.txt. Una revisión periódica de estos registros permite detectar si aparecen nuevos bots o si los rastreadores conocidos han modificado su frecuencia de visitas, lo que a menudo es una primera señal de una creciente visibilidad de la IA. Sin este control, cualquier valoración sobre la propia visibilidad de la IA no pasa, en última instancia, de ser una mera suposición.

• Identificar el User-Agent en el registro
• Seguimiento de la frecuencia de visitas a lo largo del tiempo
• Investigar de forma específica los bots desconocidos
• Adaptar las normas según sea necesario

Configurar paso a paso un rastreador de IA en el archivo robots.txt

Quien desee controlar de forma específica los rastreadores de IA no debería limitarse a una única regla general, sino crear una entrada específica para cada bot relevante. En primer lugar, conviene hacer un análisis de la situación: ¿qué agentes de usuario aparecen en el registro del servidor y a cuáles de ellos se les debe permitir el acceso en el futuro? Solo después se procede a la configuración propiamente dicha del archivo robots.txt con bloques individuales para cada bot.

Además, es importante comprobar realmente los cambios tras su publicación, por ejemplo, mediante las herramientas de verificación de Search Console o revisando de nuevo los registros al cabo de unos días. Solo así se puede comprobar si un bot respeta realmente la nueva regla y si el comportamiento cambia tal y como se deseaba.

Además, resulta conveniente establecer una diferenciación más precisa por directorio, en lugar de una única regla para todo el dominio, por ejemplo, cuando se quiera permitir el acceso a una sección del blog de forma específica, pero bloquear sistemáticamente un portal interno para clientes. Además, algunos rastreadores de IA ignoran el campo «crawl-delay», por lo que la frecuencia real de acceso solo puede observarse de forma fiable a través de los registros, y no únicamente mediante el archivo robots.txt.

• Comprobar si hay bots en el registro del servidor
• Crear un bloque propio para cada agente de usuario
• Probar las reglas tras su publicación
• Comprueba el resultado al cabo de unos días

La interacción entre los rastreadores de IA y el mapa del sitio propio

Un mapa del sitio XML bien mantenido no solo ayuda a los motores de búsqueda tradicionales, sino que también facilita a algunos rastreadores de IA la localización de contenidos actualizados, siempre y cuando el bot en cuestión los tenga en cuenta. Quien aún no sepa cómo configurar su mapa del sitio, encontrará los fundamentos técnicos para ello en una introducción a los conceptos básicos de Webmaster Tools. Además, conviene comprender qué significa que una página haya sido rastreada, ya que este concepto básico también ayuda a interpretar el comportamiento específico de los bots de IA.

Si falta un mapa del sitio actualizado o si contiene URL obsoletas, los rastreadores de IA también desperdician recursos en páginas que ya no son relevantes, en lugar de indexar rápidamente los contenidos nuevos o actualizados. Por lo tanto, el mantenimiento periódico del mapa del sitio resulta doblemente beneficioso, tanto para los rankings tradicionales como para la propia visibilidad en las respuestas de la IA.

Un detalle que a menudo se pasa por alto es la fecha de la última modificación que figura en el mapa del sitio: si este campo se mantiene actualizado correctamente, los bots detectan más rápidamente qué páginas han cambiado realmente desde la última visita, en lugar de tener que volver a comprobar cada URL por completo. Este pequeño ajuste técnico resulta especialmente útil en el caso de las páginas de glosarios que se actualizan con frecuencia.

• El mapa del sitio actualizado facilita la búsqueda
• Las URL obsoletas desperdician recursos
• El mantenimiento es eficaz para el SEO y la IA
• Comprender los conceptos básicos relacionados con el rastreo

Cómo se rastrea una página

El Googlebot sigue los enlaces de una URL a otra y, al hacerlo, descarga el código fuente completo de cada página. Esta visita en sí misma se denomina «rastreo», independientemente de lo que se haga posteriormente con los datos recopilados. Además, el bot recuerda cuándo se visitó por última vez una página y planifica la siguiente visita en función de ello, normalmente basándose en la frecuencia de cambios registrada hasta el momento en la URL en cuestión.

Advertencia: una regla incorrectamente configurada en el archivo robots.txt o una etiqueta «noindex» olvidada impide el rastreo, incluso si el contenido de la página es correcto y funciona sin errores técnicos.

La frecuencia con la que se visita una página depende del denominado «presupuesto de rastreo». Las páginas que se actualizan con regularidad y cuentan con una sólida red de enlaces internos reciben un trato preferente, mientras que las subpáginas descuidadas se visitan con menos frecuencia y, por lo tanto, las actualizaciones tardan más en hacerse visibles. Precisamente en el caso de los sitios web grandes, con miles de subpáginas, este presupuesto influye de manera notable en qué secciones se visitan con frecuencia y cuáles solo de forma ocasional.

• El bot sigue enlaces internos y externos
• El código fuente se carga por completo
• El archivo robots.txt puede bloquear el acceso
• El presupuesto de rastreo controla la frecuencia de las visitas

Que se haya rastreado no significa que se haya indexado

A menudo se confunden los términos «rastreo» e «indexación», pero se trata de dos pasos distintos dentro del mismo proceso. Es posible que se haya visitado una página sin que esta aparezca posteriormente en los resultados de búsqueda, por ejemplo, debido a un contenido escaso, contenido duplicado o instrucciones contradictorias en el código fuente que indiquen al robot que es mejor ignorar la página.

Search Console muestra, para cada URL por separado, si ha sido rastreada pero aún no está indexada, y suele indicar también el motivo. Quien revise este informe con regularidad detectará los problemas mucho antes que si se limitara a observar únicamente el posicionamiento, ya que las caídas en el posicionamiento suelen manifestarse con un retraso apreciable.

• El rastreo es siempre el primer paso
• La indexación se realiza posteriormente
• El contenido escaso ralentiza la indexación
• Cada URL muestra su propio estado

Qué contiene un mapa del sitio XML

Desde el punto de vista técnico, un mapa del sitio es un archivo XML que proporciona, para cada URL, información adicional como la fecha de la última modificación, la frecuencia de actualización o una prioridad relativa. Los motores de búsqueda como Google utilizan estos datos para detectar más rápidamente las páginas nuevas o modificadas, en lugar de desplazarse por el sitio basándose exclusivamente en los enlaces internos.

Un mapa del sitio no garantiza la indexación; es simplemente una invitación al rastreador para que visite determinadas páginas.

Especialmente en el caso de sitios web muy grandes, con miles de subpáginas, o de dominios recién creados que aún no cuentan con muchos enlaces entrantes, un mapa del sitio bien mantenido agiliza considerablemente la localización de nuevos contenidos. Si en el archivo faltan páginas importantes o contiene URL erróneas, se desperdicia un valioso presupuesto de rastreo.

• Fecha de la última modificación por URL
• Prioridad relativa de cada página
• Frecuencia de actualización a título informativo
• Exclusión de contenido duplicado

Por qué los mapas de sitio son importantes para el posicionamiento

Un mapa del sitio no sustituye a una buena estructura de enlaces internos ni a la optimización on-page, sino que complementa ambas medidas. A través de Google Search Console se puede comprobar cuántas de las URL enviadas se han indexado realmente y dónde se producen discrepancias. Estos informes suelen ofrecer las primeras pistas sobre problemas técnicos, como redireccionamientos erróneos, directorios bloqueados o páginas huérfanas sin enlaces internos.

• Comprobar las discrepancias entre el mapa del sitio y el índice
• Detectar a tiempo los redireccionamientos erróneos
• Buscar páginas huérfanas sin enlaces internos
• Revisar periódicamente los informes de indexación

La velocidad de carga del propio archivo del mapa del sitio también influye, sobre todo si contiene varios miles de URL y se sirve desde un servidor de poca potencia. Los rastreadores leen un archivo comprimido y bien estructurado de forma más fiable y rápida en su totalidad que una versión desordenada, de varios megabytes de tamaño y sin una estructura clara.

El mapa del sitio en la práctica del SEO técnico

La creación de un mapa del sitio está estrechamente relacionada con otros factores técnicos, como el rastreo y el tiempo de carga de una página. En el caso de dominios muy grandes, se recomienda dividirlos en varios archivos de mapa del sitio con un índice principal, para que los motores de búsqueda puedan captar la estructura más rápidamente. Además, en caso de relanzamiento, es imprescindible actualizar el mapa del sitio y volver a enviarlo; de lo contrario, seguirá remitiendo a URL antiguas que ya no existen desde hace tiempo.

• Dividir dominios grandes en varios archivos
• Crear un índice general del mapa del sitio
• Volver a enviar después de cada relanzamiento
• Eliminar sistemáticamente las URL antiguas

Resumen de los diferentes tipos de mapas del sitio

Además del mapa del sitio clásico para páginas de texto, existen variantes especializadas para distintos tipos de contenido. Un mapa del sitio de imágenes ayuda a los motores de búsqueda a indexar de forma específica los elementos gráficos de una página; un mapa del sitio de vídeos proporciona información adicional, como la duración o la imagen de vista previa; y un mapa del sitio de noticias resulta relevante para las redacciones con publicaciones muy actuales, ya que se lee con especial rapidez. Para la mayoría de los sitios web pequeños y medianos, basta con un único mapa del sitio bien mantenido para todas las páginas; en cambio, los portales más grandes con diferentes tipos de contenido se benefician de una separación clara por tipo. La variante más adecuada depende del enfoque temático de cada sitio web y, por lo general, puede completarse gradualmente sin necesidad de reconstruir por completo la estructura existente.

• Mapa del sitio de imágenes para gráficos y fotografías
• Mapa del sitio de vídeos con duración e imagen de vista previa
• Mapa del sitio de noticias para los artículos editoriales más recientes
• Un mapa del sitio es suficiente para páginas más pequeñas

Independientemente del tipo elegido, hay que tener en cuenta lo siguiente: un mapa del sitio debe contener únicamente páginas reales y accesibles, y debe actualizarse automáticamente de forma periódica para que no quede obsoleto con el tiempo y no dirija a los rastreadores a enlaces rotos.

Mapa del sitio: Errores habituales en la práctica

Con el paso del tiempo, muchos mapas de sitio contienen URL que hace tiempo que ya no existen, porque se han eliminado o renombrado páginas sin limpiar el archivo en consecuencia. Además, las redirecciones suelen acabar en el mapa de sitio sin que nadie se dé cuenta, aunque en él solo deberían figurar las direcciones de destino finales a las que realmente se puede acceder. Un sistema de gestión de contenidos que genere mapas del sitio automáticamente puede reducir estos errores, pero no sustituye a una revisión manual periódica.

El mantenimiento riguroso de la estructura de las URL también repercute directamente en el mapa del sitio: quien modifique los enlaces permanentes a posteriori sin eliminar las entradas antiguas generará enlaces erróneos de forma permanente.

• Eliminar páginas eliminadas del mapa del sitio
• Introduce solo las direcciones de destino finales
• No hay que confiar ciegamente en la generación automática
• Actualizar sistemáticamente los cambios en los enlaces permanentes

Combinar los datos del mapa del sitio con herramientas de análisis

Un mapa del sitio bien mantenido solo ofrece una visión completa cuando se combina con datos reales de los usuarios. A través de Google Analytics se puede comprobar si las URL del mapa del sitio reciben realmente visitas o si determinadas secciones apenas se consultan a pesar de estar indexadas.

Esta combinación suele mostrar, con mayor rapidez que los informes basados únicamente en el rastreo, qué páginas deben revisarse en cuanto a su contenido o eliminarse de la estructura, ya que no son relevantes ni para los motores de búsqueda ni para los visitantes.

• Comparar los datos del mapa del sitio con las cifras reales de visitantes
• Identificar las zonas poco frecuentadas
• Priorizar la revisión en función de los datos
• Los informes de rastreo por sí solos no son suficientes

Qué hace exactamente el archivo robots.txt

El archivo se encuentra en el directorio raíz de un dominio y está compuesto por reglas de texto sin formato. Cada regla se dirige a un rastreador concreto mediante la entrada «User-agent» y, mediante «Disallow» o «Allow», establece a qué rutas puede acceder dicho rastreador. Google, Bing y otros motores de búsqueda leen este archivo antes de cada proceso de rastreo y, por regla general, respetan las especificaciones de forma fiable.

Una sola entrada «Disallow» incorrecta en el directorio raíz puede bastar para que todo el dominio quede excluido del índice de Google.

Por eso, este archivo es uno de los ajustes técnicos más delicados de una página web. Basta con una barra olvidada o una ruta demasiado amplia para que queden ocultas secciones que, en realidad, deberían estar visibles. Quien modifique el archivo debería comprobar siempre el resultado antes de que la nueva versión se publique.

• Permitir el acceso de bots concretos de forma selectiva
• Excluir directorios completos del rastreo
• Introducir la ruta al mapa del sitio
• Dirigir el presupuesto de rastreo hacia las páginas importantes
• Proteger el contenido duplicado frente a la indexación

Controlar los rastreadores clásicos de los motores de búsqueda

Googlebot, Bingbot y otros rastreadores de motores de búsqueda similares leen el archivo robots.txt cada vez que visitan la página. Mediante líneas específicas de «user-agent», se puede definir una regla propia para cada bot, por ejemplo, para que Bing vea secciones diferentes a las que ve Google. Google Search Console ofrece una herramienta de prueba específica para ello, con la que se pueden comprobar URL concretas frente al archivo actual antes de que un cambio surta efecto. Especialmente en el caso de las grandes tiendas online con páginas de filtrado o rutas de carrito de la compra, una configuración adecuada evita que se desperdicie un valioso presupuesto de rastreo en páginas irrelevantes.

• Establecer reglas específicas para cada motor de búsqueda
• Excluir las páginas de filtros y de la cesta de la compra
• Utilizar la herramienta de pruebas antes de cada modificación
• Definir el retraso de rastreo según sea necesario

Los rastreadores de IA y el nuevo panorama de los bots

Además de los motores de búsqueda clásicos, hoy en día un número cada vez mayor de rastreadores de IA lee el archivo robots.txt, entre ellos GPTBot, ClaudeBot, Google-Extended o CCBot. Mediante entradas propias en el campo «User-agent» se puede determinar si estos sistemas pueden recopilar contenidos para datos de entrenamiento o utilizarlos para respuestas en tiempo real. Este control se ha convertido ya en un componente esencial de una estrategia de visibilidad técnica adecuada, tal y como se comprueba en nuestra auditoría SEO/GEO. También en el caso de un relanzamiento, la revisión del archivo robots.txt es uno de los primeros pasos, para evitar que se transfieran bloqueos no deseados a la nueva página. Quien desee tener en cuenta además los factores de posicionamiento estructurados, encontrará enfoques más detallados en nuestro artículo sobre optimización on-page.

• Permitir el acceso específico a GPTBot y ClaudeBot
• Gestionar por separado Google Extended para el entrenamiento de IA
• Comprobar las reglas antes de cada relanzamiento
• Realizar auditorías periódicas de la visibilidad técnica

Mantener y comprobar correctamente el archivo robots.txt

El archivo no es una tarea que se realice una sola vez, sino que debe actualizarse cada vez que se produzca un cambio importante en la estructura de la página. La creación de nuevos directorios, el cambio de nombre de las rutas o la sustitución del sistema de gestión de contenidos suelen modificar las áreas que realmente deben rastrearse. Una revisión periódica de Search Console permite comprobar si Google se encuentra con bloqueos que ya no son deseados o si algunas áreas importantes siguen bloqueadas por error. Las herramientas externas de análisis técnico también ayudan a poner de manifiesto las diferencias entre la versión actual y una anterior del archivo, antes de que se conviertan en un verdadero problema de visibilidad.

• Comprobar el archivo tras cada cambio de estructura
• Revisar periódicamente las alertas de Search Console
• Comprobar si las restricciones antiguas siguen vigentes
• Documentar los cambios antes de la puesta en marcha

Robots.txt: errores habituales en la práctica

El error más frecuente es una entrada «Disallow» demasiado amplia, que bloquea sin querer secciones enteras de un sitio web, aunque solo se pretendía bloquear un único directorio. Asimismo, las reglas contradictorias, en las que una línea posterior anula una autorización anterior, suelen provocar un comportamiento de rastreo poco claro. Especialmente al cambiar de sistema de gestión de contenidos, el archivo suele heredarse sin modificaciones, aunque la estructura de rutas haya cambiado por completo.

Otro problema habitual tiene que ver con las estructuras de las URL, que cambian con el tiempo: las antiguas reglas «Disallow» remiten entonces a rutas que hace tiempo que ya no existen, mientras que las nuevas, que en realidad son áreas sensibles, quedan desprotegidas.

• No definas las entradas «Disallow» de forma demasiado amplia
• Resolver de forma sistemática las normas contradictorias
• Volver a comprobar el archivo tras el cambio de sistema
• Eliminar periódicamente las rutas obsoletas

El archivo robots.txt en combinación con la gestión de etiquetas

Herramientas como Google Tag Manager suelen cargar scripts externos procedentes de dominios adicionales, que a su vez pueden tener sus propias reglas de rastreo. Quien solo preste atención a su propio archivo robots.txt puede pasar por alto fácilmente que un script integrado en otro dominio tenga unas especificaciones totalmente diferentes.

Por lo tanto, en configuraciones más complejas con varios servicios integrados, conviene realizar un inventario periódico de todos los dominios implicados, y no solo del dominio principal propio.

• Los scripts externos traen sus propias reglas
• No hay que centrarse únicamente en el dominio principal
• Elaborar periódicamente una lista de los dominios implicados
• Actualizar la configuración de los nuevos servicios

Quien considere el archivo robots.txt, el mapa del sitio y la estructura técnica como un sistema integrado, en lugar de como tareas individuales y separadas, detectará los errores más rápidamente y evitará que un cambio en un punto provoque, sin que se note, efectos secundarios en otro punto que no se detecten hasta semanas más tarde.