Hemos avanzado muchísimo. Ya tenemos una web ultrarrápida y perfectamente adaptada a los móviles. Los robots de Google están en la puerta, con sus motores encendidos, listos y deseando entrar a explorar nuestro increíble sitio. Pero antes de abrirles la puerta y dejar que corran a su aire, ¿no sería genial poder hablar con ellos? ¿Poder tener una conversación previa?.
Imagina que pudieras poner un portero en la entrada de tu web que le dijera a los robots: «Buenas, podéis pasar, pero por favor, no entréis en el almacén ni en los baños de personal, que no hay nada interesante ahí». Y justo después, entregarle a ese mismo robot un mapa VIP personalizado y decirle: «Y ahora que ya sabéis las reglas, aquí tenéis un tour por nuestras mejores salas, nuestras obras de arte, para que no os perdáis ninguna».
Pues bien, puedes hacerlo. Esa conversación con los robots de Google se lleva a cabo a través de dos archivos muy sencillos pero fundamentales: robots.txt y sitemap.xml. En esta guía, te explicaré de forma muy fácil qué son, para qué sirven y cómo puedes gestionarlos para dirigir a Google como un auténtico director de orquesta.
Tip experto SEO: si eres nuevo en todo el tema del posicionamiento seo pega un vistazo a la página principal índice del SEO. Es fundamental, que conozcas términos que vamos a utilizar y créeme necesitas un mapa SEO para dudas que te va a venir muy bien.
Sección 1 – ¿Portero o guía turístico? Entendiendo la diferencia clave
Es vital que no confundas estos dos archivos, porque hacen cosas opuestas pero complementarias.
- robots.txt (El portero de la discoteca): su misión es bloquear y prohibir. Le dice a los robots de Google dónde no deben entrar. Es un archivo de exclusión.
- sitemap.xml (El Guía del tour VIP): su misión es incluir y facilitar. Le da a Google una lista de todas las páginas importantes que sí quieres que visite. Es un archivo de inclusión.
Uno pone las reglas en la puerta, el otro ofrece el mejor recorrido posible. Necesitas ambos para una gestión profesional de tu web.
Vista del sitemap.xml desde el plugin Yoast SEO
Vista del archivo robots.txt en mi web también por el Yoast SEO
Visita esta url para verlo al completo: https://disenowebcreativo.com/sitemap_index.xml. Hay que decir que cada proyecto puede necesitar un archivo robots diferente. Por lo tanto, esto de copiar y pegar a veces no puede funcionar.
Sección 2 – robots.txt – El portero inteligente
Este es un simple archivo de texto que se encuentra en la raíz de tu dominio (puedes intentar visitar tudominio.com/robots.txt para ver el tuyo).
¿Para qué sirve realmente?
Su objetivo principal no es «ocultar» contenido secreto (no es un método de seguridad), sino gestionar el presupuesto de rastreo (Crawl Budget).
La Analogía del Turista con Prisa:
El robot de Google es como un turista que tiene solo 15 minutos para visitar tu museo (tu web). No quieres que pierda 10 de esos minutos visitando los cuartos de la limpieza, los almacenes o las oficinas. Quieres que dedique todo su tiempo a ver tus mejores exposiciones (tu contenido importante).
El robots.txt le dice a ese turista: «No pierdas tiempo en estas salas, ve directamente a las galerías principales». Bloqueamos el acceso a páginas sin valor para el SEO como: la página de administración de tu web (/wp-admin/ en WordPress), los resultados de búsqueda internos, las páginas de carrito de la compra, etc. (estas páginas no aportan negocio, por lo tanto hay que bloquearlas).
La Sintaxis para Principiantes
Un archivo robots.txt se compone de reglas muy simples:
User-agent: Define a qué robot se aplica la regla. User-agent: * significa que la regla es para todos los robots.
Disallow:: Le dice al robot qué página o carpeta tiene prohibido rastrear.
Ejemplo práctico para una web en WordPress:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Traducción humana: «Hola, cualquier robot que me leas. Tienes prohibido entrar en mi carpeta de administración /wp-admin/. Sin embargo, sí te doy permiso para acceder a este archivo concreto admin-ajax.php que es necesario para que la web funcione bien».
¡EL ERROR FATAL QUE NUNCA DEBES COMETER!
Presta mucha atención. Si alguna vez ves esto en tu archivo robots.txt:
User-agent: *
Disallow: /
Significa que le estás prohibiendo a Google el acceso a toda tu web. La barra / representa la raíz de tu sitio. Este simple error puede hacer que tu web desaparezca por completo de los resultados de búsqueda en cuestión de días.
¿Cómo lo creo o edito?
La buena noticia es que rara vez necesitarás tocarlo. Y si lo necesitas, plugins como Yoast SEO o Rank Math en WordPress tienen un editor de archivos integrado en sus herramientas que te permite modificarlo de forma segura sin tener que acceder al servidor.
Sección 3 – sitemap.xml – El mapa del tesoro
Este archivo, normalmente ubicado en tudominio.com/sitemap.xml, es una lista de todas las URLs importantes de tu web que quieres que Google descubra y rastree.
¿Por qué es tan importante para ti?
- Descubrimiento rápido: cuando publicas un nuevo post o creas una nueva página, el sitemap es la forma más rápida de notificárselo a Google, sin tener que esperar a que lo descubra por sí mismo.
- Garantiza la cobertura: si tienes páginas muy profundas en tu web (a muchos clics de la página de inicio), un sitemap asegura que Google las encuentre.
- Aporta información adicional: el sitemap puede decirle a Google cuándo se actualizó una página por última vez, animándole a que la vuelva a rastrear para ver los cambios.
¿Cómo se crea? ¡No tienes que hacerlo a mano!
Relájate compañero, no tienes que escribir código.
La mejor noticia es que, si usas WordPress, los plugins de SEO como Yoast, Rank Math o All in One SEO lo crean y lo actualizan automáticamente por ti. Cada vez que publicas un nuevo post, se añade al sitemap sin que tengas que hacer absolutamente nada. Normalmente, puedes encontrar la URL de tu sitemap en los ajustes generales de estos plugins.
El paso final y crucial: entregarle el mapa a Google
Tener un mapa es inútil si no se lo entregas al explorador. Tienes que decirle a Google dónde está tu sitemap.
- Ve a tu cuenta de Google Search Console (si no la tienes, es el momento de crearla, es imprescindible).
- En el menú de la izquierda, busca la sección «Sitemaps».
- En la parte superior, verás un cuadro que dice «Añadir un sitemap».
- Pega ahí la URL de tu sitemap (normalmente algo como sitemap_index.xml o sitemap.xml).
- Haz clic en «Enviar».
En unas horas o días, verás que el estado cambia a «Correcto». ¡Misión cumplida! Le has entregado tu mapa a Google.
Felicidades, has pasado de ser un simple dueño de una web a ser un director de tráfico para los robots más importantes del mundo. Con el robots.txt, actúas como un portero eficiente, optimizando el valioso tiempo de Google. Con el sitemap.xml, te conviertes en un guía turístico de primera, asegurándote de que no se pierda ninguna de las joyas de tu corona.
Hemos dejado nuestra «casa» (nuestra web) en un estado técnico impecable. Está limpia, ordenada, es rápida, se ve bien en el móvil y tiene las reglas de acceso claras. Es el momento de salir al mundo exterior y empezar a construir nuestra reputación.
¿Cómo conseguimos que otras webs importantes hablen de nosotros y nos enlacen? Esa es la esencia del SEO Off-Page, y nuestra próxima lección te introducirá al factor de ranking más poderoso de todos: los backlinks.
¿Listo para construir tu reputación fuera de tu web? Sigue tu formación aquí: ¿Qué son los Backlinks? Guía para entender el factor de ranking más importante en SEO.
Una configuración técnica incorrecta puede tener consecuencias graves. Si tienes dudas sobre tus archivos robots.txt o sitemap.xml, contacta con nuestro equipo técnico SEO para una revisión de seguridad.
negocio
