Un mensaje de Search Console menciona su mapa del sitio. O una cotización de SEO incluye «revisión de robots.txt» como una partida más, y usted no sabe si pagarla, ignorarla o preocuparse. Es una duda razonable a altas horas de la noche, con la laptop abierta y nadie a quien preguntarle. La pregunta de fondo es sencilla: ¿necesita mi sitio web un mapa del sitio, y algo en mi sitio está bloqueando a Google? Puede responder ambas cosas usted mismo en unos dos minutos, sin entrar a su hosting ni tocar una sola configuración. Google tiene una postura clara sobre qué sitios se benefician más de un mapa del sitio, y es posible que su plataforma ya haya creado uno por usted. Lo que sigue le dice qué revisar primero, qué hace cada archivo y cuándo un archivo no le corresponde editarlo a usted.
Puntos clave
Google dice que un mapa del sitio es más útil en sitios grandes, en sitios nuevos con pocos enlaces que apunten a ellos, en sitios con mucho multimedia y en sitios de noticias. Un sitio pequeño y bien enlazado puede funcionar sin uno.
Abra yoursite.com/robots.txt y yoursite.com/sitemap.xml en un navegador; ambos deben mostrar texto legible, no un error ni una pantalla de inicio de sesión.
Un mapa del sitio enumera las páginas para ayudar a Google a encontrarlas, y robots.txt indica a los rastreadores qué URL pueden solicitar.
Para sacar una página de los resultados de búsqueda, use noindex, una contraseña o su eliminación, porque una URL bloqueada en robots.txt todavía puede aparecer sin descripción.
WordPress, Wix, Squarespace y Shopify crean un mapa del sitio automáticamente, así que revise la configuración de su plataforma antes de editar algo a mano.
Google dice que un mapa del sitio ayuda más en sitios grandes, nuevos y con mucho multimedia
La descripción general de mapas del sitio de Google describe un mapa del sitio como un archivo con información sobre las páginas, videos, imágenes y otros archivos de su sitio, y sobre cómo se relacionan entre sí. Ayuda a los motores de búsqueda a rastrear un sitio con más eficiencia. Google dice que un mapa del sitio es especialmente útil si su sitio es grande, si es nuevo y tiene pocos enlaces externos que apunten a él, si tiene mucho multimedia o si aparece en Google News.
Para los sitios pequeños, Google define «small» (pequeño) como unas 500 páginas o menos, contando solo las páginas que quiere que aparezcan en la búsqueda. Un sitio de ese tamaño, con páginas que se enlazan entre sí con claridad, quizá no necesite un mapa del sitio. Google también dice que, en la mayoría de los casos, su sitio se beneficiará de tener uno. Así que, la pregunta útil no es si un mapa del sitio es obligatorio. Es si el suyo existe, carga y enumera las páginas que le importan.
Conviene tener presentes dos límites mientras lee. Un mapa del sitio es una pista que ayuda a Google a encontrar sus URL, y Google decide cuáles rastrear e indexar. Lo mismo aplica a la idea de que un mapa del sitio sube sus posiciones: aporta información, como las fechas de actualización, pero las decisiones de posicionamiento siguen en manos de Google. Un sitio nuevo con unos pocos enlaces que apunten a él es el que más gana con un mapa del sitio, porque Google tiene menos caminos para llegar a sus páginas.
Revise ambos archivos esta noche en unos dos minutos
Empiece por la ruta gratuita, porque responde a la mayor parte de la preocupación sin costo alguno. Solo necesita un navegador, y nada de esto cambia su sitio.
- Abra su robots.txt: Escriba su dominio seguido de `/robots.txt`, por ejemplo `https://yourdomain.com/robots.txt`. Debe ver texto simple, no una página 404, una pantalla de inicio de sesión ni un error del servidor.
- Busque una línea de Sitemap: Muchos archivos robots.txt incluyen una línea que empieza con `Sitemap:` y que indica la dirección completa del mapa del sitio.
- Abra el mapa del sitio: Pruebe esa dirección, o `https://yourdomain.com/sitemap.xml`. WordPress usa `/wp-sitemap.xml`, y algunas plataformas usan un índice de mapas del sitio que apunta a varios mapas más pequeños.
- Confirme el dominio: Las direcciones que aparecen dentro deben mostrar su dominio real y activo, no una dirección de prueba o de staging.
- Revise las reglas: En robots.txt, una línea que dice `Disallow: /` bajo una regla general para todos los rastreadores les indica que se mantengan alejados de todo el sitio. Si ve eso en un sitio activo, avise de inmediato a quien administra su sitio.
Google enumera varios errores que bloquean más de lo que se pretende en su guía para solucionar errores de rastreo. Entre ellos están un `Disallow: /` que afecta a todo el sitio, bloquear el CSS o JavaScript que una página necesita para mostrarse, bloquear el propio mapa del sitio y bloquear una página que lleva una etiqueta noindex. Anote lo que vea en lugar de arreglar algo todavía. Un archivo que carga y enumera las páginas correctas no necesita cambios.
Un robots.txt vacío, o la ausencia total de robots.txt, está bien para un sitio que puede ser rastreado por completo. La introducción a robots.txt de Google lo dice directamente, así que un archivo faltante por sí solo no es motivo para contratar a nadie.
Un mapa del sitio enumera páginas, y robots.txt define qué URL pueden solicitar los rastreadores
Los dos archivos se mencionan juntos, lo que hace que suenen como una sola cosa. Tienen trabajos separados, y la solución de un problema depende del archivo en el que vive.
| Mapa del sitio | robots.txt | |
|---|---|---|
| Qué es | Un archivo que enumera páginas y archivos relacionados que quiere que Google encuentre | Un archivo que indica a los rastreadores qué URL pueden solicitar |
| Dirección habitual | /sitemap.xml, o /wp-sitemap.xml en WordPress | /robots.txt |
| Trabajo principal | Ayudar a Google a encontrar sus páginas y a ver las fechas de actualización | Administrar el tráfico de los rastreadores y omitir recursos poco importantes o parecidos |
| Efecto en la indexación | Una pista; Google decide qué rastrear e indexar | Controla el rastreo; no elimina de forma confiable una página de los resultados |
| Si falta | Un sitio pequeño y bien enlazado todavía puede encontrarse | Un sitio que puede ser rastreado por completo puede usar un archivo vacío o ninguno |
La guía de robots.txt de Google dice que el archivo existe principalmente para administrar el tráfico de los rastreadores y para evitar solicitudes de recursos poco importantes o parecidos. Es un conjunto de solicitudes que los rastreadores bien portados respetan, estandarizado como Robots Exclusion Protocol en la RFC 9309. No es un candado ni una función de seguridad, así que una página privada necesita una contraseña, no una regla en robots.txt.
Google también sugiere dejar robots.txt fuera de las decisiones rutinarias sobre el presupuesto de rastreo (crawl budget). Para un sitio común de pequeña empresa, la configuración predeterminada de la plataforma cubre lo que necesita.
Su plataforma probablemente ya creó ambos archivos
Si su sitio está en WordPress, Wix, Squarespace o Shopify, la plataforma crea el mapa del sitio por usted y lo actualiza cuando cambian las páginas. Por eso la revisión anterior a menudo termina con los dos archivos cargando. La página de ayuda de cada plataforma le da la dirección correcta y le dice quién debe editar qué.
WordPress
WordPress crea por defecto mapas del sitio XML en `/wp-sitemap.xml`, como anunció el equipo central de WordPress, y sirve una respuesta de robots.txt que apunta al índice del mapa del sitio. Un sitio que usa un plugin de SEO puede tener otra dirección de mapa del sitio, así que revise la configuración del plugin antes de dar por hecho que algo falta. Los sitios de WordPress.com también reciben un mapa del sitio generado automáticamente, descrito en la página de mapas del sitio de WordPress.com, comúnmente en `/sitemap.xml`.
Wix
Wix crea y actualiza automáticamente un índice de mapa del sitio en `/sitemap.xml`, como explica su artículo de ayuda sobre el archivo de mapa del sitio, y completar el SEO Setup Checklist (lista de configuración de SEO) puede enviarlo a Google. Wix también sirve un archivo robots.txt y lo actualiza después de cambios relevantes en el sitio. Su artículo sobre la edición de robots.txt trata la edición del archivo como una función avanzada, lo cual es una buena señal para no tocarlo a menos que tenga un motivo específico.
Squarespace
Squarespace crea y actualiza `/sitemap.xml` por su cuenta, y puede verlo siguiendo los pasos de su artículo de ayuda sobre el mapa del sitio. El mapa del sitio no se puede editar a mano, y la configuración de visibilidad de cada página controla qué aparece en él. Para cualquier cosa que involucre robots.txt, revise la configuración actual de Squarespace o pregunte a quien construyó su sitio antes de dar por hecho que puede cambiarla.
Shopify
Shopify crea `/sitemap.xml` automáticamente y lo actualiza cuando cambian productos, páginas, colecciones o publicaciones, como describe su página de ayuda sobre el mapa del sitio. Sirve un archivo robots.txt preconfigurado, y editarlo mediante la plantilla `robots.txt.liquid` es una personalización que la guía de robots.txt de Shopify indica que corresponde a alguien con la habilidad técnica necesaria.
Envíe su mapa del sitio en Search Console una vez que confirme que carga
Si el mapa del sitio carga y enumera las páginas correctas, indíquele a Google dónde está. Enviarlo es un paso único para la mayoría de los sitios, y después le da un informe que puede vigilar. Los pasos de Search Console de abajo siguen la página de ayuda del informe de Sitemaps de Google.
- Elija la propiedad correcta: En Google Search Console, seleccione la propiedad de su dominio activo. Si todavía no la ha configurado, la publicación sobre configuración de Google Search Console para una pequeña empresa explica el proceso.
- Abra Sitemaps: Elija Indexing (Indexación) y luego Sitemaps.
- Agregue la ruta: En el cuadro Add a new sitemap (Agregar un nuevo sitemap), escriba la ruta, por ejemplo `sitemap.xml`.
- Envíelo: Seleccione Submit (Enviar).
- Lea el informe: Revise el estado, la fecha de la última lectura, la cantidad de URL descubiertas y cualquier error de análisis.
El informe solo enumera los mapas del sitio enviados allí. Google puede encontrar otros por su cuenta, así que un mapa del sitio que no aparece en la lista no prueba que Google nunca lo haya visto. Si un mapa del sitio muestra un error, la primera pregunta es si las URL afectadas importan para su negocio, si cargan y si quiere que aparezcan en la búsqueda. Una página redirigida, una página privada o un duplicado en la lista es un asunto de limpieza, no una emergencia.
Para el otro lado de la cuestión de los archivos, Search Console incluye un informe de robots.txt donde está disponible para su propiedad, y muestra si Google puede procesar el archivo público. Para probar una página, use Inspección de URL (URL Inspection) y revise si la página está bloqueada por robots.txt. Los tutoriales que muestran una herramienta aparte, el probador de robots.txt (robots.txt Tester), describen una pantalla anterior, así que siga los menús que realmente ve.
Saque una página de los resultados con noindex, una contraseña o su eliminación
Aquí es donde los dos archivos se confunden con más frecuencia, y donde un movimiento equivocado cuesta más. La gente recurre a robots.txt cuando quiere que una página desaparezca de Google. Ese archivo indica a los rastreadores que no soliciten la URL, y Google dice que una URL bloqueada puede seguir apareciendo en los resultados si se entera de la página por enlaces u otras referencias, por lo general sin descripción.
Las herramientas que sirven para excluir son otras. La guía para bloquear la indexación de Google señala una instrucción `noindex` en la página, la protección con contraseña o la eliminación de la página. Su editor de sitio web o su plugin de SEO normalmente tiene una opción de noindex para cada página.
Un detalle cambia la forma de aplicarlo. Google tiene que rastrear una página para ver la instrucción noindex en ella, así que una regla de robots.txt que bloquea la página impide que noindex funcione. Además, Google no admite una regla noindex escrita dentro de robots.txt. Si una página debe quedar fuera de los resultados, permita el rastreo, agregue el noindex y espere a que Google vuelva a leer la página.
Estos problemas de configuración son los que vale la pena arreglar primero
Cuando algo anda mal, suele ser un pequeño problema de configuración y no un archivo faltante. El orden de abajo empieza por los errores que más pueden costarle.
| Problema | Qué hacer | Tamaño típico del trabajo |
|---|---|---|
| Revisar el dominio equivocado, una dirección de staging o la versión HTTP | Seleccione la propiedad activa y vuelva a enviar el mapa del sitio correcto | Tarea administrativa pequeña |
| Un mapa del sitio válido que nunca se envió | Envíelo en Search Console y vigile el estado | Unos minutos |
| El mapa del sitio enumera URL redirigidas, rotas, privadas o duplicadas | Elimínelas a través de su plataforma o de la configuración de SEO | Pequeño a mediano |
| Un `Disallow: /` en todo el sitio después de un rediseño | Encuentre la regla, elimínela o restrínjala, y luego inspeccione las páginas clave | Pequeño si una configuración lo causó, mediano si hay código de por medio |
| Usar robots.txt cuando el objetivo era noindex | Permita el rastreo y agregue noindex en la configuración de la página | Pequeño por página |
| Un plugin o una edición personalizada cambió la configuración predeterminada de la plataforma | Restaure la configuración predeterminada y pruebe el archivo público | Mediano |
Las soluciones de la tabla son trabajo de archivos y configuración. Una página puede cargar bien, aparecer en el mapa del sitio y aun así no mostrarse en la búsqueda por enlaces internos débiles, una URL canónica diferente o contenido que no le sirve al buscador. Ese es otro problema, y la publicación sobre por qué una página no está indexada en Search Console lo explica. Si acaba de publicar algo nuevo, lograr que Google encuentre una página nueva cubre los siguientes pasos.
Un rediseño o un cambio a una plataforma nueva merece cuidado propio. Las direcciones antiguas, las nuevas y el mapa del sitio cambian todas a la vez, y mudar su sitio web sin perder posiciones en Google explica lo que hay que conservar. Si quiere una visión más amplia de dónde está su sitio, la revisión de su sitio web que puede hacer en una tarde pone estos dos archivos junto con todo lo demás que vale la pena revisar.
Pida ayuda cuando los archivos estén sanos pero las páginas sigan sin aparecer
Puede revisar si los archivos existen en unos minutos, y para muchos sitios ese es el final del trabajo. La ayuda vale su costo cuando la respuesta no es obvia: hay un rediseño o una migración de por medio, una página importante sigue bloqueada, redirigida o ausente del índice, o una configuración de la plataforma va más allá de lo que puede cambiar con seguridad.
Un buen revisor técnico le muestra el problema exacto, señala qué páginas importan, dice si su plataforma ya administra los archivos y separa un arreglo de archivos del trabajo de SEO más amplio. Qué incluye el SEO técnico explica dónde encajan las revisiones de archivos entre las demás. Si los archivos resultan sanos, lo útil puede ser dejarlos en paz y poner el esfuerzo en su contenido, sus enlaces internos y las páginas que leen sus clientes.
Revise lo que sabe sobre mapas del sitio y robots.txt
Elija una respuesta para empezar.
1. ¿Qué controla robots.txt?
2. Quiere que una página quede fuera de los resultados de búsqueda. ¿A qué señala Google?
3. Su sitio funciona en Shopify, Wix o Squarespace. ¿Cuál es el primer paso sensato con el mapa del sitio?
Preguntas frecuentes sobre si su sitio web necesita un mapa del sitio
¿Necesita un sitio pequeño un mapa del sitio?
Google dice que un sitio bien enlazado de unas 500 páginas o menos, contando las páginas pensadas para la búsqueda, quizá no lo necesite. También dice que, en la mayoría de los casos, un sitio se beneficia de tener uno, y su plataforma puede crearlo por usted.
¿Enviar un mapa del sitio garantiza que mis páginas se indexen?
No. Un mapa del sitio ayuda a Google a encontrar sus URL, y Google decide cuáles rastrear e indexar.
¿Qué es robots.txt?
Un archivo de texto en yourdomain.com/robots.txt que indica a los rastreadores qué URL pueden solicitar. Google describe sus usos principales como administrar el tráfico de los rastreadores y omitir recursos poco importantes o parecidos.
¿Cómo envío mi mapa del sitio a Google?
En Search Console, elija su propiedad, abra Indexing (Indexación) y luego Sitemaps, escriba la ruta como sitemap.xml en Add a new sitemap (Agregar un nuevo sitemap) y seleccione Submit (Enviar).
¿Puedo poner noindex en robots.txt?
No. Google no admite una regla noindex en robots.txt. Ponga el noindex en la propia página y deje que Google la rastree para que pueda leerla.
¿Debo editar el robots.txt que creó mi plataforma?
Solo por un motivo específico que usted entienda. Las configuraciones predeterminadas de la plataforma cubren los sitios comunes, y Wix y Shopify tratan la edición del archivo como una tarea avanzada.
Para terminar
Un sitio pequeño y bien enlazado puede funcionar sin mapa del sitio, y Google aun así dice que en la mayoría de los casos un sitio se beneficia de tener uno. La revisión es rápida: abra yourdomain.com/robots.txt y yourdomain.com/sitemap.xml, confirme que ambos cargan desde su dominio activo y busque una regla Disallow para todo el sitio. Un mapa del sitio ayuda a Google a encontrar páginas, robots.txt define qué URL pueden solicitar los rastreadores, y ninguno de los dos sirve para sacar una página de los resultados.
Con esas dos direcciones revisadas y su mapa del sitio enviado en Search Console, sabrá dónde está parado antes de que llegue la siguiente cotización de SEO. Podrá leer un mensaje de Search Console con calma, distinguir una configuración normal de la plataforma de un bloqueo real, y gastar su presupuesto en las páginas que traen clientes.
Si los archivos se ven sanos y sus páginas siguen sin encontrarse, o si quiere que un rediseño o una migración se manejen sin perder su lugar en la búsqueda, Web Leveling puede revisarlo con usted. Nuestro trabajo de optimización para motores de búsqueda incluye las revisiones técnicas junto con el contenido y los enlaces que las rodean, y las revisiones gratuitas de arriba van primero. Trabajamos con pequeñas y medianas empresas de todo el país y del extranjero. Contáctenos sobre sus preguntas de mapa del sitio y robots.txt, y le ayudaremos a leer lo que su sitio le está diciendo a Google.
Términos
Palabras sobre mapas del sitio y robots.txt en este artículo
Toque un término para ver qué significa.
Mapa del sitio. Un archivo que enumera las páginas, imágenes, videos y otros archivos de un sitio para que los motores de búsqueda los encuentren más fácilmente.
robots.txt. Un archivo de texto en la raíz de un sitio que indica a los rastreadores qué URL pueden solicitar.
Rastreo. Cuando un motor de búsqueda solicita y lee las páginas de un sitio.
Indexación. Cuando un motor de búsqueda almacena una página para poder mostrarla en sus resultados.
noindex. Una instrucción en una página que pide a los motores de búsqueda que la mantengan fuera de sus resultados.
Search Console. La herramienta gratuita de Google para ver cómo aparece su sitio en la búsqueda y para enviar un mapa del sitio.
Índice de mapas del sitio. Un mapa del sitio que apunta a varios mapas más pequeños, que algunas plataformas usan.
