El panel de su proveedor de hosting muestra una ráfaga de solicitudes etiquetadas como Googlebot, y un plugin de seguridad le sugiere bloquearlas. Quiere saber cómo verificar a Googlebot primero, porque bloquear al visitante equivocado es la única jugada que podría costarle tráfico de búsqueda.
La etiqueta no prueba nada por sí sola. Google dice que el User-Agent de Googlebot «is often spoofed by other crawlers» (a menudo lo falsifican otros rastreadores), lo que significa que cualquiera puede escribir ese nombre en una solicitud. Lo que sí prueba es la dirección IP detrás de la solicitud, y comprobarla toma dos búsquedas rápidas.
El tráfico de Googlebot verificado puede dejarse en paz. El tráfico no verificado se puede bloquear con precisión, y bloquear a un impostor no afecta el acceso de Google cuando la regla solo coincide con solicitudes no verificadas. Puede hacer la primera revisión en unos diez minutos.
Puntos clave
Cualquier visitante puede enviar «Googlebot» como su User-Agent, así que lo que usted revisa es la IP de origen, con DNS inverso y directo o contra los rangos IP publicados por Google.
El informe Estadísticas de rastreo (Crawl stats) de Search Console, en Configuración (Settings), muestra lo que Google dice que rastreó, y usted lo pone junto a los registros de su host.
Detenga las solicitudes no verificadas o abusivas en su host, su CDN o su plugin de seguridad, nunca solo por User-Agent, y vuelva a revisar Search Console después.
¿Cómo verifico que una solicitud es realmente Googlebot?
Google ofrece un método directo en su guía para verificar solicitudes de los rastreadores de Google. Usted toma la dirección IP de la solicitud y la revisa de dos maneras. Si pasa cualquiera de las dos, la solicitud es creíble; si falla las dos, está frente a un impostor u otra cosa por completo.
La primera manera son dos búsquedas DNS. Empiece con una búsqueda DNS inversa de la IP, que pregunta qué nombre de host corresponde a esa dirección. El nombre debe terminar en googlebot.com, google.com o googleusercontent.com. Luego haga una búsqueda directa de ese nombre y confirme que devuelve la IP original. La segunda búsqueda importa porque cualquiera puede configurar un registro inverso que parezca correcto; solo cuenta una coincidencia en ambas direcciones.
La segunda manera es una revisión de rangos. Google publica archivos con los rangos IP de sus rastreadores comunes y especiales, y una solicitud desde una dirección dentro de esos rangos es una coincidencia. Ambos métodos se describen en la propia página de Google sobre qué es Googlebot.
¿Qué debo guardar de una solicitud sospechosa?
Antes de revisar algo o cambiar una regla, copie la evidencia de sus registros. Guarde la dirección IP, la fecha y hora, la ruta solicitada, el texto del User-Agent, el código de estado que devolvió su servidor y con qué frecuencia esa IP le envía solicitudes. Seis datos bastan para hacer la revisión y para mostrarle a su host o a un especialista exactamente lo que vio.
Elija una IP sospechosa para empezar, en lugar de intentar ordenar toda la lista. Si esa sola dirección falla la revisión, tiene un patrón que buscar. Si la pasa, descubrió que el tráfico es de Google, y lo mejor, por lo general, es dejarlo en paz.
Conserve las líneas originales del registro tal como están. Los registros se pueden sobrescribir o recortar por su host, y una copia guardada hoy hace que cualquier conversación posterior sea más corta.
¿Cómo comparo las cifras de mi host con Search Console?
Abra Search Console para la propiedad raíz, vaya a Configuración y luego a Estadísticas de rastreo. El informe Estadísticas de rastreo de Google muestra las solicitudes de rastreo, los códigos de respuesta, los tiempos de respuesta, el estado del host, el propósito del rastreo, el tipo de archivo y el tipo de Googlebot. Colóquelo junto al informe de tráfico de su host para las mismas fechas.
| En Search Console | En los registros de su host o CDN | Qué le dice una coincidencia |
|---|---|---|
| Tipo de Googlebot | Texto del User-Agent en la IP sospechosa | Qué rastreador de Google dice ser la solicitud |
| Momento del rastreo | Fechas y horas de la ráfaga | Si el pico coincide con un rastreo de Google |
| Códigos de respuesta | Códigos de estado que envió su servidor | Si Google ve errores que también ven sus visitantes |
| Rutas afectadas | URL solicitadas | Qué páginas está pidiendo el tráfico |
| Estado del host | Carga del servidor y tiempo de actividad | Si el sitio se está viendo afectado por las solicitudes |
Espere que los totales difieran. Google dice que el informe no necesariamente incluye todas las solicitudes, y que algunos totales pueden incluir rastreos intentados cuando robots.txt no estuvo disponible. Así que, compare patrones en lugar de cantidades: las mismas páginas, las mismas horas, los mismos tipos de respuesta.
Una ráfaga en sus registros que no tiene nada parecido en Estadísticas de rastreo, desde una IP que falla la búsqueda, apunta a un impostor. Una ráfaga que coincide con el patrón de Google y pasa la búsqueda es el rastreador real.
¿Bloquear a Googlebot falso dañará mi posicionamiento en Google?
Bloquear a un impostor no afecta a Google, siempre que la regla solo coincida con el tráfico no verificado. El peligro está en cómo se escribe la regla. Una regla que bloquea todo lo que dice ser Googlebot, o un rango IP compartido completo, puede atrapar al rastreador real junto con los falsos.
El Googlebot real es otra historia. Bloquearlo puede impedir que Google rastree páginas y recursos necesarios para la Búsqueda, Discover, Imágenes, Video, Noticias y otras funciones de Google. Google también señala que una página bloqueada puede seguir mostrando su URL en los resultados de búsqueda sin descripción, porque el rastreo y la indexación son funciones separadas.
Así que, bloquee por identidad verificada y por comportamiento. Si usa Cloudflare, su documentación sobre bots verificados describe cómo se identifican, con señales como listas de IP publicadas, identificación estable por User-Agent, DNS inverso o Web Bot Auth. Cloudflare recomienda permitir los bots verificados por separado del tráfico automatizado genérico. En sus reglas, `cf.bot_management.verified_bot` puede usarse para omitir las reglas de bloqueo personalizadas, mientras que las puntuaciones bajas de bots pueden desafiarse o bloquearse, como muestra la guía sobre cómo desafiar a los bots malos.
Los plugins de seguridad conllevan el mismo riesgo. La ayuda sobre limitación de tasa de Wordfence documenta que una regla que concede acceso ilimitado solo con un User-Agent de Googlebot también puede concederle acceso a un impostor. Confirme los nombres exactos de los menús y los controles en la documentación de su host, CDN o plugin, porque varían según el proveedor y el plan.
¿Cuál es el orden seguro de trabajo?
El orden importa más que cualquier configuración individual, y protege el tráfico real de Google en cada paso.
- Guarde los datos de la solicitud de la IP sospechosa.
- Verifique esa IP con DNS inverso y directo, o contra los rangos publicados por Google.
- Compare Estadísticas de rastreo en Search Console con los registros de su host.
- Bloquee el tráfico no verificado o abusivo de forma estrecha, en el host, el CDN o el plugin de seguridad.
- Vuelva a revisar Search Console y la salud de su servidor después del cambio.
El último paso detecta los errores a tiempo. Después de que una regla entre en vigor, vigile Estadísticas de rastreo por si aparecen errores nuevos, confirme que sus páginas importantes siguen cargando y revise que los tiempos de respuesta de su servidor se estabilicen. Un historial limpio de estado del host en Search Console es la señal de que el cambio hizo lo que usted quería.
Si algo se ve mal, deshaga primero la regla e investigue después. Una regla que se puede apagar en segundos cuesta mucho menos que una semana de rastreo bloqueado.
¿Pueden robots.txt o noindex detener a los bots falsos?
Ninguno de los dos verifica quién pregunta. El formato de robots.txt está definido en el RFC 9309 de la IETF, que cubre los grupos de User-Agent y las reglas de allow o disallow. Son instrucciones voluntarias para los rastreadores que decidan seguirlas, y un archivo no puede confirmar que un rastreador es quien dice ser.
La introducción a robots.txt de Google dice que sirve para administrar el rastreo, no para mantener privada la información. Para contenido realmente privado, Google recomienda autenticación o protección con contraseña.
La etiqueta `noindex` tiene una función distinta. La guía de Google sobre cómo bloquear la indexación la describe como la herramienta para evitar la indexación, mientras que robots.txt controla el rastreo. Ninguna de las dos es un filtro de tráfico. El filtrado ocurre en el host, el CDN o el plugin de seguridad, donde una solicitud se puede revisar contra una IP.
¿Qué rastreadores de Google son reales pero parecen raros?
Una solicitud que pasa la revisión es de Google, y Google usa más de un rastreador. La lista de los rastreadores comunes de Google distingue entre Googlebot, Googlebot Smartphone, Googlebot Image, Googlebot Video, AdsBot, StoreBot y otros. Cada uno tiene su propio propósito, y cada uno puede aparecer en sus registros con su propio nombre.
Por eso conviene revisar rápido el tipo de rastreador en Estadísticas de rastreo. AdsBot, por ejemplo, está ligado a las herramientas de anuncios de Google, así que un pico de ese rastreador puede tener que ver con anuncios que llevan visitantes a sus páginas, y no con un ataque. Revise el tipo antes de decidir que el tráfico no es deseado.
Existen otros rastreadores legítimos también. La clasificación útil tiene tres grupos: rastreadores verificados de Google, otros rastreadores legítimos, y automatización no verificada o abusiva. Solo el tercer grupo necesita un bloqueo. Un panel que etiqueta una solicitud como «automatizada» le dice que es un bot, lo cual es distinto a decirle que es dañino.
¿Qué errores causan más problemas?
Los errores habituales vienen de actuar antes de la revisión. La tabla enumera los más comunes, con lo que implica la corrección y un tamaño aproximado, usando la guía de solución de problemas de errores de rastreo de Google como referencia para los problemas de rastreo.
| Error | Qué implica corregirlo | Tamaño del trabajo |
|---|---|---|
| Confiar en el User-Agent de Googlebot sin revisar la IP | Reemplazar la regla débil por una verificación de IP o de proveedor, y después revisar los registros | Pequeño |
| Bloquear todo el tráfico automatizado con una sola regla amplia | Estrechar la regla al tráfico no verificado, a rutas elegidas, a límites de tasa o a puntuaciones de bots, y luego probar si hay falsos positivos | Pequeño a mediano |
| Confundir a AdsBot o a Googlebot Image con un falso | Revisar la categoría del rastreador y las herramientas de Google que lo usan | Pequeño |
| Usar robots.txt como si fuera autenticación | Editar el archivo, revisar la sintaxis y el alcance, y probar las URL clave | Pequeño; más grande con muchos subdominios |
| Aplicar una regla al host, subdominio o ruta equivocada | Revisar el alcance de la regla y corregirlo | Pequeño |
| Hosting lento o sobrecargado | Analizar las rutas costosas, agregar caché, corregir el trabajo de plugins o de la base de datos, o cambiar la capacidad | Mediano a grande |
La última fila merece atención. Si su servidor tiene dificultades, el rastreo legítimo puede parecer dañino simplemente porque cada página es costosa de generar. La guía de presupuesto de rastreo de Google es el punto de partida para eso, y nuestras publicaciones sobre un sitio web lento al cargar y sobre qué hacer cuando el tráfico tumba un sitio cubren el lado del servidor.
¿De qué puedo dejar de preocuparme?
Un número alto de solicitudes automatizadas no prueba una penalización de Google, un ataque de posicionamiento ni un sitio hackeado. Cada una de esas es una pregunta aparte, con evidencia aparte. Un conteo en un panel es solo eso, un conteo.
También puede dejar de esperar que Search Console y los registros de su servidor coincidan exactamente. Las diferencias entre ambos son normales. Y una solicitud que dice ser Googlebot no es más confiable que un desconocido que dice llamar de parte de la compañía telefónica, así que no tiene por qué sentirse mal por comprobarla.
Si también quiere saber qué rastreadores y agentes de IA visitan su sitio, esa es una revisión distinta, que se cubre en nuestra guía sobre cómo ver qué agentes de IA visitan su sitio web. Controlar el acceso para el entrenamiento de IA tiene pasos propios, descritos en la publicación sobre Cloudflare y el entrenamiento de IA con Googlebot. Verificar a Googlebot trata de identidad: ¿esta solicitud es realmente de Google?
¿Cuándo vale la pena pagar a alguien para hacer esto?
Haga la primera revisión usted mismo. Necesita una IP sospechosa, dos búsquedas o una revisión de rangos, y una mirada a Estadísticas de rastreo. Si el tráfico está verificado, déjelo en paz. Un conteo de bots por sí solo no es razón para pagar un rediseño ni un sistema de administración de bots.
La ayuda profesional vale lo que cobra cuando la evidencia es mixta o un movimiento equivocado podría costarle acceso. Eso incluye registros incompletos, un sitio detrás de varios proxies, una regla que podría atrapar tráfico real de Google, un servidor sobrecargado, ataques repetidos, o un cambio que hay que probar en Cloudflare, el hosting, WordPress y Search Console.
Un especialista puede conservar los registros originales, verificar la cadena de IP y DNS, distinguir a Googlebot de los otros rastreadores de Google, encontrar las rutas costosas, establecer una regla estrecha, probar el acceso real de Google y vigilar Search Console después. El beneficio es menor riesgo y menos tiempo perdido. Nadie puede prometer un mejor posicionamiento por eso.
¿Ese tráfico es realmente Googlebot?
Elija una respuesta para empezar.
1. Una solicitud tiene «Googlebot» en su User-Agent. ¿Qué prueba eso?
2. ¿Qué terminaciones de nombre de host son aceptables después de una búsqueda DNS inversa sobre una IP real de Googlebot?
3. ¿Dónde se comparan en Search Console la actividad de Googlebot y los registros de su host?
Preguntas frecuentes sobre cómo verificar a Googlebot
¿Puede un bot falso afirmar que es Googlebot?
Sí. El texto del User-Agent es fácil de falsificar, y Google dice que el User-Agent de Googlebot a menudo es falsificado por otros rastreadores. Verifique la IP de origen con DNS inverso y directo, o contra los rangos publicados por Google.
¿Bloquear a Googlebot falso perjudica el SEO?
Bloquear a un impostor no afecta el acceso de Google, siempre que la regla identifique bien al impostor y no atrape IP reales de Google. Vuelva a revisar Search Console después de cualquier cambio.
¿Debo bloquear todos los bots?
No. Separe los rastreadores verificados de Google, los servicios útiles y la automatización abusiva, y bloquee solo el último grupo.
¿Dónde reviso la actividad de Googlebot?
En Search Console, vaya a Configuración y luego a Estadísticas de rastreo. Muestra las solicitudes, los códigos de respuesta, el estado del host y los tipos de Googlebot para propiedades a nivel raíz.
¿robots.txt verifica a Googlebot?
No. Robots.txt da instrucciones de rastreo a los rastreadores que las siguen, y no puede confirmar quién pregunta. Las verificaciones de identidad se hacen a nivel de IP.
¿Por qué Search Console y los registros de mi host muestran números distintos?
Google dice que Estadísticas de rastreo puede omitir algunas solicitudes, y que algunos totales pueden incluir rastreos intentados cuando robots.txt no estuvo disponible. Compare patrones como las rutas, el momento y los códigos de respuesta.
Qué significa esto para usted
El nombre Googlebot en un registro es solo texto, así que la dirección IP es la que lo demuestra. Una búsqueda DNS inversa seguida de una directa, o una coincidencia con los rangos publicados por Google, le dice si la solicitud es de Google. El informe Estadísticas de rastreo de Search Console le da una segunda vista para comparar con los registros de su host.
Cuando sabe qué tráfico es real, la decisión es sencilla. El Googlebot verificado sigue siendo bienvenido, y las solicitudes no verificadas o abusivas reciben un bloqueo estrecho en el host, el CDN o el plugin de seguridad. Vuelva a revisar Search Console y la salud de su servidor después, y conserve una forma de deshacer la regla.
Si sus registros están incompletos, su sitio está detrás de varios proxies o una regla podría atrapar tráfico real de Google, Web Leveling puede ayudar. Nuestra auditoría de seguridad del sitio web cubre la revisión de registros, la verificación y una regla probada en su host, Cloudflare, WordPress y Search Console. Trabajamos con pequeñas y medianas empresas en todo el país y en el extranjero. Envíenos lo que muestran sus registros, y le diremos si necesita una acción o si puede dejarse en paz.
Términos
Términos de Googlebot en esta publicación
Toque un término para ver qué significa.
Googlebot. El principal rastreador web de Google, que obtiene páginas para que puedan considerarse para la Búsqueda.
User-Agent. Una línea de texto que un visitante envía con cada solicitud para decir qué es, y que cualquiera puede escribir.
Búsqueda DNS inversa. Una revisión que pregunta qué nombre de host pertenece a una dirección IP.
Búsqueda DNS directa. Una revisión que pregunta a qué dirección IP apunta un nombre de host, y que sirve para confirmar el resultado inverso.
Estadísticas de rastreo. El informe de Search Console, en Configuración, que muestra las solicitudes de rastreo de Google, los códigos de respuesta y el estado del host.
Bot verificado. Un rastreador cuya identidad una plataforma como Cloudflare ha confirmado mediante señales como listas de IP o DNS inverso.
robots.txt. Un archivo público de instrucciones de rastreo que los rastreadores pueden seguir, y que no verifica quién pregunta.
