Si su factura de hosting subió sin ningún lanzamiento ni campaña de por medio, los visitantes automatizados son una causa probable. Los rastreadores y los scrapers piden páginas de su sitio todo el día, y en un hosting que cobra por solicitud o por cómputo, cada solicitud que llega a su aplicación puede costar dinero.
Los motores de búsqueda, las herramientas de SEO, los rastreadores de IA y los scrapers hacen todos esto, y usted puede conservar a los que traen visitantes mientras limita el resto. La guía de presupuesto de rastreo de Google apunta sobre todo a sitios con al menos 1 millón de páginas únicas o 10,000 páginas que cambian rápidamente, así que un sitio más pequeño no necesita tratar cada rastreo como una emergencia de posicionamiento.
El primer paso no cuesta nada. Abra el registro de solicitudes de su host o de su CDN de los últimos siete días y haga una lista de los cinco visitantes automatizados más grandes.
Lo que muestre esa lista decide el resto del orden: conserve los motores de búsqueda, guarde en caché las páginas públicas, cierre las combinaciones de URL que no tienen valor para las búsquedas y aplique límites de tasa (rate limit) o bloquee solo lo que haya confirmado que le está costando dinero.
Puntos clave
Siete días de registros del host o del CDN, agrupados por rastreador verificado, agente de usuario, IP o ASN, ruta, cadena de consulta y estado de caché, muestran qué visitantes automatizados le dan trabajo a su aplicación.
Verifíquelos con DNS inverso y con los rangos de IP publicados, y después protéjalos mientras limita todo lo demás. Bloquear a Googlebot no es una solución de costos si el tráfico de Google le importa.
Los rastreadores que cumplen lo siguen, no es un firewall, y Googlebot no procesa crawl-delay. Los límites de tasa y las reglas de firewall detienen las solicitudes antes de que lleguen a su aplicación.
Guardar en caché las páginas públicas, ajustar las URL de filtros y paginación y agregar reglas en el borde pueden reducir más costos que una mudanza, porque un host nuevo no elimina el tráfico de rastreadores.
¿Por qué los bots suben la factura de hosting?
Cada solicitud que llega a su aplicación puede costarle algo. El servidor construye la página, consulta la base de datos por los listados, ejecuta una función y envía el resultado de vuelta, y un host que cobra por solicitud, por cómputo o por ancho de banda cuenta cada una. Una persona que visita su sitio hace una solicitud. Un rastreador que recorre sus listados puede hacer miles en una tarde, y ninguna de ellas llamará ni comprará nada.
Un directorio empeora esto más que un sitio de folletos, porque cada combinación de filtro, orden y número de página puede convertirse en su propia URL. La guía de Google sobre URL de filtros y ordenamiento dice que los rastreadores pueden gastar recursos en combinaciones filtradas que no merecen indexarse. Cada una de esas solicitudes puede provocar una respuesta nueva de su aplicación, salvo que algo frente a ella responda en su lugar.
El tráfico automatizado también es algo normal en la web. La revisión de Radar 2025 de Cloudflare informó que Googlebot generó 4.5% de las solicitudes HTML, y que los bots de IA en conjunto fueron un poco menos. Son mediciones de clientes de Cloudflare, no un conteo de toda la web, pero muestran por qué un sitio concurrido ve rastreadores a todas horas. La meta es tener menos solicitudes costosas, no cero bots.
El almacenamiento en caché cambia el costo, aunque no siempre por completo. Servir una copia guardada reduce el trabajo de su origen, pero la facturación depende del modelo de precios de la plataforma, así que una solicitud en caché igual puede aparecer en una factura. Si un cargo le sorprende, pregúntele al host qué solicitudes cuenta y en qué capa, y pida la respuesta por escrito.
¿Qué debe buscar primero en el registro de solicitudes?
Abra el análisis de solicitudes de su host, CDN o firewall y ponga el rango en los últimos siete días. Si también puede ver el periodo normal anterior, colóquelo al lado del pico. Lo que busca es quién pidió, qué pidió y si la solicitud llegó a su aplicación o se respondió desde la caché.
Agrupe el registro por estos campos
El nombre que un visitante se da a sí mismo, que cualquiera puede falsificar.
Si su CDN o host ha confirmado la identidad.
La dirección, o la red detrás de ella.
Qué páginas, y qué combinaciones de filtro, orden o número de página.
Si la solicitud fue exitosa, y si fue un acierto o un fallo de caché.
Cuánto costó servir cada solicitud.
Ordene por número de solicitudes y anote los cinco identificadores automatizados principales, sus totales, las rutas que pidieron y cuántos llegaron al origen. Revise por separado cualquier cosa que diga ser Googlebot o Bingbot, porque un texto de agente de usuario no prueba la identidad. Google explica cómo verificar Googlebot con búsquedas de DNS inverso y directo, y nuestra publicación sobre tráfico falso de Googlebot muestra cómo suelen verse las solicitudes falsificadas.
En uno de los sitios que operamos, un directorio de unos 138,000 listados recibió unos 4.7 millones de solicitudes facturadas en menos de dos semanas, un día cerca de 2.6 millones, sin nada lanzado. La mayoría vino de bots de herramientas de SEO y de scrapers, en oleadas. Los bloqueamos en robots.txt, mantuvimos a todos los motores de búsqueda y agregamos un límite de tasa, y el soporte del host nos señaló que robots.txt es una solicitud que no todos los bots respetan.
¿Qué rastreadores conviene conservar y cuáles puede limitar?
Cuatro grupos aparecen en los registros de un sitio grande, y cada uno pide una decisión distinta. Los motores de búsqueda traen personas que buscan, así que usted los conserva. Las herramientas de SEO, los rastreadores de IA y los scrapers necesitan revisar su identidad y su costo antes de que usted limite cualquier cosa.
| Grupo | Ejemplos | Qué dice su dueño sobre robots.txt | Primer control |
|---|---|---|---|
| Motores de búsqueda | Googlebot, Bingbot | Ambos siguen robots.txt; Googlebot no procesa crawl-delay, Bingbot sí | Verificar identidad, conservar, corregir las URL que desperdician rastreo |
| Herramientas de SEO | AhrefsBot, SemrushBot, MJ12bot, DotBot, DataForSEO | Ahrefs dice que sus bots obedecen robots.txt y crawl-delay; Semrush documenta cómo maneja robots.txt | Confirmar identidad, luego robots.txt más un límite de tasa |
| Rastreadores de IA | GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, CCBot | OpenAI documenta rastreadores separados para búsqueda, entrenamiento y recuperaciones pedidas por el usuario; Common Crawl dice que CCBot obedece robots.txt y limita su tasa | Decidir según el propósito y el costo |
| Scrapers | Cualquier agente de usuario, a menudo falsificado | Ningún compromiso de respetarlo | Límites de tasa y reglas de firewall según comportamiento, IP o ASN |
Cada una de estas empresas explica su propio rastreador: Ahrefs, Semrush, Common Crawl y OpenAI. Para Moz, Majestic y DataForSEO, lea la página de políticas actual de cada rastreador antes de contar con que respete robots.txt o una tasa de rastreo; la FAQ de Majestic es un buen lugar para empezar.
Los rastreadores de IA no son un solo tipo de visitante. Como OpenAI documenta rastreadores separados para búsqueda, entrenamiento y recuperaciones pedidas por el usuario, bloquear un nombre no necesariamente bloquea los demás. Un agente de usuario de IA no es automáticamente un ataque, y un rastreador de búsqueda no vale automáticamente su costo, así que decida según el propósito y según las solicitudes que cada uno le envía. Nuestra publicación sobre el control de entrenamiento de IA de Google cubre el lado de robots.txt de esa decisión.
Los scrapers pueden declarar cualquier agente de usuario, así que un nombre en el registro no prueba nada por sí solo. Júzguelos por su comportamiento: qué tan rápido piden, de qué redes vienen y a qué URL llegan. Ahí es donde los límites de tasa y las reglas de firewall hacen el trabajo, porque un scraper que ignora robots.txt simplemente se salta las reglas que fija su archivo.
¿Qué puede hacer robots.txt y qué deja abierto?
robots.txt indica a los rastreadores que cumplen qué URL pueden pedir. RFC 9309, el estándar detrás de él, describe un protocolo para instrucciones a rastreadores, no un límite de seguridad. Un rastreador que no se ha comprometido a seguirlo puede ignorarlo, y cualquiera que conozca una URL todavía puede pedirla.
Tampoco quita una página del índice de Google. La introducción a robots.txt de Google dice que se use para URL que Google no debería rastrear en absoluto, y la guía de presupuesto de rastreo dice que no se use para reasignar temporalmente el presupuesto de rastreo. Las etiquetas canónicas y noindex guían lo que se indexa, pero no detienen de forma confiable que las solicitudes lleguen, como explica la guía de canonicalización de Google.
La velocidad de rastreo tiene reglas propias. Googlebot no procesa la directiva crawl-delay, como dice la explicación de Google sobre el presupuesto de rastreo, así que agregarla no hará más lento a Google. Bingbot sí respeta crawl-delay, y la herramienta Crawl Control de Bing puede reducir el rastreo en horas de mucha carga.
El cumplimiento también varía de un rastreador a otro. Investigadores de la Universidad de Chicago y de UC San Diego encontraron que el cumplimiento de robots.txt es desigual, sobre todo entre los rastreadores que no son de búsqueda. Así que, use robots.txt para lo que hace bien, que es indicar a los rastreadores bien portados que omitan las URL de filtros, orden, búsqueda y sesión, y ponga la aplicación de las reglas en otro lugar. Nuestra guía sobre mapas del sitio y robots.txt cubre el archivo en sí.
¿En qué orden debe reducir el costo?
Trabaje desde el paso más barato y seguro hasta el más disruptivo. Cada uno es más fácil de juzgar cuando el anterior ya cambió los números de su registro.
- Mida primero: Active el registro de solicitudes y del origen con retención si sus registros carecen de detalle, y luego repita la revisión de siete días.
- Guarde en caché las páginas públicas: Guarde en caché en el borde el HTML anónimo, las páginas de listados, las imágenes, el CSS y el JavaScript, y mantenga fuera de la clave de caché las variantes de cadena de consulta, salvo que cambien la respuesta.
- Ajuste las combinaciones de URL: Decida qué URL de filtros, orden y paginación merecen indexarse, quite los enlaces internos innecesarios hacia las demás y bloquéelas para los rastreadores que cumplen.
- Agregue límites antes de la aplicación: Ponga límites de tasa y reglas de firewall o de bots frente a su app, empiece en modo de monitoreo y devuelva un 429 donde corresponda.
- Limite por identidad y costo: Frene o bloquee el tráfico de herramientas de SEO, de IA y de scrapers solo después de haber confirmado quién es y cuánto cuesta.
Cada plataforma nombra estos controles de forma distinta. Cloudflare documenta las reglas de límite de tasa, la gestión de bots y el almacenamiento en caché, donde la gestión de bots asigna puntajes de bot y necesita una regla explícita para bloquear o desafiar. Amazon CloudFront explica cómo el almacenamiento en caché reduce las solicitudes enviadas al origen, y las reglas de firewall de Vercel pueden registrar, negar, desafiar o limitar la tasa del tráfico antes de que llegue a la aplicación.
Si las páginas estables de directorio y catálogo se construyen en cada solicitud, generarlas de antemano como HTML estático o como páginas regeneradas de forma incremental elimina el trabajo de la aplicación por cada visita, sea humana o no. Como guía aproximada, el almacenamiento en caché y las reglas en el borde son un trabajo de tamaño pequeño a mediano, las URL de filtros y paginación enredadas son uno mediano, y una base de datos que sufre con las páginas de catálogo es uno de mediano a grande.
Antes de que una regla entre en vivo, pruébela contra Googlebot y Bingbot. Después del cambio, revise los datos de rastreo en Search Console y la verificación de Bing, y compare su facturación y sus números de origen con la semana de referencia. Si la indexación o los prospectos bajan, revierta la regla y vuelva a revisar.
¿Necesita un hosting nuevo para resolver esto?
Muchas veces un cambio de configuración resuelve más que una migración. Si el gasto viene de páginas que se construyen en cada solicitud, de parámetros de URL abiertos o de reglas de borde faltantes, los mismos problemas lo seguirán a un host nuevo, porque un host nuevo no elimina por sí solo el tráfico de rastreadores.
Antes de pagar una mudanza, descubra qué capa es la costosa: el CDN, el origen, la base de datos o las funciones. Lleve cuatro números a esa decisión: solicitudes totales, solicitudes al origen, aciertos de caché y solicitudes costosas por ruta. Si los cargos de la factura son lo que le confunde, pregúntele a su host qué cuenta cada cargo y a qué sitio o proyecto pertenece.
La ayuda externa vale lo que cuesta cuando el sitio tiene muchos patrones de URL, listados con base de datos, varias capas de caché o un riesgo real de bloquear a Googlebot o Bingbot por error. Usted puede leer los registros por su cuenta. Lo más difícil es cambiar varias capas sin confundir aciertos de caché con trabajo en el origen ni confiar en un agente de usuario falsificado. Nuestra publicación sobre la respuesta lenta del servidor y los rastreadores de IA cubre el lado de velocidad de la misma carga.
¿De qué no tiene que preocuparse?
No todo rastreo es una emergencia de posicionamiento. La guía de presupuesto de rastreo de Google apunta sobre todo a sitios con al menos 1 millón de páginas únicas, o al menos 10,000 páginas que cambian rápidamente, y Google dice que los sitios fuera de esas condiciones generalmente solo necesitan un mapa del sitio actualizado y revisiones rutinarias de indexación.
Un rastreador con nombre de IA no es automáticamente un ataque, y las etiquetas noindex o canónicas no reducirán su número de solicitudes. Busque que lleguen menos solicitudes costosas a su aplicación, mientras los rastreadores que necesita siguen recibiendo páginas estables.
Repaso rápido: ¿puede reducir el costo de los bots y mantener a Google?
Elija una respuesta para empezar.
1. ¿Procesa Googlebot la directiva crawl-delay de robots.txt?
2. Una entrada del registro dice «Googlebot» en el agente de usuario. ¿Qué debe hacer antes de permitirlo o bloquearlo?
3. ¿Qué hace robots.txt?
Preguntas frecuentes sobre los bots que suben el costo del hosting
¿Detiene robots.txt a todos los bots?
No. Guía a los rastreadores que cumplen, y no es un firewall. Los límites de tasa y las reglas de firewall son los que detienen las solicitudes para que no lleguen a su aplicación.
¿Bloquear a Googlebot le ahorrará dinero?
Puede que reduzca las solicitudes de Google, pero también le quita a Google la posibilidad de rastrear las URL bloqueadas. Si el tráfico de búsqueda le importa, conserve a Googlebot y a Bingbot verificados y limite el otro tráfico.
¿Respeta Google crawl-delay?
No. Google dice que su rastreador no procesa la directiva crawl-delay. Bingbot sí la respeta.
¿Debo bloquear todos los rastreadores de IA?
Decida según el propósito y el costo. Los rastreadores de búsqueda, los de recuperación pedida por el usuario y los de entrenamiento cumplen funciones distintas, y bloquear un nombre puede no bloquear los demás.
¿Cómo verifico a Googlebot?
Compare la solicitud con los métodos de verificación publicados por Google, que incluyen búsquedas de DNS inverso y directo. Una cadena de agente de usuario por sí sola no es prueba.
¿Puede el almacenamiento en caché reducir el costo de los rastreadores?
Puede reducir el trabajo del origen cuando las solicitudes repetidas comparten respuestas almacenables en caché, pero la facturación depende del modelo de precios de la plataforma. Revise qué solicitudes cuenta su host.
Qué significa esto para usted
Los bots suben la factura cuando sus solicitudes llegan a su aplicación y provocan trabajo allí. Cuéntelos en un registro de siete días, conserve a Googlebot y Bingbot verificados, y luego guarde en caché las páginas públicas, ajuste las combinaciones de URL que no tienen valor para las búsquedas y ponga límites de tasa y reglas de firewall frente a la aplicación. Trate robots.txt como una solicitud para los rastreadores bien portados, y limite el tráfico de herramientas de SEO, de IA y de scrapers solo después de saber quién es y cuánto cuesta.
Hecho en ese orden, los pasos gratuitos van primero y pueden ser suficientes: una carga menor en su origen, menos sorpresas en la facturación y un registro claro de lo que cambió. También conserva el tráfico de búsqueda que trajo la atención en primer lugar.
Si su sitio tiene muchos patrones de URL, listados con base de datos o varias capas de caché, o si quiere una segunda opinión antes de que una regla toque a Googlebot o Bingbot, Web Leveling puede leer sus registros con usted y decirle qué capa le está costando. Nuestro trabajo de hosting web mantiene las páginas que visitantes y bots solicitan como archivos terminados, en cuentas a su nombre, lo que mantiene pequeño el trabajo detrás de cada solicitud. Atendemos a pequeñas y medianas empresas en todo el país y en el extranjero. Envíenos sus cinco bots principales y sus totales de solicitudes, y le diremos por dónde empezar.
Términos
Palabras de rastreo y hosting de esta publicación
Toque un término para ver qué significa.
Origen. El servidor o la aplicación detrás de su CDN que construye una página cuando no hay una copia guardada disponible.
Acierto de caché. Una solicitud respondida desde una copia guardada en el borde, sin llegar a su origen.
Agente de usuario. El nombre que un navegador o un bot se da a sí mismo en una solicitud, que puede falsificarse.
ASN. Un número que identifica la red a la que pertenece una dirección IP.
WAF. Un firewall de aplicaciones web, un conjunto de reglas que permite, bloquea o desafía solicitudes antes de que lleguen a su aplicación.
Límite de tasa. Un tope de cuántas solicitudes puede hacer un visitante o un grupo en un tiempo determinado.
Presupuesto de rastreo. La cantidad de rastreo que un motor de búsqueda gastará en un sitio, que la guía de Google trata como una preocupación sobre todo para sitios muy grandes o de cambio rápido.
