Bloquear rastreadores web (bots) de Meta en robots.txt y conservar las vistas previas de enlaces

Usted comparte sus páginas en Facebook e Instagram, y quiere que la tarjeta de vista previa siga mostrando el título, la imagen y la descripción correctos. Tampoco quiere que Meta use su sitio para entrenar su IA. Esas dos metas no chocan, porque Meta usa rastreadores web (bots) distintos para cada tarea.

La versión corta: deje permitido el rastreador web (bot) de la vista previa del enlace y dé al rastreador web (bot) de IA su propio bloqueo en robots.txt.

Esto importa este mes porque la vista previa de los Commercial Terms de Meta (términos comerciales), vigente al 17 de octubre de 2026, indica que los nuevos términos entran en vigor el 30 de octubre de 2026, y autorizan a Meta, o a entidades que actúan en nombre de Meta, a usar software automatizado para recorrer dominios y páginas vinculados a los productos o servicios de un negocio.

La redacción de esa cláusula se explica en lo que dicen los nuevos términos de Meta sobre recorrer su sitio. Lo que usted controla es su archivo robots.txt: las líneas exactas para pegar y dónde van.

Deje facebookexternalhit permitido y dé a Meta-ExternalAgent su propio bloqueo

El conjunto de reglas para un dueño que quiere vistas previas y no quiere entrenamiento de IA es corto. Agregue un grupo que permita `facebookexternalhit` y otro que prohíba `Meta-ExternalAgent`. Cada rastreador web (bot) lee el grupo que lo nombra, así que las dos decisiones quedan separadas.

```text User-agent: facebookexternalhit Allow: /

User-agent: Meta-ExternalAgent Disallow: / ```

Meta describe `facebookexternalhit` como el rastreador web (bot) que obtiene un enlace cuando alguien lo comparte en Facebook, Instagram o Messenger, y así construye la tarjeta de vista previa. Meta describe `Meta-ExternalAgent` como un rastreador web (bot) que recorre la web para usos como entrenar modelos de IA fundamentales o mejorar productos al indexar contenido directamente. La documentación de rastreadores web (bots) de Meta dice que se use robots.txt para fijar estas preferencias y que prefiere eso a formatos no estándar, como las etiquetas NoAI.

El grupo con el nombre `facebookexternalhit` importa sobre todo cuando su archivo ya tiene una regla general. Los rastreadores web (bots) eligen el grupo coincidente más específico, según la especificación de robots.txt de Google, así que un grupo de permiso con nombre es la forma de mantener las vistas previas funcionando bajo un bloque `User-agent: *`. El estándar en sí, RFC 9309, trata el token de user-agent sin distinguir mayúsculas, así que las mayúsculas en los nombres de Meta son para facilitar la lectura.

Meta usa cinco rastreadores web (bots), y cada uno tiene una tarea distinta

Una sola búsqueda de «Meta bot» arroja varios nombres, y los dueños suelen tratarlos como uno solo. La documentación de Meta enumera cinco, cada uno con su propio propósito y su propio comportamiento frente a robots.txt. Lea la tabla antes de agregar una línea, porque el costo de bloquear cambia según la fila.

Dos detalles cambian lo que puede esperar. Meta dice que `Meta-ExternalFetcher` obtiene enlaces cuando una persona lo pide, por eso puede pasar por alto robots.txt. Meta también dice que `facebookexternalhit` podría pasar por alto robots.txt por controles de seguridad o integridad, como la revisión de malware. Así que la tabla tiene dos rastreadores web (bots) que un archivo robots.txt quizá no detenga, y tres que está hecho para detener.

Meta también señala que `Meta-ExternalAgent` recorre para «improving products by indexing content directly» (mejorar productos al indexar contenido directamente), no solo para entrenar. Bloquearlo es la decisión que coincide con la meta de no entrenar, y también puede sacar su contenido de ese uso de indexación de productos.

Cada decisión en robots.txt cambia algo distinto

Tiene tres configuraciones realistas. Escoja la que coincida con lo que quiere, cópiela y no cambie nada más en su archivo, a menos que sepa por qué.

La primera configuración es la de arriba: las vistas previas se quedan y el rastreador web (bot) de entrenamiento queda bloqueado. `Meta-WebIndexer` se deja como está, así que la búsqueda de Meta AI todavía puede citar y enlazar a usted.

La segunda configuración también bloquea la indexación de la búsqueda de Meta AI. Elíjala si quiere que Meta AI deje sus páginas fuera por completo, y acepte que Meta AI tendrá menos probabilidades de citar o enlazar a usted.

```text User-agent: facebookexternalhit Allow: /

User-agent: Meta-ExternalAgent Disallow: /

User-agent: Meta-WebIndexer Disallow: / ```

La tercera configuración permite todo a propósito. Es una buena elección si quiere que Meta AI pueda citar sus páginas y se siente cómodo con el rastreador web (bot) de entrenamiento. Escribirla le deja un registro de la decisión.

```text User-agent: Meta-ExternalAgent Allow: /

User-agent: Meta-WebIndexer Allow: /

User-agent: facebookexternalhit Allow: / ```

No use un archivo de «bloquear todo Meta». También prohibiría `facebookexternalhit`, y las publicaciones compartidas en Facebook e Instagram podrían perder sus tarjetas de vista previa. Si usted publica anuncios de Meta, un bloqueo general también puede interferir con las revisiones de `Meta-ExternalAds` de sus páginas de aterrizaje. Las reglas específicas protegen lo que trae clientes; las reglas amplias le cuestan algunos.

Dónde van las reglas en WordPress, Wix, Squarespace y en un sitio hecho a medida

Las líneas son las mismas en todas partes. Lo que cambia es cómo su plataforma le permite editar robots.txt, y algunas plataformas no le permiten editarlo en absoluto. Revise en cuál situación está antes de gastar tiempo en la sintaxis.

WordPress

WordPress puede generar un archivo robots.txt virtual en lugar de guardar uno real. Puede cambiar el resultado con un complemento de SEO adecuado, con un archivo `robots.txt` físico en la raíz del sitio, o con el filtro `robots_txt` de WordPress. Después de editar, abra `https://yourdomain.com/robots.txt` y confirme que solo se sirve una versión, porque un complemento y un archivo físico pueden no coincidir.

Wix

Wix tiene un Robots.txt Editor oficial (editor de robots.txt) en SEO & GEO, y después en Tools and settings (herramientas y configuración). La página de ayuda de Wix para editar robots.txt lo explica paso a paso. Agregue los grupos específicos de cada rastreador web (bot), guarde y después lea el archivo en vivo.

Squarespace

Squarespace no le permite editar robots.txt directamente. Sus ajustes de Crawlers (rastreadores web) tienen una opción «Block known artificial intelligence crawlers» (bloquear rastreadores web de inteligencia artificial conocidos), y la lista predefinida que agrega incluye `Meta-ExternalAgent`, como se describe en la página de ayuda de Squarespace sobre rastreadores web (bots) de IA. No le da el mismo control por rastreador web (bot) sobre el resto de la lista de Meta. Si la opción cubre su meta, actívela y deténgase ahí.

Un sitio hecho a medida

Coloque un archivo de texto plano en UTF-8 llamado `robots.txt` en la raíz de cada host, por ejemplo `https://www.example.com/robots.txt`. Las reglas se aplican al host, protocolo y puerto donde se sirve el archivo, así que `example.com` y `www.example.com` necesitan cada uno su propio archivo. La guía de Google sobre cómo crear un archivo robots.txt cubre lo básico. Luego confirme que la respuesta es un archivo de texto plano y no una página de error en HTML. Nuestro artículo sobre si su sitio web necesita un mapa del sitio y robots.txt explica lo básico de ambos archivos.

Una regla en robots.txt es una solicitud, así que revise el archivo en vivo y sus registros

Una regla que está en su archivo no le sirve de nada hasta que confirme tres cosas: que el archivo en vivo dice lo que usted cree, que los rastreadores web (bots) de Meta se comportan como debe, y que sus vistas previas siguen funcionando.

Empiece por el archivo en vivo. Abra `https://yourdomain.com/robots.txt` en un navegador. Busque cada nombre de Meta que agregó y lea las líneas debajo de él. Un `Disallow:` en blanco permite todo; `Disallow: /` le pide a ese rastreador web (bot) que se mantenga fuera de todo el sitio. Si no existe un grupo con nombre para un rastreador web (bot), recurre al grupo `User-agent: *`.

Luego pruebe una publicación compartida. Publique un enlace a una página en una publicación privada de Facebook o en un mensaje, y confirme que el título, la imagen y la descripción siguen apareciendo. Si la tarjeta está mal, revise primero `facebookexternalhit`.

Después, revise los registros de su servidor. Filtre por los cinco nombres y anote la hora, la URL solicitada, el código de estado, la dirección IP y la cadena de user-agent. Un user-agent lo declara el propio software, así que una línea del registro muestra lo que una solicitud dice ser, no una prueba de quién la envió. Si usa Cloudflare, Bot analytics

(analítica de bots) muestra el tráfico de bots y las fuentes de detección, y los clientes de Enterprise Bot Management pueden comparar la actividad de los rastreadores web (bots) en Business Insights (perspectivas de negocio). Nuestro artículo sobre cómo ver qué agentes de IA visitan su sitio web cubre el lado de los registros con más detalle, y el ajuste Disallow AI Training de Cloudflare es el equivalente a nivel de borde si su sitio está detrás de Cloudflare.

Tenga presentes los límites. Google señala que robots.txt controla el recorrido, no la eliminación garantizada de los resultados de búsqueda, y que una URL bloqueada aún puede aparecer sin un fragmento normal. Para sacarla de Google Search necesita `noindex` o protección con contraseña, como explica Google en su introducción a robots.txt. Una regla nueva tampoco es retroactiva. Pide a los rastreadores web (bots) de Meta que cumplen las reglas que se mantengan alejados de ahora en adelante; no recupera el contenido recopilado antes. Y que un rastreador web (bot) aparezca en sus registros no demuestra que un modelo se haya entrenado con esa página.

Los términos de Meta del 30 de octubre hacen de esta una buena semana para revisar su archivo

Entre el 15 y el 17 de octubre de 2026, la cobertura de los Commercial Terms pendientes de Meta (términos comerciales) se extendió por las noticias. La página de vista previa en el sitio de Meta dice que los términos están programados para entrar en vigor el 30 de octubre de 2026, y describe a Meta, o a entidades que actúan en nombre de Meta, usando software automatizado para acceder, indexar, guardar en caché, analizar, recopilar, recuperar o recorrer dominios, páginas y URL asociados a los productos o servicios de un negocio.

El propósito declarado son los productos, servicios y funciones comerciales de Meta. Puede leer la vista previa de los Commercial Terms de Meta usted mismo, y los cambios en su redacción se siguen en nuestro artículo aparte sobre los términos.

Los términos describen permisos y usos. No demuestran que Meta haya entrenado un modelo con el sitio de un negocio en particular. Lo que puede hacer hoy es la parte que está en sus manos: decidir cuáles de los cinco rastreadores web (bots) quiere y escribir esa decisión en robots.txt antes del 30 de octubre.

Si quiere una segunda opinión, el mantenimiento de sitios web es donde un archivo así se revisa con el tiempo, ya que una actualización de la plataforma o un cambio de complemento puede regenerar robots.txt y deshacer sus líneas en silencio.

Una regla de una sola línea es un trabajo que usted puede hacer por su cuenta

Agregar un grupo `Meta-ExternalAgent` en una plataforma que exponga robots.txt toma unos minutos y no cuesta nada. Si eso describe su sitio, hágalo hoy y evite cualquier paquete que venda «AI crawler protection» (protección contra rastreadores web de IA) por una regla tan pequeña.

Pagar por ayuda empieza a tener sentido en algunos casos: su robots.txt lo genera a la vez un complemento y una CDN, administra varios hosts, sus vistas previas se rompen y no sabe por qué, o quiere que alguien lea los registros y vigile el cambio con una forma de revertirlo. El valor está en no romper las vistas previas, los anuncios ni la búsqueda mientras hace un cambio pequeño, y en confirmar el resultado en vivo después. Si tiene un sitio escrito a mano, el archivo lo escribe usted directamente y no hay ningún complemento que genere una segunda copia, lo que elimina una de las formas comunes en que una regla se pierde.

Preguntas frecuentes sobre cómo bloquear rastreadores web (bots) de Meta en robots.txt

¿Qué rastreador web (bot) de Meta crea las vistas previas de enlaces?

`facebookexternalhit`. Meta lo describe como el rastreador web (bot) que obtiene un enlace cuando se comparte en Facebook, Instagram o Messenger. Bloquearlo puede romper la tarjeta de vista previa.

¿Qué rastreador web (bot) de Meta es el de entrenamiento de IA?

Meta documenta `Meta-ExternalAgent` como un rastreador web (bot) que recorre para usos como entrenar modelos de IA fundamentales o mejorar productos al indexar contenido directamente. Prohibirlo es la forma más estrecha de optar por no participar con ese rastreador web (bot).

¿Puedo bloquear el entrenamiento de IA de Meta y mantener las vistas previas de Facebook?

Sí, en la configuración habitual. Agregue un grupo `Meta-ExternalAgent` con `Disallow: /` y deje `facebookexternalhit` permitido. Después pruebe una publicación compartida para confirmar que la tarjeta sigue apareciendo.

¿Se puede ignorar robots.txt, y es legalmente exigible?

Sí, se puede ignorar. Es una solicitud publicada que los rastreadores web (bots) que cumplen siguen bajo RFC 9309, no un candado. Meta dice que `Meta-ExternalFetcher` puede pasar por alto robots.txt, y que `facebookexternalhit` podría hacerlo por controles de seguridad o integridad. Cualquiera también puede enviar una solicitud que afirme ser un rastreador web (bot) de Meta. Si ignorar un archivo genera responsabilidad legal es una pregunta legal que depende de los hechos, así que consulte a un abogado si eso importa para su sitio.

¿Una regla nueva elimina el contenido que Meta ya recopiló?

No. Una regla de robots.txt aplica al recorrido futuro de los rastreadores web (bots) que cumplen las reglas. No recupera la recopilación anterior.

¿Puedo editar robots.txt en Squarespace?

No directamente. Squarespace ofrece una configuración «Block known artificial intelligence crawlers» (bloquear rastreadores web de inteligencia artificial conocidos) cuya lista predefinida incluye `Meta-ExternalAgent`. No le da control individual sobre cada rastreador web (bot) de Meta.

Qué significa esto para usted

Puede conservar sus vistas previas de Facebook e Instagram y, aun así, rechazar el rastreador web (bot) de entrenamiento de IA que Meta documenta. Deje `facebookexternalhit` permitido, agregue un grupo `Meta-ExternalAgent` con `Disallow: /`, y decida sobre `Meta-WebIndexer` según si quiere que Meta AI cite y enlace sus páginas. Después abra el archivo en vivo, pruebe una publicación compartida y lea sus registros.

Hacerlo ahora resuelve la pregunta antes de que los términos de Meta entren en vigor el 30 de octubre de 2026, y la regla escrita se mantiene hasta que usted la cambie. Un archivo pequeño y específico protege sus vistas previas y su visibilidad en la búsqueda mientras expresa su decisión.

Si prefiere delegarlo, en Web Leveling configuramos y revisamos las reglas de rastreadores web (bots) como parte de la optimización para motores generativos, con revisiones del archivo en vivo y pruebas de vistas previas después de cada cambio. Trabajamos con pequeñas y medianas empresas en todo el país y en el extranjero, y puede escribirnos desde nuestra página de contacto para pedirnos que revisemos su robots.txt.

Términos