Usted escribió el nombre de su negocio en ChatGPT, o le preguntó a la IA de Google por su tipo de servicio en su zona, y su empresa no aparecía en la respuesta. Es un momento desalentador, y el primer pensamiento suele ser que el sitio web debe de ser invisible. Así que, ¿puede ChatGPT leer mi sitio web? Normalmente sí, porque tanto ChatGPT como la IA de Google pueden usar información de las páginas públicas, cada uno mediante su propio rastreador y con sus propias reglas. Lo que decide su caso es si algo de su lado está cerrando la puerta, y eso se revisa rápido. Un archivo, un ajuste del hosting o un script pueden bloquear a un rastreador sin que nadie lo note. Usted puede revisar los tres esta noche, y el resultado le dice qué corregir, o si el sitio está bien y la respuesta tiene otra causa.
Puntos clave
OpenAI usa OAI-SearchBot para ChatGPT Search, GPTBot para el entrenamiento y ChatGPT-User para las páginas que una persona le pide abrir. La Búsqueda de Google usa Googlebot, también para las descripciones generales creadas con IA y el Modo IA.
Abra sudominio.com/robots.txt y busque una regla Disallow general o líneas que nombren a un rastreador que usted quiere permitir.
Un firewall, un plugin de seguridad o un ajuste de Cloudflare pueden devolver un bloqueo aunque robots.txt esté limpio.
Google procesa JavaScript, pero advierte que los scripts bloqueados o que fallan pueden ocultar contenido, así que diga en texto simple quién es usted, qué hace y dónde.
Que una respuesta lo nombre sigue dependiendo de la relevancia, así que corrija primero el acceso y luego construya el contenido que se gana la mención.
Una revisión de diez minutos muestra si los rastreadores de IA llegan a su sitio
Siga estos pasos en orden. Cada uno descarta una forma distinta de rechazar a un rastreador, y no necesita un desarrollador para ninguno. Anote lo que ve en cada paso, porque el patrón señala la solución.
- Abra su archivo robots.txt: Escriba `https://yourdomain.com/robots.txt` en un navegador, con su propio dominio. Lo que debe ver es texto simple, y la documentación de robots.txt de Google explica qué hace cada línea.
- Lea las reglas: Busque `User-agent: *` seguido de `Disallow: /`, que le dice a todos los rastreadores que no entren. Busque también líneas que nombren `GPTBot`, `OAI-SearchBot`, `ChatGPT-User`, `Googlebot` o `Google-Extended`, y carpetas bloqueadas que contengan sus páginas de servicios.
- Confirme que el archivo carga bien: Lo que quiere es una página de texto normal. Una redirección, una página de error o un mensaje de bloqueo significan que quizás los rastreadores tampoco puedan leerlo.
- Revise Cloudflare o su hosting: Si su sitio funciona con Cloudflare, abra los ajustes de seguridad y mire la política de bots de IA, Block AI Bots, Managed robots.txt y AI Crawl Control. En otros hosts, revise el firewall y cualquier plugin de seguridad.
- Use la Inspección de URL en Search Console: Pegue una página importante en la herramienta, como describe la ayuda de la Inspección de URL de Google, y ejecute la prueba en vivo. Mire la página procesada y el estado.
- Compare la página procesada con lo que ven los visitantes: Si su teléfono, sus servicios o su zona de servicio faltan en la versión procesada, el contenido depende de un script que falla o está bloqueado.
- Anote cuál de los cuatro resultados obtuvo: bloqueado, accesible pero sin indexar, indexado pero sin posicionar, o accesible e indexado pero ausente en una respuesta en particular.
El cuarto resultado es el que sorprende a la gente. Si llega a él, nada de su lado está roto, y la siguiente pregunta es de relevancia, que viene más adelante en este artículo. Si necesita ayuda con el paso cinco, el artículo sobre la configuración de Search Console explica cómo dejar lista la cuenta.
Cada rastreador tiene su propio trabajo, así que cada uno necesita su propia revisión
La palabra «IA» esconde varios visitantes distintos. La documentación de rastreadores de OpenAI enumera agentes de usuario separados con propósitos separados, y dice que cada control es independiente. El lado de Google funciona distinto, y confundir los dos es como la gente bloquea lo que no debe o permite lo que no debe.
| Rastreador | Empresa | Qué hace | Cómo controlarlo |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Encuentra páginas para los resultados de ChatGPT Search | Reglas de robots.txt para OAI-SearchBot |
| GPTBot | OpenAI | Recopila contenido que puede usarse para entrenar modelos | Reglas de robots.txt para GPTBot |
| ChatGPT-User | OpenAI | Abre una página cuando una persona o un GPT personalizado lo pide | Independiente de la inclusión en Search |
| Googlebot | Rastrea para la Búsqueda de Google, incluidas las descripciones generales creadas con IA y el Modo IA | Reglas de robots.txt para Googlebot | |
| Google-Extended | Controla el uso del contenido en algunos productos de Gemini y otros productos de IA generativa | Token de producto en robots.txt, no un control de la Búsqueda |
Dos detalles de esa tabla resuelven las dudas más comunes de los dueños. Bloquear a GPTBot no lo saca de ChatGPT Search, porque de eso se encarga OAI-SearchBot, y OpenAI dice que un cambio de robots.txt para Search puede tardar unas 24 horas en aplicarse. La guía sobre funciones de IA de Google dice que las reglas de Googlebot controlan el rastreo para la Búsqueda, incluidas sus funciones de IA, mientras que Google-Extended está documentado por separado y no es el interruptor de la Búsqueda.
Así que, si su robots.txt permite a Googlebot y a OAI-SearchBot, las dos puertas principales están abiertas en esta capa. Si bloquea a cualquiera de los dos, ya encontró su primera corrección. Permitir o no a GPTBot es una decisión aparte sobre el uso para entrenamiento, y no cambia si usted aparece en ChatGPT Search.
Su hosting o Cloudflare pueden bloquear a un rastreador que robots.txt permite
Un robots.txt limpio es solo la mitad de la historia. La documentación de Cloudflare describe varias capas que pueden detener a un rastreador: una política de rastreadores de IA en los ajustes de seguridad, un control de Block AI Bots, reglas WAF personalizadas, reglas de Bot Management y AI Crawl Control. Cualquiera de ellas puede devolver una respuesta `403 Forbidden` a un rastreador mientras su robots.txt visible dice que todos son bienvenidos. Un host o un plugin pudo haberlas activado sin que nadie lo decidiera, así que revise aunque no recuerde haber cambiado nada.
Cloudflare también ofrece Managed robots.txt, que puede crear o anteponer líneas que prohíben a rastreadores de IA conocidos. Eso significa que el archivo robots.txt que leyó en el paso uno puede contener líneas que usted nunca escribió. Cloudflare describe las directivas de robots.txt como preferencias voluntarias y AI Crawl Control como el ajuste que hace cumplir un bloqueo, y su documentación de AI Crawl Control muestra qué rastreadores se permiten o se bloquean. Si lo usa, sus pestañas Crawlers y Directives son el lugar más rápido para ver el estado actual.
Otras capas pueden hacer el mismo trabajo en silencio: un firewall del hosting, un plugin de seguridad, un límite de solicitudes, un muro de contraseña o una página de desafío para bots. Busque en los registros de su hosting o de seguridad solicitudes bloqueadas que nombren a los rastreadores de la tabla anterior. Cuando encuentre una regla, cambie solo esa regla, porque aflojar todo un firewall para arreglar un rastreador puede abrir brechas de seguridad reales.
Los datos clave deben estar en el HTML de la página, no solo en scripts
Google puede ejecutar JavaScript. Sus fundamentos de SEO con JavaScript explican que el rastreo, el procesamiento y la indexación son fases separadas, y que las páginas que devuelven un estado de éxito normal generalmente entran en una cola de procesamiento. La misma página advierte además que la Búsqueda de Google no procesa JavaScript de archivos bloqueados ni en páginas bloqueadas, así que una regla de robots.txt que bloquee sus scripts puede dejar una página aparentemente vacía.
El riesgo crece cuando el texto importante llega tarde. El contenido que depende de una llamada a una API que falla, de una función no compatible del navegador, de una demora, de una cookie o de un clic puede no aparecer nunca en la versión procesada. La guía de Google para corregir problemas de JavaScript recomienda el procesamiento en el servidor, el procesamiento estático o la hidratación cuando el contenido debe estar disponible para todos. La página de rastreadores de OpenAI describe para qué sirve cada uno de sus rastreadores, y no afirma que todos ejecuten scripts como lo hace el procesador de Google.
La regla práctica es sencilla. Ponga los datos que necesitaría un cliente o una respuesta de IA, como el nombre de su negocio, lo que hace, dónde trabaja, su horario y sus datos de contacto, en el texto HTML de la propia página. Use scripts para agregar comportamiento encima. El paso seis de la revisión le muestra si su sitio ya hace esto, y un sitio construido para enviar HTML terminado al navegador, como las construcciones a la medida de nuestro trabajo de diseño web, parte de esa posición.
Las fallas suelen venir en este orden, y cada solución tiene un tamaño distinto
Cuando no se puede llegar a una página, la causa tiende a caer en unos pocos grupos. Este orden es una secuencia práctica para recorrerlos, no una clasificación medida de qué tan seguido ocurre cada uno.
- Un `Disallow: /` general o una regla accidental bloquea a Googlebot o rutas importantes.
- Un ajuste del CMS, un ajuste de staging o una directiva `noindex` mantiene las páginas fuera del índice.
- Cloudflare, un firewall o un plugin de seguridad bloquea bots o muestra un desafío.
- El contenido importante carga mediante una llamada a una API que falla, está bloqueada o no es confiable.
- La página genera errores, redirige mal, pide un inicio de sesión o se cae a veces.
- Los enlaces internos no llevan con claridad a la página, así que los rastreadores nunca llegan a ella.
- La página es accesible y está indexada, pero no coincide lo bastante con la pregunta.
El tamaño del trabajo cambia mucho de un grupo a otro.
| Problema | Solución típica | Tamaño del trabajo |
|---|---|---|
| Bloqueo general en robots.txt | Edite el archivo robots en su CMS o servidor y vuelva a probar | Minutos, pero de gran impacto |
| Ajuste de noindex o de staging | Cambie el ajuste de visibilidad y solicite un nuevo rastreo | Corto |
| Regla de Cloudflare o del firewall | Encuentre la regla exacta y ajuste solo esa política | De corto a moderado |
| Contenido solo en scripts | Arregle la API, los permisos o el procesamiento, o envíe el texto en el HTML | Trabajo de desarrollo |
| Errores, redirecciones, muros de inicio de sesión | Reparación de hosting o de desarrollo | Moderado |
| Enlaces internos débiles | Agregue enlaces claros desde páginas relacionadas | Trabajo de contenido |
| Relevancia | Mejore el contenido y la estructura del sitio | Continuo |
Para los grupos uno a seis, el artículo sobre páginas no indexadas y el artículo sobre cómo lograr que Google encuentre una página nueva cubren con más detalle el lado de Search Console. Para el grupo seis, el artículo sobre enlaces internos para el sitio web de una pequeña empresa muestra cómo conectar las páginas para que un rastreador pueda encontrarlas.
El acceso lo mete en la contienda, y la relevancia decide la respuesta
Pasar todos los pasos anteriores muestra que un rastreador puede obtener, leer e indexar sus páginas. No hace que un asistente lo nombre para una pregunta en particular. La recuperación, el posicionamiento y la cita son pasos separados, y una página accesible e indexada todavía puede perder ante otra que responde la pregunta de forma más directa.
La guía de funciones de IA de Google dice que no hay requisitos técnicos adicionales ni un esquema especial para las descripciones generales creadas con IA o el Modo IA. Apunta a lo básico: permitir el rastreo de Googlebot en robots.txt y en su CDN o capa de hosting, ofrecer el contenido importante como texto y mantener actualizada la información de su Perfil de Negocio de Google y de Merchant Center. Eso significa que un archivo llms.txt no es una puerta de entrada, y que una regla de robots.txt no sirve para ocultar una página, ya que Google señala que una URL no permitida todavía puede aparecer sin descripción.
Cuando el acceso esté limpio, el trabajo pasa a ser el contenido mismo. El artículo sobre cómo lograr que ChatGPT lo cite cubre la lista ordenada de lo que usted controla después de la revisión técnica, y la descripción general del rastreo y la indexación de Google explica el sistema que hay detrás.
Usted puede hacer la primera revisión solo, y la ayuda vale su costo cuando el resultado no es claro
Todo lo de la revisión de diez minutos es gratis. Un dueño puede encontrar una sola regla o ajuste, corregirlo y terminar. Si la revisión sale limpia y la página está indexada, también aprendió algo útil: el sitio no es el problema, y gastar dinero en reparar el acceso sería un desperdicio.
La ayuda empieza a tener sentido en algunas situaciones. El resultado puede ser ambiguo, o el sitio puede depender de JavaScript o de API de terceros. Pueden intervenir reglas de Cloudflare o del hosting, o puede haber varias páginas afectadas. Un cambio en una capa también puede debilitar la seguridad o el acceso de búsqueda, y es entonces cuando una persona que puede seguir todo el recorrido de la solicitud se gana sus honorarios. Un entregable útil es un diagnóstico escrito que compare la página sin procesar con la procesada, nombre la regla exacta que bloquea, la repare sin quitar protecciones y luego confirme el resultado. No es una promesa de que algún asistente lo vaya a citar.
¿Puede la IA leer su sitio web?
Elija una respuesta para empezar.
1. ¿Qué rastreador de OpenAI controla si sus páginas pueden aparecer en ChatGPT Search?
2. Su robots.txt está limpio, pero hay un ajuste de bots de IA de Cloudflare activado. ¿Qué puede pasar?
3. ¿Cuál opción describe mejor dónde deben aparecer sus datos clave?
Preguntas frecuentes sobre si ChatGPT puede leer mi sitio web
¿Puede ChatGPT leer mi sitio web?
Sí, ChatGPT puede usar la información pública de un sitio web mediante ChatGPT Search o una consulta de página que el usuario le pida, siempre que sus rastreadores puedan llegar a la página y el contenido se ajuste a la pregunta.
¿Qué rastreador decide si aparezco en ChatGPT Search?
OpenAI documenta a OAI-SearchBot como el rastreador de ChatGPT Search. GPTBot se relaciona con el uso para entrenamiento, y ChatGPT-User atiende las páginas que una persona le pide.
¿Usa la IA de Google a Googlebot?
Google dice que las reglas de Googlebot controlan el rastreo para la Búsqueda de Google, incluidas las descripciones generales creadas con IA y el Modo IA.
¿Controla Google-Extended las descripciones generales creadas con IA?
No. Google documenta Google-Extended por separado, como un control para el uso del contenido en algunos productos de IA generativa, no como el interruptor de la Búsqueda de Google.
¿Puede Google leer un sitio construido con JavaScript?
Sí, Google procesa JavaScript, aunque los archivos bloqueados, los scripts que fallan y el comportamiento no compatible pueden impedir que se use el contenido. Poner los datos clave en el HTML de la página evita el riesgo.
¿Necesito un archivo llms.txt?
No. La guía de funciones de IA de Google dice que no se requiere ningún archivo nuevo específico de IA ni un esquema especial para las descripciones generales creadas con IA o el Modo IA.
Conclusión
ChatGPT y la IA de Google pueden leer un sitio web público cuando sus rastreadores tienen permiso de entrar y la página muestra su contenido como texto. La revisión toma unos diez minutos: lea su robots.txt, mire los ajustes de Cloudflare y del hosting, inspeccione una página en Search Console y compare la versión procesada con lo que ven los visitantes. Cada paso descarta una forma de ser rechazado, y los cuatro resultados posibles le dicen si debe corregir el acceso, corregir la indexación, mejorar el contenido o dejar el sitio como está.
Un resultado limpio vale la pena. Le permite dejar de adivinar si su sitio está bloqueado y dedicar su tiempo a las páginas y respuestas que deciden a quién se nombra. Quitar una regla que bloquea puede tomar unos minutos, y el efecto en la indexación puede llegar cuando los rastreadores regresen.
Si la revisión muestra algo que preferiría no tocar usted mismo, Web Leveling puede seguir el recorrido completo desde robots.txt hasta su hosting y la página procesada, y nuestro trabajo de optimización para motores generativos cubre lo que sigue cuando el acceso ya está limpio. Trabajamos con pequeñas y medianas empresas de todo el país y del extranjero. Contáctenos sobre el acceso de IA a su sitio y envíenos la página que falta en las respuestas.
Términos
Palabras usadas en este artículo
Toque un término para ver qué significa.
Rastreador. Un programa que obtiene páginas web para que un sistema de búsqueda o de IA pueda leerlas.
robots.txt. Un archivo de texto en la raíz de un sitio que les dice a los rastreadores qué rutas pueden obtener.
Agente de usuario. El nombre que un rastreador da cuando solicita una página, como OAI-SearchBot o Googlebot.
Procesamiento. Ejecutar los scripts de una página para producir la página terminada que ve un visitante.
WAF. Un firewall de aplicaciones web, una capa del hosting o de la CDN que puede bloquear solicitudes antes de que lleguen a sus páginas.
Inspección de URL. Una herramienta de Search Console que muestra cómo Google obtuvo y procesó una página.
Indexación. Google almacena una página para poder mostrarla en los resultados de búsqueda.
