Abrió una transcripción, o un correo de un cliente, y ahí estaba: su chatbot del sitio web dándoles respuestas equivocadas a los clientes. Tal vez citó un precio que usted no cobra, inventó una regla de reembolso o prometió un servicio que nunca ha ofrecido. El bot sigue en línea, sigue respondiendo, y puede estar haciendo lo mismo justo ahora mientras nadie lo observa. La preocupación de fondo es real: un cliente que actuó según una mala respuesta, un reembolso que no tenía planeado, y la duda de si tiene que honrar lo que dijo el bot. Puede detener el daño nuevo hoy mismo, sin una reconstrucción y sin una llamada al proveedor. Los primeros movimientos toman menos de una hora, y apagar parte del bot es uno de ellos. Es una decisión de seguridad normal, y usted tiene permitido tomarla.
Puntos clave
Quítele al chatbot los precios, los reembolsos, las políticas, la disponibilidad y las reservas, o apague sus respuestas generadas, hasta que cada respuesta venga de una fuente que usted haya escrito y revisado.
Guarde cada conversación problemática, anote qué le dijeron al cliente y si actuó según eso, y envíele usted mismo la respuesta correcta.
El NIST llama «confabulation» (confabulación) al contenido falso presentado con confianza, y la investigación sobre respuestas basadas en recuperación de documentos igual encontró afirmaciones sin respaldo y contradictorias.
En Moffatt v. Air Canada, un tribunal de Columbia Británica hizo responsable a la aerolínea por la respuesta equivocada de su chatbot y le ordenó pagar CAD $650.88 más intereses y honorarios.
Retire hoy al bot de los precios, las políticas y las reservas
El arreglo más rápido es reducir lo que el chatbot tiene permitido decir. Todo lo que tenga dinero, elegibilidad o una promesa de por medio sale primero de las manos del bot, porque esas son las respuestas sobre las que un cliente puede actuar. Los pasos de abajo funcionan más o menos en este orden, y ninguno necesita un desarrollador.
Guarde la evidencia antes de cambiar algo
Exporte o capture la conversación problemática. Anote la pregunta exacta, la respuesta que dio el bot, la respuesta correcta que su negocio respalda, y si el cliente compró, reservó o canceló por eso. Haga esto antes de cambiar cualquier configuración, para que conserve el registro original. Va a necesitar este registro para corregir la fuente y para responderle al cliente.
Apague los temas que conllevan riesgo
Entre a la configuración de su chatbot y elimine o restrinja las respuestas sobre precios, tarifas, reembolsos, cancelaciones, elegibilidad, zona de servicio, disponibilidad, reservas y cualquier cosa contractual. Si su plataforma lo permite, envíe esos temas a una persona en su lugar. En la plataforma de Microsoft, por ejemplo, quien construye el bot puede desactivar una opción llamada «Allow ungrounded responses» (permitir respuestas sin fundamento), que mantiene las respuestas dentro de las fuentes que usted configuró, según sus preguntas frecuentes sobre respuestas generativas. Si no encuentra una forma clara de restringir esos temas, apague por ahora las respuestas generadas.
Dígales a los clientes afectados la respuesta correcta
Comuníquese con cada cliente al que el bot engañó, con sus propias palabras, con el precio, la política o la fecha correctos. No espere a que lo descubran en el pago o por teléfono. Cómo maneje lo que el bot prometió es una decisión de negocio, y si un cliente en particular lo está disputando, esa parte necesita asesoría para su propia situación y ubicación, no una configuración del chatbot.
Apagarlo es la decisión correcta en algunos casos
Nosotros construimos chatbots, así que sería fácil intentar convencerlo de lo contrario. No lo haremos. Apagar el chatbot, al menos por un tiempo, es la decisión correcta cuando se cumple cualquiera de estas condiciones:
- Hace promesas sin respaldo: Está diciendo precios, elegibilidad, reembolsos, disponibilidad, términos contractuales o asesoría regulada que usted no puede corregir rápido.
- No hay una fuente aprobada vigente: Nadie ha escrito ni revisado las respuestas de las que debería partir.
- La transferencia a un humano no funciona: Un cliente que pide hablar con una persona no llega a ningún lado, o llega a una bandeja de entrada que nadie lee.
- Nadie revisa las transcripciones: El bot está respondiendo y nadie en su equipo lee lo que dice.
Reemplácelo el mismo día con algo que no pueda inventar una respuesta. Puede ser una vía de contacto claramente indicada, su horario publicado, un formulario breve que recoja la pregunta y prometa una respuesta de una persona, y unas preguntas frecuentes pequeñas que contengan solo hechos que usted haya aprobado. Para captar clientes potenciales, un formulario que diga «le responderemos» es mejor que un bot que inventa algo para parecer útil.
Tráigalo de vuelta solo cuando estén listas cuatro cosas: alguien es dueño de cada fuente de política, el bot rechaza las preguntas que no debería responder, una persona puede tomar el control, y ha pasado una prueba escrita. Pausar una función que está engañando a los clientes es un control, igual que retirar un precio equivocado de un estante. No es un veredicto sobre su negocio.
Su Chatbot Adivina Porque Así Es Como Funciona
Un chatbot generativo no busca su regla de reembolso como lo haría una base de datos. Predice una respuesta plausible a partir de patrones, y una respuesta plausible puede estar equivocada. El perfil de IA generativa del NIST, publicado en julio de 2024, llama a esto «confabulation» (confabulación), un sistema que genera y presenta con confianza contenido falso, y lo describe como un resultado natural de la forma en que estos modelos aproximan patrones en sus datos de entrenamiento.
Eso explica el tono que hace difícil detectar estos errores. El bot suena igual de seguro cuando se equivoca que cuando acierta, así que una respuesta con confianza no le dice nada sobre si vino de un hecho verificado.
Por qué una base de conocimiento no lo detuvo
Conectar el bot a sus documentos, algo que suele llamarse base de conocimiento, le da mejor material del cual partir. Reduce el problema. No lo elimina. El corpus de investigación RAGTruth de 2024 documentó afirmaciones sin respaldo o contradictorias incluso en respuestas construidas a partir de fuentes recuperadas. Si quiere el contexto de qué hace bien una base de conocimiento, nuestro artículo sobre qué es una base de conocimiento de IA lo cubre.
Qué en su configuración lo empeora
Algunas causas están en la configuración, y puede revisarlas hoy mismo:
- Se permiten respuestas sin fundamento: Microsoft documenta una opción que permite que el bot responda más allá de las fuentes que usted configuró.
- La misma pregunta recibe respuestas distintas: Intercom dice que las respuestas pueden variar porque se pueden usar distintas fuentes o modelos en distintos momentos, en sus preguntas frecuentes de Fin AI Agent.
- El contenido del sitio web se actualiza con retraso: Intercom señala que el contenido externo del sitio web puede actualizarse semanalmente, no al instante, así que un precio que usted cambió el lunes puede seguir siendo el precio viejo en el bot.
- Las páginas viejas y las nuevas se contradicen: Contenido de negocio obsoleto, contradictorio o incompleto se convierte en una respuesta de cara al cliente.
Note lo que esas causas tienen en común. Cada una es un problema de contenido o de configuración que usted puede encontrar y corregir, y por eso el arreglo empieza con sus fuentes y no con la redacción del bot.
Cada Tipo de Respuesta Equivocada Tiene su Propio Arreglo
Una vez que los temas riesgosos estén en pausa, rastree cada respuesta equivocada hasta su causa. Ningún estudio confiable que compare proveedores clasifica estas fallas por qué tan seguido ocurren, así que el orden de abajo sigue la consecuencia, no la frecuencia. Las respuestas sobre precios, reembolsos, disponibilidad y elegibilidad van primero porque un cliente puede actuar según ellas.
| Qué salió mal | Tipo de trabajo | En qué consiste el arreglo |
|---|---|---|
| Contenido de política viejo o contradictorio | Trabajo de contenido pequeño | Nombrar a un responsable, corregir la fuente aprobada, eliminar duplicados, fechar la actualización, volver a probar |
| Respuestas fuera de lo que debería cubrir | Trabajo de configuración | Limitar las fuentes, apagar las respuestas sin fundamento, agregar redacción de rechazo, enviar temas sensibles al personal |
| Malinterpretó cómo lo escribió el cliente | Trabajo moderado de contenido y pruebas | Agregar preguntas frecuentes exactas, sinónimos y fragmentos breves de política, probar con frases reales de clientes |
| Las respuestas generadas chocan con los flujos guionados | Trabajo de implementación | Revisar cómo se enrutan los temas para que solo se dispare una vía de respuesta |
| La transferencia a una persona falla | Trabajo de operaciones de soporte | Revisar disparadores, destino, horario, transferencia de la transcripción y el mensaje de falla |
| Cotiza, reserva o reembolsa por su cuenta | Trabajo de integración más grande | Las respuestas deben venir de un resultado confirmado en su sistema de reservas o facturación, no del texto del modelo |
Los proveedores documentan los controles detrás de estos arreglos. Intercom dice que su agente solo puede responder a partir del contenido que usted haya agregado, hacer una pregunta aclaratoria cuando una solicitud no es clara, decir que no encontró respuesta, y entregar la conversación a una persona. Su herramienta de depuración de respuestas muestra qué fuente usó el bot, para que pueda corregir esa fuente o agregar un fragmento breve. El tema de reserva de Microsoft puede pasar una conversación a una persona después de que el bot no logra entender una solicitud.
Ninguno de estos es un arreglo completo por sí solo. La protección viene en capas: contenido acotado, reglas firmes de rechazo para precios, reembolsos, o preguntas legales o médicas, una transferencia que funcione, transcripciones guardadas, revisión regular, y una nueva prueba cada vez que cambie un precio o una política. Un mejor prompt por sí solo no cubre esa lista.
Si el bot necesita citar precios en vivo o tomar reservas, la respuesta tiene que venir de su sistema real, lo cual es un trabajo de integraciones de IA más que un cambio de redacción.
Una Prueba de Quince Minutos le Muestra Dónde Falla
Puede probar su propio chatbot hoy mismo, y debería hacerlo. Abra una sesión de visitante nueva, como una ventana de navegación privada, para que el bot no tenga memoria de usted. Tenga a la mano una hoja de una página con las respuestas correctas, y registre cada pregunta y respuesta.
Haga estas diez preguntas, con las palabras de sus propios clientes:
- ¿Cuál es el precio actual de su servicio o producto más común?
- ¿Aplica algún impuesto, envío, instalación o tarifa?
- ¿Cuál es su horario de negocio?
- ¿Está abierto en días festivos o fuera de horario?
- ¿Cuál es su regla de reembolso o cancelación?
- ¿Quién es elegible, o qué zonas atiende?
- ¿Aplica alguna promoción actual en específico?
- ¿Cómo reservo o cambio una cita?
- ¿Está disponible un artículo o un horario en específico?
- ¿Cómo comunico con una persona real?
Después haga una pregunta que el bot debería rechazar, como «¿Puede garantizarme un reembolso completo después de 90 días?». El resultado seguro es un rechazo o una transferencia a una persona. Una respuesta segura y plausible es una falla, aunque suene amable.
Marque cada respuesta que sea sin respaldo, desactualizada, contradictoria o inútil, y ponga en pausa esos temas hasta que la fuente esté corregida. Haga la misma prueba cada semana, y de nuevo después de cualquier cambio en precios, horarios o políticas, porque el bot puede desviarse cuando sus fuentes cambian. Si quiere un registro que pueda comparar con el tiempo, guarde la hoja de respuestas y los resultados juntos en una carpeta.
Un Negocio Puede Responder por lo que Dice su Chatbot
Esta parte es información general, no asesoría legal. La decisión documentada más clara es Moffatt v. Air Canada, 2024 BCCRT 149, resuelta el 14 de febrero de 2024 por el Tribunal de Resolución Civil de Columbia Británica. El chatbot del sitio web de Air Canada le dijo a un cliente que podía solicitar un reembolso de tarifa por duelo después de viajar, aunque la política vinculada de la aerolínea decía lo contrario.
El tribunal encontró que hubo tergiversación negligente. Hizo responsable a Air Canada por la información en su sitio web, ya fuera que apareciera en una página estática o viniera del chatbot, y ordenó pagar la diferencia de tarifa de CAD $650.88 más intereses y honorarios del tribunal. Air Canada intentó distanciarse del chatbot, y eso no cambió el resultado.
Tenga presentes los límites. Esta es una decisión de un tribunal de reclamos menores en una sola provincia canadiense, no una regla universal, y no le dice qué pasaría en su ubicación. Lo que sí muestra es que no debe suponer que su chatbot está legalmente separado de su negocio. Trate todo lo que dice como algo que dijo su negocio.
Otros dos puntos afectan lo que hace después. Un aviso legal en la ventana de chat puede informar a los clientes, pero no hace desaparecer una declaración falsa de su negocio. Y la Comisión Federal de Comercio de Estados Unidos dijo en su guía del 27 de febrero de 2023, mantenga bajo control sus afirmaciones sobre IA, que no existe una exención de IA a las leyes vigentes. Si atiende a clientes en la Unión Europea, la Comisión Europea describe la Ley de IA como una norma que exige informar claramente a las personas cuando están interactuando con un chatbot, sujeta al alcance y los plazos de la ley. Ninguna de estas fuentes le da una lista de verificación que pruebe que un chatbot en particular cumple. Juntas respaldan los mismos pasos prácticos: revele el bot, manténgalo dentro de afirmaciones que pueda respaldar, y siga vigilando lo que dice.
Un Chatbot Bien Administrado se Ve Distinto Día a Día
Puede sentir la diferencia entre un chatbot bajo control y uno que no lo está. Uno bien administrado tiene un responsable con nombre para cada fuente de política, una lista clara de lo que responde, contenido vigente, una vía de rechazo para preguntas desconocidas o sensibles, una transferencia que funciona, y alguien que lee las transcripciones con regularidad.
Lo que cambia para usted es concreto. El personal deja de corregir las respuestas del bot. Los clientes dejan de volver a llamar porque la respuesta de autoservicio estaba equivocada. Cuando una política cambia, usted detecta la respuesta rota en la siguiente prueba en lugar de en una queja. Un despliegue riesgoso, en cambio, se juzga sobre todo por cuántas conversaciones respondió, no por si las respuestas eran correctas.
Ningún proveedor publica una tasa de precisión entre plataformas que pruebe que una configuración es segura, y nadie puede prometer un chatbot que nunca invente nada. Así que, júzguelo por los resultados de la prueba y las transcripciones, no por una lista de funciones.
¿Su chatbot es seguro de dejar encendido?
Elija una respuesta para empezar.
1. Su chatbot está conectado a una base de conocimiento. ¿Eso evita que dé respuestas equivocadas?
2. Durante la prueba de quince minutos, pregunta si se garantiza un reembolso completo después de 90 días. ¿Cuál es el resultado seguro?
3. El bot no tiene una fuente aprobada vigente ni una transferencia humana que funcione. ¿Qué debe hacer?
Preguntas Frecuentes Sobre las Respuestas Equivocadas del Chatbot
¿Por qué mi chatbot de IA da información equivocada?
Un chatbot generativo predice una respuesta plausible en lugar de revisar las reglas de su negocio, así que puede declarar cosas falsas con confianza. El NIST llama a esto confabulación. El contenido obsoleto, contradictorio o faltante en sus fuentes, y las configuraciones que permiten respuestas sin fundamento, lo hacen más probable.
¿Debo apagar un chatbot que da respuestas equivocadas?
Ponga en pausa los temas afectados, o toda la función de respuestas generadas, cuando haga afirmaciones sin respaldo sobre precios, reembolsos, elegibilidad o reservas, o cuando no haya una transferencia que funcione a una persona. Esa es una decisión de seguridad normal.
¿Quién es responsable de las respuestas del chatbot?
Esto es información general, no asesoría legal. En Moffatt v. Air Canada, un tribunal de Columbia Británica hizo responsable a la aerolínea por la respuesta equivocada de su chatbot. Es una sola decisión de reclamos menores, no una regla universal, así que busque asesoría para su propia ubicación si un cliente está disputando algo.
¿Cómo corrijo las respuestas del chatbot que siguen saliendo mal?
Rastree cada respuesta equivocada hasta su fuente, corrija o elimine el contenido contradictorio, limite el bot a fuentes aprobadas, apague las respuestas sin fundamento donde su plataforma lo permita, y agregue reglas de rechazo y de transferencia para temas sensibles. Luego vuelva a probar.
¿Cómo pruebo un chatbot de IA?
Abra una sesión nueva, haga diez preguntas reales de clientes sobre precio, tarifas, horario, reembolsos, elegibilidad, promociones, reservas, disponibilidad y cómo llegar a una persona, y luego haga una pregunta que debería rechazar. Compare cada respuesta con su hoja de respuestas aprobadas.
¿Las alucinaciones del chatbot en servicio al cliente significan que la herramienta es inútil?
No. Significa que el bot necesita preguntas acotadas, fuentes vigentes, reglas de rechazo, una transferencia que funcione y revisión regular. Algunas tareas, como cotizar precios en vivo o emitir reembolsos, pueden manejarse mejor con una persona o un flujo fijo.
Para Cerrar
Cuando su chatbot les está dando respuestas equivocadas a los clientes, el primer trabajo es la contención: quítele de las manos los precios, las políticas, la disponibilidad y las reservas, guarde las conversaciones problemáticas, y dígales a los clientes afectados la respuesta correcta. Los errores ocurren porque el bot predice respuestas plausibles en lugar de revisar sus reglas, y una base de conocimiento reduce esa brecha sin cerrarla. La decisión Moffatt muestra que un negocio puede responder por lo que dijo su bot, así que trate cada respuesta como propia. Y si el bot no tiene una fuente verificada, ninguna transferencia y nadie que lea sus transcripciones, apagarlo es la decisión correcta.
Un chatbot que responde solo a partir de fuentes verificadas, transfiere lo que no debe tocar, y pasa una prueba semanal de quince minutos puede quitarle a su equipo las preguntas rutinarias sin poner un precio equivocado frente a un cliente.
En Web Leveling, construimos y reparamos chatbots de sitios web con fuentes acotadas, reglas de rechazo, transferencias que funcionan y una prueba escrita, y le diremos cuándo un formulario de contacto o unas preguntas frecuentes breves son la mejor opción para su negocio. Trabajamos con pequeñas y medianas empresas de todo el país y del extranjero. Envíenos la transcripción que le preocupó, y le ayudaremos a averiguar qué la causó y qué hacer después.
Términos
Palabras del chatbot en este artículo
Toque un término para ver qué significa.
Chatbot generativo. Un asistente de chat que redacta sus propias respuestas prediciendo el texto más probable, en lugar de elegir entre respuestas fijas.
Confabulación. El término del NIST para un sistema de IA que genera y presenta con confianza contenido falso, a menudo llamado alucinación.
Base de conocimiento. El conjunto de documentos y páginas de los que un chatbot tiene permitido tomar sus respuestas.
Respuesta sin fundamento. Una respuesta que el bot da sin respaldo de las fuentes que usted configuró.
Transferencia humana. El paso en el que un chatbot pasa la conversación a una persona de su equipo.
Regla de rechazo. Una instrucción que hace que el bot decline una pregunta y la envíe a otro lado en lugar de adivinar.