Por qué una IA puede responder con seguridad y estar equivocada
Una respuesta fluida puede sonar convincente sin estar respaldada por hechos. Para usar modelos de lenguaje con criterio, hay que entender qué optimizan y qué no garantizan.
Los modelos de lenguaje pueden redactar, resumir, traducir y ayudar a resolver problemas. También pueden inventar referencias, mezclar hechos o dar una explicación incorrecta con un tono impecablemente seguro. A estos resultados se les suele llamar alucinaciones, aunque la palabra no implica que el sistema tenga experiencias o creencias humanas.
Qué hace un modelo de lenguaje
En términos generales, un modelo de lenguaje genera una secuencia de tokens a partir del contexto y de patrones aprendidos durante su entrenamiento. El objetivo de entrenamiento y el proceso de generación no equivalen a consultar automáticamente una base de datos de hechos verificados. La fluidez es una propiedad del texto generado, no una prueba de que cada afirmación sea verdadera.
Por qué aparecen respuestas incorrectas
- Información ausente o poco representada: el modelo puede no tener una base fiable para responder una pregunta concreta.
- Ambigüedad: una pregunta puede admitir varias interpretaciones y el sistema puede elegir la equivocada.
- Contexto engañoso: una premisa falsa en la pregunta puede conducir a una respuesta que la siga en lugar de cuestionarla.
- Detalles exactos: nombres, fechas, cifras, citas y referencias son fáciles de formular de manera plausible aunque sean incorrectos.
- Conocimiento desactualizado: la respuesta puede ignorar cambios posteriores al entrenamiento si no dispone de una fuente actualizada.
¿Pedirle que esté seguro resuelve el problema?
No. Pedir una respuesta cuidadosa puede mejorar el formato o animar al modelo a reconocer incertidumbre, pero no convierte cada afirmación en una afirmación verificada. Del mismo modo, una puntuación de confianza expresada en palabras no debe interpretarse como una probabilidad calibrada salvo que se haya evaluado específicamente para esa tarea.
Un protocolo práctico de verificación
- Divide la respuesta en afirmaciones: identifica las frases que pueden comprobarse por separado.
- Prioriza las afirmaciones importantes: cifras, recomendaciones críticas, citas y decisiones con consecuencias merecen más comprobación.
- Busca fuentes primarias: documentación oficial, artículos científicos, registros originales o datos publicados por la entidad responsable.
- Abre las referencias: una URL o una cita con apariencia legítima no demuestra que la fuente exista ni que respalde lo dicho.
- Contrasta la evidencia: comprueba que la fuente trate la misma versión, fecha, población o contexto.
- Permite decir «no lo sé»: cuando no haya evidencia suficiente, es mejor dejar una incógnita abierta que rellenarla con una suposición.
Mini caso: una cita que parece real
Imagina que le preguntas a un asistente: «¿Qué documento oficial establece que la API X cambió en la versión 4.2?». El sistema responde con un título preciso, una fecha y un enlace que parece legítimo. La respuesta está bien redactada, pero aún no sabes si el documento existe ni si respalda la afirmación.
La verificación no consiste en pedirle al mismo asistente que confirme su respuesta. Consiste en salir de la respuesta y comprobar la evidencia:
- Abre el enlace: comprueba que la página exista y pertenezca al organismo o proyecto que supuestamente la publicó.
- Busca el título exacto: si no aparece, intenta localizar la documentación oficial de la versión correspondiente.
- Lee el contexto: una página real puede existir y aun así no respaldar la fecha o el cambio descrito.
- Verifica la versión: revisa si la documentación corresponde a la versión de la API que estás usando.
- Etiqueta el resultado: distingue entre confirmado, refutado y no verificado. No conviertas la falta de evidencia en una prueba automática de falsedad.
Este es un escenario ilustrativo, no un incidente documentado. Su propósito es mostrar por qué una cita con formato convincente no equivale a una fuente comprobada.
Cómo reducir el riesgo en una aplicación
Si integras un modelo en un producto, puedes delimitar la tarea, proporcionar documentos de referencia, exigir una estructura de salida validable, comprobar reglas con código determinista y derivar casos de alto riesgo a una persona. La recuperación de documentos (RAG) puede acercar la respuesta a fuentes concretas, pero tampoco garantiza que el modelo interprete correctamente el material recuperado.
Las pruebas deben medir el comportamiento en casos representativos: exactitud, citas respaldadas, abstención cuando falta evidencia y estabilidad ante preguntas ambiguas. Una demostración aislada no basta para conocer la tasa real de error.
Qué aporta RAG y qué no resuelve
La generación aumentada por recuperación (RAG) busca documentos relevantes y los proporciona como contexto al modelo. Esto puede facilitar respuestas vinculadas a material concreto y permitir revisar las fuentes, pero la recuperación puede traer documentos incompletos, antiguos o irrelevantes. Además, el modelo puede interpretar mal un pasaje, combinarlo con una suposición o citarlo para una afirmación que no respalda.
Para evaluar un sistema RAG, prueba por separado al menos tres cosas: si recupera el documento correcto, si la respuesta está respaldada por ese documento y si reconoce cuándo el material no contiene la respuesta. Una respuesta con citas no está verificada hasta comprobar que cada cita respalda la afirmación asociada.
La idea clave
Un modelo de lenguaje es una herramienta útil para producir y transformar información, pero la presentación convincente no equivale a verificación. El enfoque responsable combina límites claros, fuentes comprobables, validación externa y supervisión proporcional a las consecuencias del error.
- OpenAI: Why language models hallucinate, análisis de por qué los modelos pueden generar afirmaciones plausibles pero falsas y de cómo las evaluaciones pueden incentivar adivinar.
- A Survey on Hallucination in Large Language Models, revisión académica de tipos y enfoques de investigación sobre alucinaciones.
- OpenAI Help: Does ChatGPT tell the truth?, orientación práctica para evaluar críticamente las respuestas.
Las fuentes describen el fenómeno de manera general. El comportamiento varía según el modelo, la tarea, el contexto y los métodos de evaluación; ninguna técnica aislada garantiza que todas las respuestas sean correctas.
Sigue investigando
- El bug que desaparece cuando intentas observarlo — aplica un método de investigación basado en evidencia.
- ¿Qué ocurre después de escribir una URL? — comprueba cómo funciona la infraestructura que usamos para consultar información.