Redacción - El Semanal
En 2023 ocurrió uno de los ejemplos más conocidos. Abogados estadounidenses utilizaron un ‘chatbot’ para preparar un escrito judicial y presentaron ante el tribunal varias sentencias que en realidad no existían. El juez descubrió que las citas habían sido inventadas por la inteligencia artificial y les sancionó por incluir precedentes falsos.
Cuando se dice que una inteligencia artificial alucina, no significa que tenga alucinaciones parecidas a las que podemos tener los humanos. En los modelos de lenguaje, una alucinación es una afirmación generada por la IA que parece plausible, pero no está respaldada por la realidad. Es decir, una IA puede producir frases perfectamente coherentes que no son verdaderas.
Desde un punto de vista técnico, la literatura científica describe las alucinaciones como situaciones en las que la respuesta generada por el modelo no coincide con información real o verificable. Esta idea aparece, por ejemplo, en el estudio ‘Hallucination is Inevitable: An Innate Limitation of Large Language Models’. El trabajo también argumenta que este fenómeno responde a una limitación estructural de los modelos de lenguaje (o LLM), incluso cuando están bien entrenados. Ocurre porque estos sistemas no funcionan como bases de datos verificadas ni aplican reglas de lógica formal, sino que se basan en patrones estadísticos aprendidos a partir de grandes volúmenes de texto.
¿Por qué la IA generativa puede inventar información?
Los LLM modernos detrás de muchos ‘chatbots’ actuales están optimizados para producir texto probable, no necesariamente texto verdadero. Se entrenan para resolver una tarea muy concreta: predecir cuál debería ser la siguiente palabra en una secuencia de texto. Por eso, cuando un modelo responde correctamente a preguntas sobre hechos o datos, no lo hace porque “comprenda” la información como lo haría un humano. Tal como explica el informe técnico del modelo GPT-4 de OpenAI, en realidad ha aprendido asociaciones estadísticas entre conceptos presentes en los datos de entrenamiento.
Para conseguir esto, los ‘transformers’, las arquitecturas que soportan los LLM, se entrenan analizando enormes cantidades de documentos y detectando qué palabras o expresiones suelen aparecer juntas. Durante este proceso, el objetivo del modelo es maximizar la probabilidad de que un ‘token’ (la unidad mínima de texto que procesa el sistema) aparezca después de otro. Por ejemplo, si en los datos de entrenamiento la expresión “capital de Francia” aparece muchas veces seguida de “París”, el modelo aprenderá que cuando lee “capital de Francia” es muy probable que la siguiente palabra sea “París”.
Pero este mecanismo también puede producir errores cuando:
- Las relaciones entre conceptos son complejas
- Existen múltiples asociaciones posibles entre ellos
- O los datos de entrenamiento contienen ambigüedades
En esos casos, el modelo puede combinar fragmentos de información correctos de forma incorrecta y generar una respuesta que suena convincente, pero que no es cierta. Por ejemplo, a la pregunta “¿Qué idioma hablaba el rey Alfonso XIII?”, el modelo podría responder “alemán”, “latín” o “francés”, idiomas que estadísticamente suelen aparecer junto a la realeza europea en sus datos de entrenamiento. Este tipo de respuestas probabilísticas erróneas han sido detectadas en estudios como ‘Language Models as Knowledge Bases?’.
¿Por qué las alucinaciones están disminuyendo?
Aunque la base probabilística de los modelos no ha cambiado, la investigación en IA ha introducido varios mecanismos que reducen significativamente las alucinaciones. Dos de los más importantes han sido el alineamiento con pr
1) Alineamiento con pr
Después del entrenamiento inicial, los modelos pasan por esta fase adicional en la que evaluadores humanos comparan respuestas del sistema y señalan cuáles son mejores. El proceso permite entrenar al modelo para que:
- Prefiera respuestas más precisas
- Evite afirmaciones infundadas
- Siga comportamientos deseados por los usuarios
Así, el sistema aprende a reconocer patrones de respuestas problemáticas (por ejemplo, datos inventados) y a evitarlos.
Según el informe técnico de GPT-4, el alineamiento mejora sensiblemente las métricas de veracidad de la información y reduce la generación de datos falsos. Técnicas muy utilizadas hoy en día para ajustar el comportamiento de los modelos, como Reinforcement Learning from Human Feedback (RLHF) o Direct Pr
2) Uso de herramientas externas
Otro avance consiste en permitir que los modelos consulten información externa y verificable en tiempo real para generar su respuesta. El enfoque más conocido se llama Retrieval-Augmented Generation (RAG). Con este método, el sistema no depende únicamente del conocimiento aprendido durante el almacenamiento, sino que recupera la información relevante desde una base de datos confiable antes de generar la respuesta.
En RAG, el modelo combina dos tipos de memoria: la paramétrica, aprendida durante el entrenamiento; y la no paramétrica, almacenada en fuentes externas (por ejemplo, índices de Wikipedia). El procedimiento funciona así:
- El sistema recibe una pregunta
- Un componente de recuperación busca documentos relevantes en la base de conocimiento indicada
- El modelo genera la respuesta utilizando esos documentos como contexto
Dicho de otro modo, el modelo deja de “recordar de memoria” y consulta fuentes antes de responder.
Las investigaciones sobre RAG muestran que este enfoque produce respuestas más específicas y acordes con los hechos que los modelos que dependen solo de su conocimiento interno.
GIPHY App Key not set. Please check settings