Cómo combatir las alucinaciones de la IA

Por: Gastón Milano, CTO de Globant Enterprise AI.

¿Qué tienen en común un relojero y un médico? Que a los dos se les exige una perfecta exactitud. Esa frase que ya ha quedado de otra época, ahora podría aplicarse a lo que uno espera de la inteligencia artificial.

En 2023, el abogado Steve Schwartz protagonizó uno de los episodios más famosos de alucinaciones de la IA. Como defensor de Roberto Mata, que estaba demandando a una aerolínea por un problema en el vuelo, presentó un escrito en el que citaba jurisprudencia inexistente y casos reales con errores. El juzgado de Manhattan se lo hizo saber y su defensa fue que había elaborado el escrito con ChatGPT.

Las alucinaciones son respuestas que la IA generan con aspecto verosímil y que suenan absolutamente realistas, pero son incorrectas. Es uno de los grandes temores y problemas en el desarrollo de la inteligencia artificial. Pero, en dos años el escenario es absolutamente diferente.

No podemos negar el problema, debemos afrontarlo

La IA tiene un margen de error. Aceptar este punto de partida es clave para entender los beneficios -y cuáles son sus riesgos- al interactuar con un chat o desarrollar un software con IA. No podemos tapar el sol con la mano.

En septiembre de 2024, un grupo de investigadores publicaron un artículo en Nature, en el que analizaron 243 casos de información distorsionada por alucinaciones que generó ChatGPT. Clasificaron a los errores en 7 categorías principales para conocimiento del público, organizaciones y hasta para mejorar las nuevas versiones de IA.

Podían surgir por sobreajuste de datos (lo analiza tan literal que no consigue interpretarlos), por errores lógicos, de razonamiento, matemáticos, invenciones infundadas, errores factuales o de salida de texto. Puede parecer mucho, pero son una mínima porción en base a los 700 millones de usuarios activos semanales que lo utilizan. Dejar de confiar en la IA porque a veces alucina sería como dejar de viajar en avión porque cuatro veces al año, en promedio, hay accidentes aéreos.

Los modelos de IA cada vez son más precisos

En febrero de 2025, Sam Altman anunció que el modelo ChatGPT 4-5 había reducido a la mitad la probabilidad de alucinaciones. Es decir, sería difícil que vuelva a suceder un caso Schwartz (de todas maneras, mejor no intentarlo).

Gemini, DeepSeek y Grok también han perfeccionado su arquitectura de datos entrenamiento. Cada modelo tiene sus propias ventajas comparativas, pero en el ranking que evalúa su inteligencia, el Massive Multitask Language Understanding (MMLU), ya hay siete que tienen una tasa de éxito en sus respuestas de 80% o más.

La competencia genera un círculo virtuoso para avanzar hacia modelos más precisos. La adopción de la técnica Retrieval Augmented Generation (RAG) es una de las herramientas más poderosas. De esta manera, antes de dar una respuesta, el sistema de lenguaje es capaz de recuperar información contextual de fuentes externas que no forman necesariamente parte de su entrenamiento. Un sistema de aprendizaje basado en prueba y error.

El mercado de RAG, estimado en 1.2 mil millones de dólares en 2024, proyecta una tasa de crecimiento anual compuesta de 49,1% entre 2025 y 2030, según un reporte de Grand View Research.

Supervisión humana como garante de calidad

Podemos conocer el problema de las alucinaciones y aprovechar los modelos cada vez superiores, pero no habrá éxito en la adopción de la IA sin supervisión humana. Hasta los agentes más evolucionados lo necesitan. El modelo human-in-the-loop es la nueva dinámica laboral.

Si alguien pensaba que dejaría de usar su cerebro y a partir de ahora todo lo haría la IA, se sentirá decepcionado. Sería tan insólito como imaginar a un asistente sin jefe. Al fin y al cabo, para eso está. Para combatir las alucinaciones, debemos preguntarnos si la respuesta podría corresponder a alguna de las categorías de errores mencionadas y verificar el origen de los datos.

Imaginemos el proceso dentro de una empresa. Un agente de IA graba una entrevista de un cliente con sus requerimientos. Luego, es capaz de realizar un story map, desarrollar un software, presentar un MVP y realizar las pruebas. Todo ese proceso, que antes llevaba semanas, ahora se hace en horas. Sin embargo, la última palabra corresponde a una persona. Porque, por ejemplo, si en alguna de las etapas ha alucinado o los datos recolectados han sido insuficientes, alguien tiene que ser el garante de calidad.

La alfabetización en IA ya es una de las habilidades más requeridas en el mercado laboral, según el Foro Económico Mundial. La tecnología puede aumentar la productividad y generar que una empresa con la misma cantidad de empleados atienda el doble de clientes, sin embargo, el pensamiento crítico de cada uno será la verificación de que funciona.

Si hay algo que nos enseñan desde niños es que los miedos no deben paralizarnos. Las alucinaciones son marginales, se están corrigiendo y hay maneras de combatirlas, pero existen. Podemos pensarlo en términos humanos: ¿dejarías de contratar a una persona porque alguna vez pueda equivocarse? Lo mismo aplica para la IA.