Estudio revela que LLMs destacan en razonamiento inductivo pero fallan en deducciones

Un reciente estudio realizado por investigadores de la Universidad de California, Los Ángeles, y Amazon ha arrojado luz sobre las capacidades de los modelos de lenguaje grandes (LLMs) en cuanto a razonamiento inductivo y deductivo. Si bien estos modelos han demostrado un rendimiento impresionante en diversas tareas de resolución de problemas, se plantean interrogantes sobre cómo funcionan estas habilidades de razonamiento y cuáles son sus limitaciones.

El razonamiento puede ser ampliamente categorizado en dos tipos distintos: deductivo e inductivo. El razonamiento deductivo, también conocido como lógica «de arriba hacia abajo», parte de un principio o regla general para inferir conclusiones específicas. Por otro lado, el razonamiento inductivo sigue un enfoque «de abajo hacia arriba», observando instancias específicas o ejemplos para extraer conclusiones generales a partir de ellos.

En una serie de experimentos diseñados por los investigadores, se evaluaron las capacidades de razonamiento inductivo y deductivo de los LLMs. Para garantizar una comparación justa y consistente, los experimentos utilizaron una estructura de tarea similar en diferentes contextos, enfatizando específicamente el razonamiento inductivo o deductivo en cada caso.

El marco de prueba desarrollado, llamado SolverLearner, permite aislarse y evaluar el proceso de razonamiento inductivo en los LLMs. Este marco consta de dos pasos: en el primero, se solicita al LLM que genere una función que mapee puntos de datos de entrada a sus valores de salida correspondientes basándose únicamente en ejemplos de entrada-salida. En el segundo paso, se utiliza un intérprete de código externo para ejecutar la función propuesta en nuevos datos de prueba, separando así el proceso de razonamiento inductivo del deductivo.

Los resultados obtenidos al evaluar las capacidades de razonamiento inductivo y deductivo de modelos como GPT-3.5 y GPT-4 en diversas tareas mostraron que estos LLMs destacan en razonamiento inductivo, logrando una precisión casi perfecta al aprender de ejemplos e inferir la función de mapeo subyacente. Sin embargo, enfrentan dificultades al aplicar reglas o instrucciones específicas, especialmente en escenarios no comunes durante su entrenamiento.

Estos hallazgos sugieren que los LLMs pueden ser más eficientes en aprender mediante ejemplos y descubrir patrones en los datos que en seguir instrucciones explícitas. Esto plantea importantes implicaciones para su uso en escenarios del mundo real. Aunque a primera vista los LLMs pueden parecer capaces de seguir instrucciones lógicas, es probable que simplemente estén siguiendo patrones observados durante su entrenamiento, lo que conlleva a una disminución de su rendimiento ante ejemplos distintos a los vistos previamente.

En conclusión, este estudio subraya la necesidad de seguir investigando las capacidades de estos modelos de lenguaje en constante evolución, que se están integrando en un número creciente de aplicaciones. Los desafíos del razonamiento inductivo y deductivo plantean interrogantes sobre cómo optimizar la utilización de los LLMs en diferentes contextos para lograr resultados efectivos y precisos.