Descubren estrategia para maximizar rendimiento en cálculos de IA.

Un nuevo estudio realizado por investigadores de DeepMind y la Universidad de California, Berkeley, ha revelado cómo mejorar el rendimiento de los grandes modelos de lenguaje (LLMs) mediante una asignación estratégica de recursos informáticos durante el proceso de inferencia.

Tradicionalmente, se ha optado por aumentar el tamaño del modelo y los recursos informáticos utilizados durante la fase de pre-entrenamiento para mejorar el rendimiento de los LLMs. Sin embargo, esta estrategia presenta limitaciones, ya que los modelos más grandes son costosos de entrenar y requieren más recursos para ejecutarse, lo que dificulta su implementación en dispositivos con recursos limitados.

Una alternativa planteada en este estudio es utilizar más recursos informáticos durante la inferencia para mejorar la precisión de las respuestas de los LLMs en tareas desafiantes. Esta técnica permite desplegar modelos más pequeños manteniendo un rendimiento comparable a modelos más grandes y costosos.

La pregunta clave que se plantea es: si a un LLM se le permite utilizar una cantidad fija de recursos informáticos durante la inferencia, ¿cómo se puede obtener el mejor rendimiento a través de diferentes métodos de inferencia y cómo se comparará con un modelo más grande pre-entrenado?

El enfoque más popular para escalar la computación en tiempo de prueba es el muestreo de mejor de N, donde el modelo genera N salidas en paralelo y se selecciona la respuesta más precisa como la final. Sin embargo, existen otras formas de utilizar la computación en tiempo de inferencia para mejorar los LLMs, como la revisión secuencial en múltiples pasos o la modificación del mecanismo de verificación que elige la mejor respuesta generada. Además, se pueden combinar estrategias de muestreo en paralelo y secuencial con múltiples algoritmos de verificación y búsqueda para optimizar aún más la inferencia.

Para determinar la estrategia óptima en tiempo de inferencia, los investigadores definen una «estrategia de escalado óptimo de la computación en tiempo de prueba» como aquella que elije hiperparámetros para obtener los máximos beneficios de rendimiento en una tarea dada.

En las pruebas realizadas, se encontró que la eficacia de una estrategia específica de computación en tiempo de prueba depende de la naturaleza del problema en cuestión y del LLM base utilizado. Para problemas más sencillos, permitir que el modelo revise iterativamente su respuesta inicial resultó ser más efectivo que generar múltiples muestras en paralelo. En cambio, para problemas más complejos que requieren explorar diferentes estrategias de solución, se encontró que volver a muestrear múltiples respuestas en paralelo o utilizar búsqueda en árbol contra un modelo de recompensa basado en procesos fue más efectivo.

Los investigadores también investigaron si la computación en tiempo de prueba puede sustituir a un mayor pre-entrenamiento. Encontraron que, para preguntas fáciles y de dificultad media, un modelo más pequeño con computación adicional en tiempo de prueba tuvo un rendimiento comparable a un modelo pre-entrenado 14 veces más grande. Sin embargo, para las preguntas más desafiantes, el pre-entrenamiento adicional resultó ser más efectivo.

En resumen, este estudio sugiere que escalar la computación en tiempo de prueba puede ser más preferible que escalar el pre-entrenamiento, con más mejoras que se pueden lograr a medida que las estrategias en tiempo de prueba maduran. Esto podría indicar un futuro en el que se dediquen menos FLOPs durante el pre-entrenamiento y más durante la inferencia.