El Archon promete acelerar el rendimiento de LLMs sin costos adicionales.

La Inteligencia Artificial (IA) sigue avanzando y sorprendiendo, esta vez con un nuevo marco de inferencia que promete acelerar el procesamiento de los grandes modelos de lenguaje (LLMs) sin costo adicional. Investigadores del Scaling Intelligence Lab de la Universidad de Stanford han presentado el framework Archon, el cual utiliza un algoritmo de búsqueda de arquitectura en tiempo de inferencia (ITAS) para mejorar el rendimiento de los LLMs sin necesidad de entrenamiento adicional.

Lo destacable de Archon es que es modelo agnóstico, de código abierto y diseñado para ser plug-and-play tanto para modelos grandes como pequeños. Esta herramienta podría ser de gran utilidad para los desarrolladores que buscan diseñar sistemas de inteligencia artificial utilizando múltiples técnicas de tiempo de inferencia para acelerar la determinación de respuestas.

Según los investigadores, el marco Archon automáticamente diseña arquitecturas que mejoran la generalización de tareas, permitiendo que los modelos realicen tareas más allá de aquellas para las que fueron entrenados inicialmente. Esto es un avance significativo en el campo de los LLMs.

A través de pruebas de referencia como MT-Bench, Arena-Hard-Auto, Alpaca-2.0 Eval, MixEval, MixEval Hard, MATH y CodeContests, Archon superó a GPT-4o y Claude 3.5 Sonnet en un 15.1% en rendimiento. Incluso frente a LLMs de código abierto, Archon logró superarlos en un 11.2%.

El marco de Archon está compuesto por varios componentes, entre los que se incluyen el Generador, el Fusor, el Clasificador, el Crítico, el Verificador y el Generador y Evaluador de Pruebas Unitarias. Estos componentes trabajan en conjunto para mejorar la calidad de las respuestas de los LLMs de manera rápida y eficiente, sin necesidad de un ajuste fino adicional.

A pesar de sus numerosos beneficios, Archon presenta ciertas limitaciones. Funciona mejor con LLMs de 70 mil millones de parámetros o más, como el Code Llama 70B de Meta, lo que dificulta su aplicación en la mayoría de los LLMs actuales. Además, su eficacia se ve reducida significativamente en modelos más pequeños, debido a sus capacidades limitadas para seguir instrucciones.

El equipo detrás de Archon señala que este marco no es ideal para tareas que requieran la latencia de una sola llamada de LLM, como en el caso de los chatbots. Sin embargo, destaca su potencial para mejorar el rendimiento en tareas más complejas como la resolución de ecuaciones, la programación o los problemas de servicio al cliente complicados. A pesar de estas limitaciones, los investigadores están optimistas sobre el potencial de Archon para acelerar el desarrollo de modelos de alto rendimiento sin requerir más recursos de inferencia y entrenamiento.