Nous Research presenta revolucionario optimizador de entrenamiento de IA llamado DisTrO.

Nous Research ha sorprendido recientemente con el lanzamiento de su innovador optimizador de entrenamiento de inteligencia artificial llamado DisTrO. Este nuevo optimizer permite entrenar potentes modelos de IA fuera de las grandes empresas, utilizando conexiones de internet convencionales, lo que abre la posibilidad de que individuos o instituciones en todo el mundo colaboren en este proceso.

El equipo de investigación de Nous Research ha demostrado en un documento técnico que DisTrO logra aumentar la eficiencia en un impresionante 857 veces en comparación con un algoritmo de entrenamiento existente, All-Reduce. Además, reduce significativamente la cantidad de información transmitida durante cada paso del proceso de entrenamiento, pasando de 74.4 gigabytes a tan solo 86.8 megabytes. Estos resultados prometen un avance considerable en el campo del entrenamiento de modelos de IA.

Uno de los mayores desafíos en el entrenamiento de inteligencia artificial son los elevados requisitos de hardware, especialmente en lo que respecta a las GPU de Nvidia, que son fundamentales para el proceso. Tradicionalmente, el intercambio de información entre múltiples GPU requiere una arquitectura precisa que minimice la latencia y maximice el rendimiento. Esto ha llevado a que empresas como Tesla de Elon Musk inviertan en superclusters físicos con miles de GPU.

Sin embargo, DisTrO de Nous Research plantea una alternativa revolucionaria al reducir la cantidad de información necesaria en cada paso del entrenamiento, permitiendo que modelos de IA a gran escala se entrenen con conexión a internet convencional. Esto representa un cambio significativo en la accesibilidad al entrenamiento de modelos de IA de alto rendimiento.

A pesar de que DisTrO aún requiere el uso de GPU, la posibilidad de distribuir el proceso de entrenamiento a través de internet permite una colaboración más amplia y descentralizada en la creación de modelos de inteligencia artificial. Esto no solo podría optimizar el uso de la infraestructura existente, sino también reducir el impacto ambiental de los centros de datos masivos.

El equipo de investigación de Nous Research invita a otros a unirse en la exploración del potencial de DisTrO, promoviendo un ecosistema de investigación más inclusivo y resiliente en el campo de la inteligencia artificial. Con este avance, se propicia un cambio en la forma en que se entrenan los modelos a gran escala, alejándose de los centros de datos centralizados hacia enfoques más colaborativos y distribuidos que aprovechan recursos informáticos diversos y geográficamente dispersos.