El Adaptive Merging impulsa la eficiencia de SLMs en empresas

Differentiable Adaptive Merging (DAM) está acelerando los modelos de lenguaje estructurado para empresas

En el mundo de la inteligencia artificial, el proceso de fusión de modelos es fundamental para que las organizaciones puedan reutilizar y combinar modelos entrenados existentes con el fin de lograr objetivos específicos. Aunque existen diversas formas en las que las empresas pueden utilizar la fusión de modelos en la actualidad, muchos enfoques resultan complejos. Sin embargo, una nueva metodología conocida como Fusión Adaptable Diferenciable (DAM) podría ser la respuesta que se busca, ofreciendo una solución a los desafíos actuales de la fusión de modelos. DAM brinda una solución innovadora para combinar modelos de inteligencia artificial, al mismo tiempo que posiblemente reduce los costos computacionales.

Una destacada empresa en este campo es Arcee, la cual se enfoca en desarrollar modelos de lenguaje estructurado especializados de manera eficiente. En este sentido, la compañía ha liderado la investigación en torno a DAM. Arcee, que obtuvo financiamiento en mayo de 2024, ha evolucionado desde proporcionar herramientas de entrenamiento de modelos hasta convertirse en una plataforma de entrega de modelos completamente desarrollada, con ofertas tanto de código abierto como comerciales.

La forma en que DAM abre un nuevo camino para la fusión de modelos es esencial para las empresas. Al unir modelos especializados en diferentes áreas, se crea un nuevo modelo capaz de desenvolverse en ambas esferas. Aunque el concepto básico de fusión de datos está muy bien comprendido en datos estructurados y bases de datos, fusionar modelos resulta más abstracto, ya que las representaciones internas de los modelos no son tan interpretables.

Thomas Gauthier-Caron, ingeniero de investigación en Arcee y uno de los autores de la investigación sobre DAM, explicó a VentureBeat que la fusión tradicional de modelos a menudo ha dependido de algoritmos evolutivos, lo que puede ser lento e impredecible. En cambio, DAM adopta un enfoque diferente al aprovechar técnicas de optimización de aprendizaje automático (ML) establecidas.

En este sentido, DAM busca resolver la problemática de la complejidad en el proceso de fusión de modelos. La biblioteca existente de la empresa, Merge Kit, es útil para fusionar diferentes modelos, pero resulta compleja debido a los diversos métodos y parámetros involucrados. La idea de DAM es simplificar este proceso al permitir que la máquina optimice los ajustes necesarios en lugar de que los humanos modifiquen manualmente todos esos parámetros.

En lugar de simplemente mezclar directamente los modelos, DAM ajusta según la contribución de cada modelo. Utiliza coeficientes de escala para cada columna en las matrices de peso de los modelos. Automáticamente aprende las configuraciones óptimas para estos coeficientes probando qué tan bien funciona el modelo combinado, comparando la salida con los modelos originales y luego ajustando los coeficientes para obtener mejores resultados.

Según la investigación, DAM se desempeña de manera competitiva o mejor que los métodos existentes como la fusión evolutiva, DARE-TIES y Model Soups. Esta tecnología representa un cambio significativo en comparación con los enfoques actuales, según Gauthier-Caron. Descartó la fusión evolutiva como un proceso lento, donde no está del todo claro de antemano cuán bueno será el resultado ni cuánto tiempo debe durar el proceso de fusión.

Es importante tener en cuenta que la fusión no es un enfoque de Mezcla de Expertos (MoE). Aunque los científicos de datos combinan modelos de muchas formas diferentes, el enfoque de MoE está ganando popularidad. Gauthier-Caron destacó que la fusión de modelos con DAM difiere sustancialmente de MoE. Explicó que MoE es una arquitectura específica que se puede usar para entrenar modelos de lenguaje.

En resumen, Differentiable Adaptive Merging ofrece la posibilidad de combinar modelos especializados de manera eficiente, lo cual resulta relevante para la adopción empresarial de inteligencia artificial generativa. La eficacia y la consideración de costos son aspectos clave en los que esta tecnología destaca. Por ello, la investigación sobre DAM es fundamental tanto para Arcee como para sus usuarios finales.

Únete a nuestras newsletters diarias y semanales para mantenerte actualizado con las últimas novedades y contenido exclusivo sobre la cobertura líder en inteligencia artificial de la industria. Aprende más.