Microsoft revoluciona la cancelación de ruido en LLMs con Differential Transformer.

Un nuevo avance en la mejora de las capacidades de los modelos de lenguaje grandes (LLMs) ha sido presentado por investigadores de Microsoft Research y la Universidad Tsinghua. Se trata del Differential Transformer (Transformador Diferencial), una nueva arquitectura de LLM que mejora el rendimiento al amplificar la atención a contextos relevantes y filtrar el ruido. Este hallazgo, publicado en un artículo de investigación, muestra que el Diff Transformer supera a la arquitectura clásica del Transformer en diferentes configuraciones.

Los Transformers son la base de la mayoría de los LLMs modernos, utilizando un mecanismo de atención para ponderar la importancia de diferentes partes de la secuencia de entrada al generar la salida. Sin embargo, estudios han demostrado que los Transformers tienen dificultades para recuperar información clave de contextos largos.

Investigadores como Furu Wei, Gerente de Investigación Asociado en Microsoft Research, han descubierto un fenómeno llamado «perdidos en el medio» que indica que los LLMs no utilizan de manera robusta la información en contextos largos, lo cual degrada significativamente su rendimiento al tener que acceder a información relevante en medio de contextos extensos.

Para abordar esta limitación, se desarrolló el Diff Transformer, una nueva arquitectura fundamental para LLMs que utiliza un mecanismo de «atención diferencial» para cancelar el ruido y amplificar la atención a las partes más relevantes de la entrada. Este enfoque se compara con el cancelador de ruido en auriculares o amplificadores diferenciales en ingeniería eléctrica, donde la diferencia entre dos señales elimina el ruido en común.

Si bien el Diff Transformer implica una operación de resta adicional en comparación con el Transformer clásico, mantiene su eficiencia mediante técnicas de paralelización y optimización. Los experimentos han demostrado que el Diff Transformer supera consistentemente al Transformer clásico en diferentes tareas de modelado de lenguaje, incluso con un número menor de parámetros y tokens de entrenamiento.

Los investigadores planean continuar expandiendo el Diff Transformer a tamaños de modelos y conjuntos de datos de entrenamiento más grandes, así como a otras modalidades de datos, como imágenes, audio, video y datos multimodales. La liberación del código del Diff Transformer permite mejorar el rendimiento en diversas aplicaciones de LLM, lo que podría tener un impacto significativo en la generación de respuestas más precisas en contextos amplios y en la mitigación de alucinaciones.