Microsoft revoluciona la cancelación de ruido en LLMs con Differential Transformer.
Un nuevo avance en la mejora de las capacidades de los modelos de lenguaje grandes (LLMs) ha sido presentado por investigadores de Microsoft Research y la Universidad Tsinghua. Se trata del Differential Transformer (Transformador Diferencial), una nueva arquitectura de LLM que mejora el rendimiento al amplificar la atención a contextos relevantes y filtrar el ruido. […] Más