Paged Attention optimiza el uso de memoria en LLMs

La explosión de los modelos de lenguaje grandes (LLMs) ha puesto en jaque la infraestructura tecnológica mundial. Mientras la capacidad de cómputo avanza, un obstáculo silencioso frena la escalabilidad: la memoria de las GPU. Cada interacción con un chatbot o asistencia de IA no solo consume potencia de procesamiento, sino que exige una cantidad colosal de recursos para almacenar datos temporales, conocidos como caché KV. El método tradicional de reservar bloques gigantes y estáticos de memoria por solicitud, anticipando una longitud máxima de secuencia, ha demostrado ser un derroche monumental. Sin embargo, una técnica inspirada en los sistemas operativos está revolucionando la eficiencia y permitiendo multiplicar el número de conversaciones simultáneas en un mismo hardware.

El corazón del problema reside en la caché KV (clave-valor). Durante la generación de texto, el modelo debe recordar todo lo procesado previamente en la conversación. En implementaciones convencionales, para cada usuario se asigna de antemano un bloque contiguo de memoria GPU dimensionado para la longitud máxima posible, digamos 2.048 tokens. Esto es como alquilar un autobús completo para transportar a una sola persona, independientemente de si finalmente viaja 10 kilómetros o 500. En la práctica, la respuesta promedio ronda los 500 tokens, lo que deja más del 75% de la memoria reservada inutilizada, atada a esa única consulta hasta que finaliza.

Frente a este panorama, una innovación bautizada como «Paged Attention» propone un cambio de paradigma, tomando prestado un concepto fundamental de la computación: la paginación de memoria virtual. En lugar de grandes extensiones contiguas, la caché se divide en páginas pequeñas y manejables de tamaño fijo, por ejemplo, de 16 tokens cada una. Estas páginas se asignan dinámicamente, solo cuando la solicitud las necesita, y pueden residir en cualquier zona libre de la memoria GPU. Cada consulta no guarda un bloque, sino una «tabla de páginas» que actúa como un mapa de ruta, vinculando sus tokens lógicos a las páginas físicas concretas donde se almacenan sus datos.

Este diseño elimina el desperdicio estructural. Si una conversación requiere 500 tokens, necesitará aproximadamente 32 páginas (500 dividido por 16, redondeado hacia arriba). El único espacio no aprovechado corresponde a la última página, que puede albergar tokens de sobra. En promedio, este desfase ronda los 8 tokens por solicitud, una fracción mínima comparada con elVanadio reservado en el esquema antiguo. La memoria liberada cuando un usuario termina su interacción queda inmediatamente disponible en un «pool» centralizado, lista para ser reclamada por cualquier nueva petición que llegue. La utilización de la memoria GPU deja de oscilar entre un paupérrimo 20 y un 38% para situarse de forma estable cerca del 98%, un salto que significa triplicar o incluso cuadruplicar el número de conversaciones concurrentes que un servidor puede gestionar.

Pero el verdadero golpe de efecto llega con el «Copy-on-Write» (CoW) aplicado a los prompts del sistema. En cualquier servicio de IA, decenas o cientos de usuarios comparten el mismo instructivo inicial que define el comportamiento del modelo. Antes, cada uno arrastraba su propia copia completa y redundante de esa caché. Con Paged Attention, todas las solicitudes que parten del mismo punto inicial pueden apuntar directamente a las mismas páginas físicas en memoria compartida. Solo cuando la conversación de un usuario comienza a divergir del camino común, el sistema copia solo la página afectada para ese usuario concreto, usando el mecanismo de CoW. El ahorro es descomunal: para un prompt de 200 tokens compartido por 100 usuarios, el método clásico消耗aría el equivalente a 100 copias, mientras que CoW mantiene una única copia hasta el punto de divergencia.

La simulación de estos fenómenos confirma la magnitud del hallazgo. Mientras el enfoque naïve mantiene una utilización casi constante en torno al 24% (determinado por la relación entre la longitud promedio y la máxima), el sistema paginado se mantiene firme en un 98-99% de efectividad, independientemente del número de solicitudes concurrentes que se procesen. Esta diferencia de aproximadamente 74 puntos porcentuales no es una anécdota; es la llave que abre la puerta a servicios de IA verdaderamente masivos y escalables, accesibles para un mayor número de usuarios sin necesidad de multiplicar los costes de hardware de forma exponencial.

La implicación trasciende los laboratorios de investigación. Empresas que operan plataformas de IA generativa ven cómo esta técnica les permite ofrecer un servicio más rápido y con menos latencia, al reducir la contención por memoria, y a un costo operativo significativamente menor. La memoria, ese recurso a menudo escaso y caro, deja de ser el cuello de botella y se convierte en un activo aprovechado al máximo. La revolución de la inteligencia artificial no solo se mide en parámetros de modelo, sino también en la elegancia de los sistemas que los hacen posibles. Paged Attention demuestra que, a veces, la solución a un problema complejo reside en mirar hacia atrás, a los fundamentos de la computación, y aplicarlos con ingenio a los desafíos del futuro.