Nuevo sistema de caché de Anthropic revoluciona la programación y reduce costos para desarrolladores.

La empresa Anthropic ha introducido una nueva funcionalidad en su API que promete revolucionar la forma en que los desarrolladores interactúan con ella. Se trata del «prompt caching», una característica que permite recordar el contexto entre las llamadas a la API, evitando así la repetición de instrucciones.

Esta innovadora característica ya se encuentra disponible en versión beta pública en Claude 3.5 Sonnet y Claude 3 Haiku, con el soporte para el modelo Claude más grande, Opus, en camino. El «prompt caching», descrito en un documento de 2023, permite a los usuarios mantener contextos frecuentemente utilizados en sus sesiones. Al recordar estos comandos, los usuarios pueden añadir información adicional sin aumentar costes, lo que resulta útil en situaciones donde se necesite enviar una gran cantidad de contexto en un comando y luego hacer referencia a él en distintas conversaciones con el modelo.

Según Anthropic, usuarios tempranos han experimentado mejoras significativas en velocidad y coste al utilizar el «prompt caching» para una variedad de casos de uso, desde incluir una base de conocimientos completa hasta ejemplos de 100 disparos, e incluso incluir cada giro de una conversación en su comando.

Además, el uso del «prompt caching» puede reducir los costes y la latencia para largas instrucciones y documentos cargados para agentes conversacionales, acelerar la autocompletado de códigos, proporcionar múltiples instrucciones a herramientas de búsqueda agentes e incluso incrustar documentos completos en un comando.

En cuanto a los precios, aprovechar los comandos almacenados resulta significativamente más económico que el precio base por token de entrada. Por ejemplo, para Claude 3.5 Sonnet, escribir un comando que se vaya a almacenar costará $3.75 por cada millón de tokens, mientras que el uso de un comando almacenado costará $0.30 por cada millón de tokens.

En resumen, la introducción del «prompt caching» en la API de Anthropic promete ser un cambio de juego para los desarrolladores, ofreciendo una forma más eficiente y económica de interactuar con los modelos de lenguaje. Este avance no solo facilita el trabajo de los programadores, sino que también abre la puerta a nuevas posibilidades en el desarrollo de soluciones basadas en inteligencia artificial.