Hugging Face brinda servicio de inferencia respaldado por Nvidia NIM

En un emocionante anuncio durante la conferencia de gráficos por ordenador Siggraph en Denver, Colorado, se informó sobre una nueva oferta de Hugging Face, una plataforma para desarrolladores de inteligencia artificial. La compañía está ofreciendo un servicio de inferencia basado en microservicios Nvidia NIM, que promete una eficiencia de tokens hasta cinco veces mejor con modelos de IA populares.

Esta colaboración entre Hugging Face y Nvidia tiene como objetivo proporcionar acceso inmediato a los microservicios NIM que se ejecutan en Nvidia DGX Cloud. Además, se espera que este nuevo servicio beneficie a la comunidad de desarrolladores de IA, facilitando el acceso a la aceleración de Nvidia en algunos de los modelos de IA más populares.

Uno de los aspectos más destacados de esta noticia es que los desarrolladores tendrán la capacidad de implementar rápidamente grandes modelos de lenguaje, como la familia Llama 3 y los modelos de IA Mistral, con la optimización de los microservicios Nvidia NIM. Este nuevo servicio de inferencia-as-a-service ayudará a los desarrolladores a prototipar rápidamente con modelos de IA de código abierto alojados en el Hugging Face Hub y desplegarlos en producción.

Kari Briski, vicepresidenta de gestión de productos de IA generativa, señaló la importancia de poner la IA generativa en producción de una manera sencilla y eficiente. Con la implementación de generative AI y los microservicios Nvidia NIM, se busca proporcionar a los desarrolladores herramientas para trabajar con APIs, probar modelos y optimizar su rendimiento.

Por otro lado, Nvidia está lanzando los microservicios de IA generativa Nvidia NIM, que ofrecen mayor eficiencia en el procesamiento de tokens y mejoran el rendimiento de la infraestructura subyacente de Nvidia DGX Cloud. Esto significa que los desarrolladores pueden obtener resultados más rápidos y sólidos al acceder a un modelo de IA como un NIM en comparación con versiones estándar.

En resumen, la colaboración entre Hugging Face y Nvidia para ofrecer servicios de inferencia basados en microservicios NIM promete revolucionar el acceso a modelos de IA populares y acelerar la implementación de aplicaciones de inteligencia artificial a gran escala. Este avance representa un paso significativo en el desarrollo de herramientas que faciliten el trabajo de los desarrolladores y aceleren la adopción de IA en diversos sectores.