Snowflake colabora con AI21’s Jamba-Instruct para decodificar documentos extensos.

Snowflake incorpora a Jamba-Instruct de AI21 para ayudar a las empresas a decodificar documentos largos

Snowflake, el gigante de la nube de datos, ha anunciado hoy que está integrando el modelo Jamba-Instruct de la startup israelí AI21 Labs en su servicio de inteligencia artificial Cortex. Este modelo estará disponible a partir de hoy y permitirá a los clientes empresariales de Snowflake desarrollar aplicaciones de inteligencia artificial generativa (como chatbots y herramientas de resumen) capaces de manejar documentos extensos sin comprometer la calidad y precisión.

Dada la enorme dependencia de las empresas en archivos y documentos de gran tamaño, Jamba-Instruct podría ser un gran activo para los equipos. Sin embargo, es importante tener en cuenta que AI21 no es el único socio de modelos de lenguaje grande (LLM) de Snowflake. La empresa liderada por Sridhar Ramaswamy se ha centrado en la categoría de inteligencia artificial genética. Ya ha iniciado varias colaboraciones para crear todo un ecosistema para desarrollar aplicaciones de inteligencia artificial altamente efectivas y basadas en datos.

Hace solo un par de días, la compañía anunció una asociación con Meta para llevar la familia de modelos Llama 3.1 al Cortex. Antes de eso, presentó un modelo empresarial exclusivo llamado ‘Arctic’. El enfoque ha sido bastante similar al de su rival Databricks, que adquirió MosaicML el año pasado y desde entonces ha estado avanzando de manera agresiva, construyendo su propio modelo DBRX y añadiendo nuevos LLM y herramientas para que los clientes puedan desarrollar sobre ellos.

¿Qué ofrece Jamba-Instruct a los usuarios de Snowflake?

En marzo, AI21 hizo noticia con Jamba, un modelo de inteligencia artificial generativa que combina la arquitectura transformer probada y comprobada con un novedoso modelo de espacio estructurado eficiente en memoria (SSM). Este modelo híbrido proporcionó a los usuarios acceso a una ventana de contexto masiva de 256K (la cantidad de datos que un LLM puede procesar) y activó solo 12B de sus 52B de parámetros, ofreciendo no solo una solución potente, sino también eficiente al mismo tiempo.

Según AI21, Jamba ofreció 3 veces más rendimiento en contextos largos en comparación con Mixtral 8x7B (otro modelo de su misma clase de tamaño), lo que lo convierte en una oferta atractiva para las empresas. Esto llevó a la empresa a lanzar Jamba-Instruct, una versión del modelo ajustado con instrucciones adicionales, capacidades de chat y medidas de seguridad para hacerlo adecuado para casos de uso empresarial.

El modelo comercial se lanzó en la plataforma de AI21 en mayo y ahora se está integrando en Cortex AI, el servicio completamente gestionado y sin código de Snowflake para construir potentes aplicaciones de inteligencia artificial genética sobre los datos alojados en la plataforma.

«Por su gran capacidad de ventana de contexto, Jamba-Instruct posee fuertes capacidades de procesamiento. Puede manejar hasta 256K tokens, lo que equivale a aproximadamente 800 páginas de texto. Esto convierte a Jamba-Instruct en un modelo muy potente para una variedad de casos de uso relacionados con el procesamiento de documentos extensos, como historiales financieros corporativos, transcripciones de llamadas de ingresos o extensas entrevistas de ensayos clínicos,» explicó Baris Gultekin, jefe de inteligencia artificial de Snowflake, a VentureBeat.

Por ejemplo, los analistas financieros en bancos de inversión o fondos de cobertura pueden utilizar una herramienta de preguntas y respuestas o de resumen impulsada por el LLM para obtener información rápida y precisa de los informes 10-K, que a menudo contienen más de 100 páginas. Del mismo modo, los médicos podrían revisar largos informes de pacientes en un corto período para extraer información relevante y los minoristas podrían construir chatbots capaces de sostener conversaciones largas y basadas en referencias con los clientes.

Gultekin señaló que la ventana de contexto largo del modelo puede simplificar toda la experiencia de construir pipelines RAG al permitir recuperar un solo gran bloque de información y también admitir «muchos disparos de activación» para guiar al modelo a seguir un tono específico al generar.

Beneficios de coste importantes

Además de la capacidad para manejar documentos largos, los clientes de Snowflake también pueden esperar importantes beneficios de costes de Jamba-Instruct.

Esencialmente, la naturaleza híbrida del modelo, combinada con capas de mezclador de expertos (MoE) que activan parámetros selectos, hace que su ventana de contexto de 256K sea más económicamente accesible que otros modelos de transformadores ajustados con instrucciones del mismo tamaño. Además, la inferencia sin servidor de Cortex AI con un modelo de precios basado en el consumo garantiza que las empresas solo tengan que pagar por los recursos utilizados en lugar de mantener una infraestructura dedicada por su cuenta.

«Las organizaciones pueden equilibrar el rendimiento, el coste y la latencia aprovechando la escalabilidad de Snowflake y la eficiencia de Jamba-Instruct. El marco de Cortex AI permite escalar fácilmente los recursos informáticos para obtener un rendimiento óptimo y beneficios de coste. Mientras tanto, la arquitectura de Jamba-Instruct minimiza la latencia,» explicó Pankaj Dugar, vicepresidente senior y director general para América del Norte de AI21 Labs, a VentureBeat.

En la actualidad, junto con Jamba-Instruct, el servicio completamente gestionado cubre una variedad de LLM, incluidos el Arctic de Snowflake y aquellos de Google, Meta, Mistral AI y Reka AI.

«Nuestro objetivo es proporcionar a nuestros clientes la flexibilidad de elegir entre modelos de código abierto o comerciales, seleccionando el mejor modelo para satisfacer sus requisitos específicos de caso de uso, coste y rendimiento —sin tener que configurar integraciones complejas o mover datos de donde ya están gobernados dentro de la Nube de Datos de IA,» explicó Gultekin.

Se espera que la lista se amplíe, con más modelos grandes, incluidos los de AI21, lanzándose en la plataforma en los próximos meses. Sin embargo, el jefe de inteligencia artificial señaló que la empresa sigue continuamente los comentarios de los clientes al evaluar e integrar LLM para asegurarse de incluir solo modelos que aborden requisitos y casos de uso específicos.

«Tendemos a seguir pautas y procesos muy estrictos al incorporar LLM en Cortex AI…Queremos asegurarnos de que la oferta de modelos cubra una amplia gama de casos de uso, desde BI automatizado hasta asistentes conversacionales, procesamiento de texto y resumen. Y el modelo debe tener capacidades únicas —por ejemplo, Jamba-Instruct tiene la mayor ventana de contexto de entre los modelos que ofrecemos hasta la fecha,» agregó.

Snowflake también adquirió TruEra hace un par de meses para evitar que las empresas se vean abrumadas por las crecientes opciones de modelos. Gultekin dijo que pueden utilizar la oferta de TruLens de la startup para realizar experimentos LLM y evaluar qué funciona mejor para ellos.

Actualmente, más de 5,000 empresas están utilizando las capacidades de inteligencia artificial de Snowflake (Cortex y otras características relacionadas), siendo los casos de uso principales el BI automatizado, los asistentes conversacionales y el resumen de texto.