Snowflake permite inferencia entre regiones, sin trabas de LLM.

Snowflake, una empresa líder en tecnologías de inteligencia artificial, ha anunciado recientemente una nueva función que promete revolucionar la disponibilidad de los modelos de lenguaje a gran escala (LLMs). Con la introducción de la inferencia interregional, ahora es posible acceder a los últimos LLMs desde cualquier región, eliminando las barreras geográficas que antes limitaban su utilización.

La disponibilidad regional de los LLMs puede marcar una gran diferencia en el mundo empresarial, ya que aquellos que tienen acceso temprano a estas herramientas tienen la ventaja de innovar más rápidamente, colocando a quienes esperan en una posición de desventaja.

Sin embargo, debido al rápido desarrollo de la inteligencia artificial, muchas organizaciones se ven obligadas a esperar hasta que los modelos estén disponibles en su región, lo que puede deberse a desafíos de recursos, sesgos centrados en occidente y barreras multilingües.

Para superar este obstáculo crucial, Snowflake ha presentado la disponibilidad general de la inferencia interregional. Con un sencillo ajuste, los desarrolladores pueden procesar solicitudes en Cortex AI en una región diferente incluso si el modelo aún no está disponible en su región de origen. Los nuevos LLMs pueden integrarse tan pronto como estén disponibles.

Esta innovadora función permite a las organizaciones utilizar LLMs de forma privada y segura en Estados Unidos, la Unión Europea y Asia Pacífico y Japón (APJ) sin incurrir en cargos adicionales de salida de datos. Esto representa un gran avance para aquellas empresas que buscan sacar el máximo provecho de la inteligencia artificial en sus operaciones diarias.

«La inferencia interregional en Cortex AI te permite integrarte sin problemas con el LLM de tu elección, independientemente de la disponibilidad regional,» comenta Arun Agarwal, líder de iniciativas de marketing de productos de inteligencia artificial en Snowflake, en una publicación de blog de la compañía.

Para activar la inferencia interregional, es necesario habilitar primero el cruce de regiones para permitir el tránsito de datos. Si las regiones operan en Amazon Web Services (AWS), los datos cruzarán de forma privada esa red global y permanecerán seguros gracias a la encriptación automática en la capa física.

En el caso de que las regiones estén en diferentes proveedores de nube, el tráfico cruzará internet público a través de un transporte mutuo encriptado de seguridad de capa de transporte (MTLS). Agarwal destaca que los inputs, outputs y las indicaciones generadas por el servicio no se almacenan en caché; el procesamiento de la inferencia solo ocurre en la región cruzada.

La ejecución de la inferencia y la generación de respuestas dentro del perímetro seguro de Snowflake requiere que los usuarios configuren primero un parámetro a nivel de cuenta para indicar dónde se procesará la inferencia. Cortex AI seleccionará automáticamente una región para el procesamiento si un LLM solicitado no está disponible en la región de origen.

En resumen, la inferencia interregional en Snowflake Cortex AI representa un avance significativo en el mundo de la inteligencia artificial, permitiendo a las empresas acceder a los últimos modelos de lenguaje a gran escala de forma rápida y segura desde cualquier región. Esta nueva función promete acelerar la adopción de la inteligencia artificial en diversas industrias y marcar un hito importante en el campo de las tecnologías emergentes.