Redacción - El Semanal
La capa intermedia de la IA aún necesita hardware potente
Con el creciente interés de más empresas en desarrollar aplicaciones de IA o incluso agentes de IA, se hace cada vez más evidente que las organizaciones deberían utilizar diferentes modelos de lenguaje y bases de datos para obtener los mejores resultados.
Cambiar una aplicación de Llama 3 a Mistral de forma rápida puede requerir un poco de habilidad en infraestructura tecnológica. Es aquí donde entra en juego la capa intermedia de contexto y orquestación; esta capa intermedia, también conocida como capa intermedia, que conecta los modelos base a las aplicaciones, idealmente controlará el tráfico de llamadas a API para ejecutar tareas.
La capa intermedia principalmente consiste en software como LangChain o LlamaIndex que ayudan a conectar bases de datos, pero la pregunta es si la capa intermedia consistirá únicamente en software, o si aún hay un rol que el hardware pueda desempeñar más allá de alimentar en gran medida los modelos que impulsan las aplicaciones de IA en primer lugar.
La respuesta es que el rol del hardware es soportar frameworks como LangChain y las bases de datos que dan vida a las aplicaciones. Las empresas necesitan tener pilas de hardware que puedan manejar flujos masivos de datos e incluso considerar dispositivos que puedan realizar una gran cantidad de trabajo de centro de datos en dispositivos.
«Si bien es cierto que la capa intermedia de IA es principalmente una preocupación de software, los proveedores de hardware pueden impactar significativamente en su rendimiento y eficiencia», dijo Scott Gnau, jefe de plataformas de datos en la empresa de gestión de datos InterSystems.
Varios expertos en infraestructura de IA dijeron a VentureBeat que si bien el software respalda la orquestación de IA, nada funcionaría si los servidores y las GPU no pudieran manejar el movimiento masivo de datos.
En otras palabras, para que la capa de orquestación de IA de software funcione, la capa de hardware necesita ser inteligente y eficiente, centrándose en conexiones de alta velocidad y baja latencia con datos y modelos para manejar cargas de trabajo pesadas.
«Esta capa de orquestación de modelos necesita estar respaldada con chips rápidos», dijo Matt Candy, socio gerente de IA generativa en IBM Consulting, en una entrevista. «Podría verse un mundo donde el silicio/chips/servidores puedan optimizar según el tipo y tamaño del modelo utilizado para diferentes tareas a medida que la capa de orquestación está cambiando entre ellos».
Los GPUs actuales, si tienes acceso, ya funcionarán
John Roese, CTO global y director de IA en Dell, dijo a VentureBeat que el hardware como el que fabrica Dell todavía tiene un papel en esta capa intermedia.
«Es tanto un problema de hardware como de software porque la gente olvida que la IA aparece como software», dijo Roese. «El software siempre se ejecuta en hardware, y el software de IA es el más exigente que hemos construido, por lo que debes comprender la capa de rendimiento de dónde están los MIPS, dónde está el cálculo para que estas cosas funcionen correctamente».
Esta capa intermedia de IA puede necesitar hardware rápido y potente, pero no hay necesidad de un hardware especializado nuevo más allá de las GPU y otros chips disponibles actualmente.
«Sin duda, el hardware es un habilitador clave, pero no sé si hay un hardware especializado que realmente lo haga avanzar, aparte de las GPU que hacen que los modelos se ejecuten más rápido,» dijo Gnau. «Creo que el software y la arquitectura son donde puedes optimizar de una manera de tipo tela la capacidad de minimizar el movimiento de datos».
Los agentes de IA hacen que la orquestación de IA sea aún más importante
La proliferación de agentes de IA ha hecho que fortalecer la capa intermedia sea aún más crítico. Cuando los agentes de IA comienzan a hablar con otros agentes y hacer múltiples llamadas a API, la capa de orquestación dirige ese tráfico y los servidores rápidos son cruciales.
«Esta capa también proporciona acceso a API sin problemas a todos los distintos tipos de modelos de IA y tecnología y una capa de experiencia de usuario sin problemas que los envuelve a todos,» dijo Candy de IBM. «Yo la llamo un controlador de IA en esta pila de middleware».
Los agentes de IA son el tema candente actual en la industria y probablemente influenciarán cómo las empresas construyen gran parte de su infraestructura de IA en el futuro.
Roese añadió otra cosa que las empresas necesitan considerar: la IA en el dispositivo, otro tema candente en el espacio. Dijo que las empresas querrán imaginar cuándo sus agentes de IA necesitarán ejecutarse localmente porque el antiguo internet podría caerse.
«La segunda cosa a considerar es dónde se ejecutan,» dijo Roese. «Ahí es donde entran en juego cosas como la PC de IA porque en el momento en que tengo un conjunto de agentes trabajando en mi nombre y pueden hablar entre sí, ¿todos tienen que estar en el mismo lugar?».
Añadió que Dell exploró la posibilidad de añadir agentes «conserje» en el dispositivo «para que si alguna vez te desconectas de Internet, puedas seguir haciendo tu trabajo».
Explosión de la pila tecnológica ahora, pero no siempre
La IA generativa ha permitido la expansión de la pila tecnológica, a medida que más tareas se vuelven más abstractas, surgen nuevos proveedores de servicios que ofrecen espacio de GPU, nuevas bases de datos o servicios de AIOps. Esto no será el caso para siempre, dijo el CEO de Uniphore, Umesh Sachdev, y las empresas deben recordarlo.
«La pila tecnológica ha explotado, pero creo que eventualmente veremos que se normaliza,» dijo Sachdev. «Eventualmente, las personas traerán las cosas a casa y la demanda de capacidad en las GPU se suavizará. La explosión de capas y proveedores siempre ocurre con nuevas tecnologías y veremos lo mismo con la IA».
Para las empresas, está claro que pensar en todo el ecosistema de IA, desde el software hasta el hardware, es la mejor práctica para flujos de trabajo de IA que tengan sentido.
GIPHY App Key not set. Please check settings