IBM propone solución con la computación cuántica para entrenamiento de IA.

El costo de entrenar modelos de IA está creciendo de manera exponencial, y según IBM, la computación cuántica podría ser la solución. Recientemente, el Wall Street Journal informó que un tercio de las plantas nucleares están en conversaciones con empresas tecnológicas para alimentar sus nuevos centros de datos. Por otro lado, Goldman Sachs proyecta que la inteligencia artificial impulsará un aumento del 160% en el uso de energía por parte de los centros de datos desde ahora hasta 2030, lo que llevará las emisiones de dióxido de carbono a más del doble de los niveles actuales. Se estima que cada consulta de ChatGPT consume al menos 10 veces más energía que una búsqueda en Google. La pregunta es: ¿limitará el crecimiento exponencial del costo de entrenar modelos de IA el potencial de la inteligencia artificial?

En el evento VB Transform 2024, se abordó el tema en un panel liderado por Hyunjun Park, cofundador y CEO de CATALOG. Para hablar sobre el alcance del problema y posibles soluciones, Park dio la bienvenida al escenario al Dr. Jamie Garcia, director de algoritmos cuánticos y asociaciones en IBM; Paul Roberts, director de cuentas estratégicas en AWS; y Kirk Bresniker, arquitecto principal en Hewlett Packard Labs, así como miembro destacado y vicepresidente de HPE.

El uso insostenible de recursos y la tecnología desigual

«El horizonte de 2030 está lo suficientemente lejos como para poder hacer correcciones, pero también lo suficientemente cerca como para que debamos considerar las ramificaciones de lo que estamos haciendo en este momento,» señaló Bresniker. En algún momento entre 2029 y 2031, el costo de los recursos para entrenar un solo modelo, una sola vez, superará el PIB de EE. UU., y superará el gasto mundial en TI para 2030, por lo que nos dirigimos hacia un límite crítico, y ahora es cuando se deben tomar decisiones, no solo porque el costo se volverá imposible.

«Porque en la pregunta de la sostenibilidad también está la equidad,» explicó. «Si algo es claramente insostenible, entonces es inherentemente desigual. Así que, al mirar el acceso generalizado y esperanzadamente universal a esta tecnología increíble, tenemos que considerar qué podemos hacer. ¿Qué tenemos que cambiar? ¿Hay algo sobre esta tecnología que necesita ser alterado drásticamente para que pueda ser accesible universalmente?»

El papel de la responsabilidad corporativa

Algunas corporaciones están asumiendo la responsabilidad de este inminente desastre ambiental, así como trabajando para mitigar el inminente desastre financiero. En cuanto a la huella de carbono, AWS ha estado trazando un camino hacia un uso más responsable y sostenible, que actualmente se traduce en la implementación de las soluciones de enfriamiento líquido recientes de Nvidia y más.

«Estamos considerando mejoras tanto en el acero como en el concreto para reducir nuestro uso de carbono,» explicó Roberts. «Además de eso, estamos considerando combustibles alternativos. En lugar de solo los combustibles diésel tradicionales en nuestros generadores, estamos considerando el aceite vegetal hidro, y otras fuentes alternativas allí.»

También están impulsando chips alternativos. Por ejemplo, han lanzado su propio silicio, Trainium, que puede ser muchas veces más eficiente que las opciones alternativas. Y para mitigar el costo de inferencia, han anunciado Inferentia que, según él, ofrece una mejora del rendimiento por vatio de hasta el 50% en comparación con las opciones existentes.

La red de ultra clusters de segunda generación de la compañía, que ayuda con el entrenamiento y pre-entrenamiento, admite hasta aproximadamente 20,000 GPUs y ofrece alrededor de 10 petabits por segundo de rendimiento de red en la misma columna vertebral con una latencia inferior a 10 microsegundos, una disminución en la latencia general del 25%. El resultado final: entrenar más modelos de manera mucho más rápida y a un costo menor.

¿Puede la computación cuántica cambiar el futuro?

El trabajo de García se centra en las formas en que la computación cuántica y la IA interactúan entre sí, y las conclusiones tienen un gran potencial. La computación cuántica ofrece ahorros potenciales de recursos y beneficios de velocidad. La aprendizaje automático cuántico se puede utilizar para la IA de tres maneras, dijo García: modelos cuánticos en datos clásicos, modelos cuánticos en datos cuánticos y modelos clásicos en datos cuánticos.

«Ha habido diferentes pruebas teóricas en cada una de esas diferentes categorías que muestran que hay una ventaja en usar computadoras cuánticas para abordar estos tipos de áreas,» dijo García. «Por ejemplo, si tiene datos de entrenamiento limitados o datos muy dispersos, o datos muy interconectados. Una de las áreas en las que estamos pensando que es muy prometedora en este espacio es pensar en aplicaciones de atención médica y ciencias de la vida. Cualquier cosa en la que tenga algo de naturaleza cuántica que necesite abordar.»

IBM está investigando activamente el vasto potencial del aprendizaje automático cuántico. Ya tiene una gran cantidad de aplicaciones en ciencias de la vida, aplicaciones industriales, ciencias de los materiales y más. Los investigadores de IBM también están desarrollando Watson Code Assist, que ayuda a los usuarios no familiarizados con la computación cuántica a aprovechar un ordenador cuántico para sus aplicaciones.

«Estamos aprovechando la IA para ayudar con eso y ayudar a las personas a poder optimizar circuitos, poder definir su problema de una manera que tenga sentido para que el ordenador cuántico pueda resolver,» explicó.

La solución, agregó, será una combinación de bits, neuronas y cubits.

«Va a ser CPUs, más GPUs, más QPs trabajando juntos y diferenciando entre las diferentes partes del flujo de trabajo,» dijo. «Necesitamos impulsar la tecnología cuántica para llegar a un punto en el que podamos ejecutar los circuitos de los que estamos hablando, donde creemos que vamos a proporcionar ese tipo de aceleración exponencial, aceleración polinómica. Pero el potencial de los algoritmos es realmente prometedor para nosotros.»

Pero los requisitos de infraestructura para lo cuántico son un punto de conflicto, antes de que lo cuántico se convierta en el héroe del día. Esto incluye reducir aún más el consumo de energía y mejorar la ingeniería de componentes.

«Hay mucha investigación física que se necesita hacer para poder realizar los requisitos de la infraestructura para lo cuántico,» explicó. «Para mí, ese es el verdadero desafío que veo para realizar esta visión de tener a los tres trabajando en concierto juntos para resolver problemas de la manera más eficiente en recursos.»

Elección y el techo crítico

«Más importante que todo lo demás es la transparencia radical, para dar a los tomadores de decisiones esa comprensión profunda, hasta el final de la cadena de suministro, de la sostenibilidad, la energía, la privacidad y las características de seguridad de todas estas tecnologías que estamos empleando para que podamos entender el verdadero costo,» dijo Bresniker. «Eso nos da la capacidad de calcular el verdadero retorno de estas inversiones. En este momento, tenemos expertos en la materia profundamente hablando con la empresa sobre la adopción, pero no necesariamente están enumerando cuáles son las necesidades para integrar estas tecnologías con éxito, de manera sostenible y equitativa.»

Y parte de eso se reduce a la elección, dijo Roberts. El caballo ya ha salido del establo, y cada vez más organizaciones aprovecharán los LLMs y la IA general. Hay una oportunidad allí para elegir las características de rendimiento que mejor se adapten a la aplicación, en lugar de consumir recursos de manera indiscriminada.

«Desde una perspectiva de sostenibilidad y energía, querrás pensar en cuál es el caso de uso que estás intentando lograr con esa aplicación específica y ese modelo, y luego qué silicio vas a usar para impulsar esa inferencia,» dijo.

También puedes elegir el anfitrión, y puedes elegir aplicaciones y herramientas específicas que abstraigan el caso de uso subyacente.

«La razón por la que esto es importante es que te otorga elección, te otorga mucho control, y puedes elegir cuál es la implementación más eficiente en términos de costos y más óptima para tu aplicación,» explicó.

«Si agregas más datos y más energía y más agua y más gente, este será un modelo más grande, pero ¿es realmente mejor para la empresa? Esa es la verdadera pregunta en torno a la aptitud empresarial,» agregó Bresniker. «Alcanzaremos un techo crítico si continuamos. A medida que comencemos esa conversación, teniendo esa comprensión y comenzando a retroceder y decir — Quiero más transparencia. Necesito saber de dónde provino esos datos. ¿Cuánta energía hay en ese modelo? ¿Hay alguna alternativa? Quizás un par de modelos pequeños sean mejores que una monolitica monocultura. Incluso antes de llegar al límite, nos ocuparemos de la monocultura.»