Accenture y Marciano apuestan por enfoque enrutamiento para el éxito en IA empresarial.

Accenture y Martian consideran que el enrutamiento de modelos es clave para el éxito de la inteligencia artificial empresarial

Las empresas cuentan con una amplia gama de modelos de inteligencia artificial para elegir y a veces necesitan utilizar varios modelos juntos. Pero, ¿cómo puede una empresa seleccionar automáticamente el mejor modelo, basándose en la tarea y el costo?

Ese es el desafío que la startup de inteligencia artificial Martian busca resolver con su tecnología de enrutamiento LLM. Martian compite con varias startups de enrutamiento de modelos, incluida Not Diamond, que se lanzó el 30 de julio.

Una de las organizaciones que busca optimizar el uso de modelos de inteligencia artificial empresarial es Accenture, que hoy anunció que está invirtiendo en Martian, aunque no ha revelado la cantidad específica. Accenture cuenta con una creciente plataforma de servicios y asociaciones de inteligencia artificial mientras busca captar el interés y la demanda empresarial. Accenture tiene previsto integrar a Martian en sus servicios de conmutación, que ayudan a las empresas a seleccionar modelos. Martian salió del modo oculto en noviembre de 2023 y ha estado mejorando continuamente su tecnología en el último año. Junto con la implementación de Accenture, la compañía también está lanzando una nueva función de cumplimiento de modelos de inteligencia artificial como parte de su plataforma de enrutamiento.

Hasta la fecha, el conmutador de Accenture ha ayudado a las organizaciones a seleccionar modelos para su implementación empresarial. Lo que Martian agrega en esta ecuación es la capacidad de enrutamiento dinámico hacia el mejor modelo.

«Podemos elegir automáticamente el modelo adecuado, no solo basándonos en una tarea, sino en cada consulta», dijo Shriyash Upadhyay, cofundador de Martian, a VentureBeat. «Esto permite reducir costos y mejorar el rendimiento, porque significa que no siempre tienes que usar un solo modelo».

En una declaración, Lan Guan, director de inteligencia artificial de Accenture, comentó que muchos de los clientes de Accenture buscan aprovechar los beneficios de la inteligencia artificial generativa de una manera que considere requisitos, rendimiento y costo.

«Las capacidades de los servicios de conmutación de Accenture y el enrutamiento dinámico LLM de Martian simplifican la experiencia del usuario y permitirán a las empresas experimentar con la inteligencia artificial generativa y los LLM para encontrar la combinación perfecta para sus necesidades comerciales», afirmó Guan.

Por qué el enrutamiento de modelos debería ser una prioridad en la inteligencia artificial empresarial

La idea de utilizar la mejor herramienta para el trabajo es un dicho empresarial común, pero lo que no es tan común es el conocimiento en las organizaciones de las muchas opciones específicas de inteligencia artificial.

«A menudo, estas grandes empresas pueden tener diferentes organizaciones donde parte de la organización ni siquiera sabe que existe todo un mundo de diferentes modelos», comentó Upadhyay.

Para utilizar efectivamente los modelos de inteligencia artificial, Upadhyay enfatizó que es fundamental definir métricas de éxito. Las organizaciones deben determinar qué métricas realmente definen el éxito y qué es lo que realmente le importa a la organización en una aplicación específica.

La optimización de costos y el retorno de la inversión también son críticos. Upadhyay señaló que las organizaciones necesitan poder optimizar costos y demostrar algún tipo de retorno de la inversión para la implementación del modelo. En su opinión, en esas áreas es donde el enrutamiento de modelos es esencial, ya que cumple ambos propósitos.

El cumplimiento siempre es una preocupación en una empresa y es un área en la que Martian está trabajando ahora con su enrutador de modelos. La nueva función de cumplimiento en Martian ayuda a las empresas a evaluar y aprobar modelos de inteligencia artificial para su uso en sus aplicaciones. Upadhyay dijo que la función permitirá a las empresas configurar automáticamente un conjunto de políticas de cumplimiento.