Nvidia presenta nuevos plugins para mejorar la realismo humano en Unreal Engine 5

Nvidia ha lanzado sus últimos plugins para mejorar el realismo de los personajes digitales en Unreal Engine 5.

Durante el Unreal Fest Seattle 2024, Nvidia presentó sus nuevos plugins en dispositivo para Nvidia Ace en Unreal Engine 5, facilitando la creación y despliegue de personajes digitales MetaHuman con inteligencia artificial en PC con Windows. Ace es un conjunto de tecnologías de humanos digitales que proporcionan habilidades de habla, inteligencia y animación impulsadas por la IA generativa.

Los desarrolladores ahora pueden acceder a un nuevo plugin Audio2Face-3D para animaciones faciales basadas en IA (donde los labios y rostros se mueven sincronizados con el audio del habla) en Autodesk Maya. Este plugin ofrece a los desarrolladores una interfaz simple y optimizada para acelerar y facilitar el desarrollo de avatares en Maya. Además, el plugin incluye código fuente para que los desarrolladores puedan profundizar y crear un plugin para la herramienta de creación de contenido digital (DCC) de su elección.

Por último, se ha desarrollado un microservicio de renderizado en Unreal Engine 5 que aprovecha la tecnología Unreal Pixel Streaming de Epic. Este microservicio ahora es compatible con el microservicio Nvidia Ace Animation Graph y el sistema operativo Linux en acceso temprano. El microservicio de Animation Graph permite movimientos realistas y receptivos de personajes, y con el soporte de Unreal Pixel Streaming, los desarrolladores pueden transmitir sus creaciones de MetaHuman a cualquier dispositivo.

Nvidia está facilitando la creación de MetaHumans con ACE.

El proyecto de muestra de Nvidia Ace Unreal Engine 5 sirve como guía para desarrolladores que buscan integrar humanos digitales en sus juegos y aplicaciones. Este proyecto de muestra amplía el número de plugins ACE en dispositivo:

– Audio2Face-3D para sincronización labial y animación facial.
– Nemotron-Mini 4B Instruct para generación de respuestas.
– RAG para información contextual.

Los desarrolladores pueden construir una base de datos llena de lore contextual para su propiedad intelectual, generar respuestas relevantes con baja latencia y hacer que esas respuestas impulsen las animaciones faciales de MetaHuman correspondientes de manera fluida en Unreal Engine 5. Cada uno de estos microservicios está optimizado para ejecutarse en PC con Windows con baja latencia y mínima huella de memoria.

Nvidia presentó una serie de tutoriales para la configuración y uso del plugin de Unreal Engine 5. Los nuevos plugins estarán disponibles próximamente, y para comenzar, los desarrolladores deben asegurarse de tener descargado el plugin Nvidia Ace y la muestra de Unreal Engine junto con un personaje de MetaHuman.

Autodesk Maya ofrece funciones de animación de alto rendimiento para que los desarrolladores de juegos y artistas técnicos creen gráficos 3D de alta calidad. Ahora, los desarrolladores pueden generar animaciones faciales de alta calidad basadas en audio de manera más sencilla para cualquier personaje con el plugin Audio2Face-3D. La interfaz de usuario ha sido optimizada y se puede hacer una transición sin problemas al entorno de Unreal Engine 5. El código fuente y los scripts son altamente personalizables y se pueden modificar para su uso en otras herramientas de creación de contenido digital.

Para comenzar en Maya, los desarrolladores pueden obtener una clave API o descargar el Audio 2Face-3D NIM. Nvidia NIM es un conjunto de microservicios de inferencia de IA fáciles de usar que aceleran el despliegue de modelos fundamentales en cualquier nube o centro de datos. Luego, asegúrese de tener Autodesk Maya 2023, 2024 o 2025. Acceda al repositorio ACE de Maya en GitHub, que incluye el plugin de Maya, las bibliotecas de cliente gRPC, activos de prueba y una escena de muestra, todo lo que necesita para explorar, aprender e innovar con Audio2Face-3D.

Los desarrolladores que despliegan humanos digitales a través de la nube intentan llegar simultáneamente a la mayor cantidad de clientes posible, sin embargo, transmitir personajes de alta fidelidad requiere recursos informáticos significativos. Hoy en día, el último microservicio de renderizado de Unreal Engine 5 en Nvidia Ace agrega soporte para el microservicio Animation Graph de Nvidia y el sistema operativo Linux en acceso temprano.

Animation Graph es un microservicio que facilita la creación de máquinas de estado y árboles de mezcla de animaciones. Proporciona a los desarrolladores un sistema flexible basado en nodos para mezclar, reproducir y controlar animaciones.

El nuevo microservicio de renderizado de Unreal Engine 5 con pixel streaming consume datos procedentes del microservicio Animation Graph, lo que permite a los desarrolladores ejecutar su personaje de MetaHuman en un servidor en la nube y transmitir sus fotogramas renderizados y audio a cualquier navegador y dispositivo periférico a través de Comunicación Web en Tiempo Real (WebRTC).

Los desarrolladores pueden solicitar acceso temprano para descargar el microservicio de renderizado de Unreal Engine 5 hoy. Puedes obtener más información sobre Nvidia Ace y descargar los microservicios NIM para comenzar a construir personajes de juegos impulsados por IA generativa.

Los desarrolladores podrán solicitar acceso temprano para descargar el microservicio de renderizado de Unreal Engine 5 con soporte para el microservicio Animation Graph y el sistema operativo Linux. El plugin Maya Ace está disponible para descargar en GitHub.