Redacción - El Semanal
La inteligencia artificial en materia de generación de video ha dado un paso revolucionario con la llegada de Stable Video 4D, la más reciente incorporación a la amplia gama de modelos de generación de IA de Stability AI.
A diferencia de las herramientas de generación de video actuales, como Sora de OpenAI, Runway, Haiper y Luma AI, Stable Video 4D representa un cambio significativo en el campo. Basándose en el modelo anterior de Stable Video Diffusion, que convierte imágenes en videos, esta nueva versión acepta videos como entrada y genera múltiples videos de vista novel desde 8 perspectivas diferentes.
Según Varun Jampani, líder de equipo de Investigación 3D en Stability AI, Stable Video 4D tiene aplicaciones potenciales en la producción cinematográfica, videojuegos, realidad aumentada/virtual, y otros escenarios donde se requiere visualizar objetos 3D en movimiento desde ángulos de cámara arbitrarios.
Lo que hace único a Stable Video 4D es su capacidad para ver un objeto 3D en movimiento desde varias perspectivas de cámara y en diferentes momentos. Esto se debe a que el modelo opera en cuatro dimensiones: ancho (x), alto (y), profundidad (z) y tiempo (t), lo que le permite capturar todos los aspectos de un objeto en movimiento de manera más completa que los modelos tradicionales en 3D.
En términos de funcionamiento, Stable Video 4D se diferencia de otras herramientas de IA generativa al sintetizar completamente los 8 videos de vista novel desde cero, utilizando el video de entrada original como guía. Esto supone un enfoque distinto al infill y outfill utilizado en la generación de imágenes en 2D, donde la red completa información parcialmente dada.
Actualmente, Stable Video 4D está disponible para evaluación de investigación en Hugging Face, aunque Stability AI aún no ha anunciado sus opciones comerciales futuras. El modelo ya puede procesar videos de un solo objeto de varios segundos con un fondo simple, y se planea su expansión a videos más largos y escenas más complejas en el futuro.
En resumen, Stable Video 4D representa un avance significativo en la generación de video con IA, combinando múltiples perspectivas de cámara y momentos temporales para ofrecer una visión más completa y dinámica de objetos en movimiento en 3D. Su potencial aplicación en diversos campos como el entretenimiento, la realidad virtual y la producción audiovisual promete abrir nuevas posibilidades creativas y tecnológicas en el futuro cercano.
GIPHY App Key not set. Please check settings