La nueva inteligencia artificial de Meta, Movie Gen, puede generar vídeos de alta definición a partir de simples prompts. Con la capacidad de personalizar vídeos, editarlos con precisión y sincronizar el audio de manera natural, Movie Gen promete revolucionar la industria audiovisual.
¿En qué consiste el proyecto Meta Movie Gen?
Meta Movie Gen se concibe como un conjunto de modelos diseñados para generar vídeos y audio, con aplicaciones que van desde la creación de contenido desde cero en resolución HD hasta la personalización y edición.
A diferencia de otros modelos existentes, Meta Movie Gen no solo genera vídeos basados en descripciones textuales, sino que también adapta esos vídeos a la imagen de un usuario o realiza modificaciones específicas sobre vídeos previos (bien sean estos reales o sintéticos).
Esta flexibilidad convierte a Movie Gen en una herramienta poderosa para la creación de contenidos audiovisuales, marcando un nuevo hacia la democratización de la inteligencia artificial. Por el momento, no se encuentra abierta al público.
Funcionalidades que presenta Meta Movie Gen
La familia de modelos Meta Movie Gen se compone de dos modelos fundacionales (Movie Gen Video y Movie Gen Audio) y dos modelos desarrollados a partir de un post-training procedure (Personalized Movie Gen Video y Movie Gen Edit). Las principales funcionalidades que presenta son:
Generación de vídeo a partir de texto
El modelo Movie Gen Video permite la creación de videos a partir de prompts, facilitando la generación de contenido visual de alta calidad. A través de su arquitectura de 30 mil millones de parámetros, este modelo puede transformar descripciones en videos de hasta 16 segundos, representando de forma precisa el movimiento de objetos, la interacción entre diferentes elementos y el ambiente físico de la escena.
Gracias a su entrenamiento con vídeos e imágenes, Movie Gen Video entiende cómo los objetos deben comportarse y moverse en diversas situaciones, logrando resultados que reflejan un realismo sorprendente.
Generación de audio
La generación de audio es otra de las capacidades destacadas de la familia Meta Movie Gen, liderada por el modelo Movie Gen Audio. Este modelo está diseñado para producir audio que se sincroniza con los vídeos generados.
Con su capacidad de generar audio de 48kHz, puede crear tanto efectos sonoros como música en un vídeo. Esto es posible gracias a su entrenamiento en datasets de audio y vídeo, que le permite captar las relaciones físicas y emocionales entre las escenas visuales y los sonidos que las acompañan.
Edición de vídeo
Movie Gen Edit es la herramienta de edición de vídeos de Meta Movie Gen, que permite a los usuarios realizar modificaciones en vídeos (reales o sintéticos) mediante instrucciones textuales. Tal y como se ejemplifica en el paper de presentación de la tecnología, es posible tomar un vídeo de una persona lanzando un farolillo al cielo y solicitar que dicho objeto se convierta en una burbuja.
Estas capacidades de edición ofrecen un control creativo sin precedentes, aunque también supone un reto para los profesionales de la industria audiovisual que tendrán que reinventarse en muchos aspectos.
Personalización de vídeo
Otra de las funcionalidades de Meta Movie Gen es la capacidad de generar videos personalizados mediante el modelo Personalized Movie Gen Video. Esta herramienta permite a los usuarios generar vídeos a partir de una imagen que se recibe como input, junto con una serie de indicaciones textuales en forma de prompt. Esto abre un abanico de aplicaciones, desde la creación de experiencias interactivas hasta la generación de contenido adaptado a cada usuario.
¿Es mejor Meta Movie Gen que otras IAs generadoras de vídeo?
Quizá uno de los rasgos definitorios de Meta Movie Gen es que ha demostrado superar a otros modelos generativos de este campo como LumaLabs, Runway Gen3 y OpenAI Sora, todos ellos lanzados a lo largo de 2024. Los resultados de las evaluaciones dejan entrever que los vídeos generados por Movie Gen Video no solo ofrecen una mejor calidad visual, sino que también logran un nivel de personalización (Personalized Movie Gen Video), edición (Movie Gen Edit) y sincronización de audio (Movie Gen Audio) que hasta ahora no se había visto en otros sistemas comerciales.
Además, es importante mencionar que, para medir estas mejoras, Meta ha desarrollado una serie de benchmarks que permiten comparar la calidad de los vídeos generados, particularmente en lo concerniente a la alineación con el texto de entrada y realismo. Todo esto hace que la familia Meta Movie Gen se posicione, en el momento de escribir estas líneas, como líder en la creación artificial de contenidos audiovisuales.
¿Quieres aprender a usar la IA generativa en el ámbito del marketing?
Si quieres especializarte en inteligencia artificial generativa aplicada al marketing, no dudes en matricularte en nuestro Master en Marketing Digital y conviértete en uno de los perfiles profesionales más demandados por las empresas. Nuestra escuela, Esden Business School, es un centro de referencia en el que podrás aprender los fundamentos del marketing digital y las nuevas tecnologías.
