Se trata de un modelo de IA que crea vídeos a nivel de última generación llamado Lumiere.
Originalmente, Google tenía un creador de videos llamado VideoPoeta ya
VideoPoet – Investigación de Google
Un modelo de lenguaje de gran tamaño para la generación de vídeo de toma cero. VideoPoet demuestra un método de modelado simple que puede convertir cualquier modelo de lenguaje autorregresivo en un generador de video de alta calidad.
con el nombre Generador de formas. ImageGen
Imagen Video
Generación de vídeo de alta definición con modelos de difusión
Pero Lumière salió. Este es mucho más genial que el original y puede crear videos de formato corto de alta calidad.
Básico
- Lumiere está entrenado con un conjunto de datos de más de 30 millones de vídeos. 80 marcos de largo con leyendas de texto insertadas para practicarlo.
- Puede producir 16 fotogramas de vídeo por segundo.
- No se dice que los 30 millones de videos estén tomados de la misma fuente.
Este trabajo es una investigación conjunta entre el equipo de Google Research y las principales universidades tecnológicas de Israel, a saber:
- Technion - Instituto de Tecnología de Israel
- Instituto Weizmann de Ciencias y
- Universidad de Tel Aviv
Lumiere tiene 4 características interesantes:
- Edición de video - Puedes resolverlo solicitando el comando (fácil pero muy divino).
- Generación estilizada - Puedes crear un vídeo a partir de la referencia que te proporcionamos (puedes dar la referencia como imagen o vídeo). El modelo aprenderá el estilo y luego creará un video para usar ese estilo.
- Imagen y texto a video - No te limites a poner un mensaje como mensaje. Por ejemplo, lanza una foto de nosotros con una cara fija y luego dile que cree una imagen de nosotros riéndose. Se puede hacer, es demasiado piadoso.
- Cinemagraphs - Selecciona solo una parte de la imagen y anímala en un video.
fuente
Toda esta información es una investigación de Google publicada en GitHub.
Lumiere - Google ResearchModelo de difusión de texto a vídeo en el espacio-tiempo de Google Research.lumiere-video.github.io
Paper งานวิจัย
Uno de los investigadores, llamado Hila Chefs De la Universidad de Tel Aviv, se publicó en X.
