Google lanza un nuevo modelo de IA para generar vídeos llamado Lumière

Google เปิดตัวโมเดล AI สร้างวิดีโอตัวใหม่ ชื่อ Lumiere

Se trata de un modelo de IA que crea vídeos a nivel de última generación llamado Lumiere.

Originalmente, Google tenía un creador de videos llamado VideoPoeta ya

VideoPoet – Investigación de Google
Un modelo de lenguaje de gran tamaño para la generación de vídeo de toma cero. VideoPoet demuestra un método de modelado simple que puede convertir cualquier modelo de lenguaje autorregresivo en un generador de video de alta calidad.

con el nombre Generador de formas. ImageGen  

Imagen Video
Generación de vídeo de alta definición con modelos de difusión

Pero Lumière salió. Este es mucho más genial que el original y puede crear videos de formato corto de alta calidad.

Básico

  • Lumiere está entrenado con un conjunto de datos de más de 30 millones de vídeos. 80 marcos de largo con leyendas de texto insertadas para practicarlo.
  • Puede producir 16 fotogramas de vídeo por segundo.
  • No se dice que los 30 millones de videos estén tomados de la misma fuente.

Este trabajo es una investigación conjunta entre el equipo de Google Research y las principales universidades tecnológicas de Israel, a saber:

Lumiere tiene 4 características interesantes:

  1. Edición de video - Puedes resolverlo solicitando el comando (fácil pero muy divino).
  1. Generación estilizada - Puedes crear un vídeo a partir de la referencia que te proporcionamos (puedes dar la referencia como imagen o vídeo). El modelo aprenderá el estilo y luego creará un video para usar ese estilo.
  1. Imagen y texto a video - No te limites a poner un mensaje como mensaje. Por ejemplo, lanza una foto de nosotros con una cara fija y luego dile que cree una imagen de nosotros riéndose. Se puede hacer, es demasiado piadoso.
  1. Cinemagraphs - Selecciona solo una parte de la imagen y anímala en un video.

fuente

Toda esta información es una investigación de Google publicada en GitHub.

Lumiere - Google ResearchModelo de difusión de texto a vídeo en el espacio-tiempo de Google Research.lumiere-video.github.io

Paper งานวิจัย

https://arxiv.org/abs/2401.12945
https://arxiv.org/abs/2401.12945

Uno de los investigadores, llamado Hila Chefs De la Universidad de Tel Aviv, se publicó en X.

Recomiende otros sitios web y boletines interesantes.

¡Bien! A continuación, complete el pago para obtener acceso completo a The Insiderly AI.
¡Bienvenido! Has iniciado sesión correctamente.
Te has suscrito con éxito a The Insiderly AI.
¡Éxito! Su cuenta está completamente activada, ahora tiene acceso a todo el contenido.
¡Éxito! Tu información de facturación se ha actualizado.
Su facturación no se actualizó.