Herramientas de IA: animaciones con Midjourney y After Effects de Jeff Foster

Jun 19, 2023

Desglose de una técnica de animación utilizando renders Mijourney 5.2 Zoom y Adobe After Effects

Probablemente hayas visto muchas animaciones generadas por IA que ya utilizan varias herramientas como Runway Gen-2 y Kaiber, que toman imágenes fijas y las animan durante unos segundos o animaciones directas de estilo generativo de texto a video que tienden a parecerse a un Viaje inducido por psilocibina. Si bien son interesantes y a menudo artísticos por su naturaleza como género en sí mismo, he encontrado poco uso práctico para cualquier tecnología hasta la fecha, especialmente con algo remotamente realista o fluido en su entrega.

Si bien no busco un realismo extremo como lo haría en el trabajo de efectos visuales, sí quiero que mis creaciones de fantasía se sientan fluidas y tengan movimiento de calidad y elementos atractivos que no distraigan el trabajo en general.

Es por eso que la mayor parte del contenido de IA producido no siempre está listo para usar. A menudo es necesario trabajar más en los elementos de una imagen renderizada en Photoshop o, si se animan objetos, en After Effects. Trabajo mucho en After Effects casi a diario y el 95% trabaja con contenido 2D y objetos que simulan entornos y efectos 3D.

Ahí es donde tropezar con la función de pintura Zoom Out en Midjourney v5.2 para algunas composiciones específicas. Midjourney es sólo un generador de contenidos, mientras que AfterEffects es el animador.

¿Quieres saber cómo utilizar esta nueva función en Midjourney en Discord? Este video tutorial para Midjourney Zoom-Out del canal de YouTube All About AI lo guía a través de los pasos para producirlos:

Para este tipo específico de animación que estoy buscando crear, After Effects es necesario para hacer “zoom” a través de múltiples capas renderizadas desde Midjourney para revelar una pista de movimiento larga.

Entonces, cuando se anunció que Midjourney v5.2 permitía capacidades de alejamiento y renderizado panorámico, eso desencadenó una experimentación divertida en mi búsqueda de algo único.

Comencé con un concepto extraño que me sorprendió cuando lo rendericé por primera vez, ya que no era nada de lo que pedí a Midjourney, pero aun así dio un resultado delicioso. Como era el primero de julio y el comienzo de un fin de semana de 4 días (así como el primer día del mes), a menudo hago una versión divertida del ritual de decir "conejo conejo" en las redes sociales el primero de julio. mes con una imagen de Midjourney. En este caso, pedí “dos conejos comiendo perritos calientes”, pensando que podría agregar algunos fuegos artificiales o algo colorido en versiones posteriores. La imagen resultante que ves a continuación en el primer fotograma es uno de los resultados que obtuve y quedé encantado con la elección de la composición (aunque parece más como si se estuvieran comiendo un extraterrestre o un calamar). 😉

Cuando se anunció Midjourney v5.2 días después, volví a Discord y revisé mi imagen completa en busca de algo para probar la nueva función Zoom-Out. ¡Los siguientes dos renders fueron secuenciales y me sorprendieron aún más! En primer lugar, el zoom de alejamiento de 1,5x me dio una bonita escena pintada alrededor de mi render inicial de conejos festejando. Luego fui 2 veces más y no cambié el mensaje en absoluto: obtuve dos conejos más. Seguí 2x, 2x, 2x, 2x un montón de veces (13 para ser exactos) y simplemente creó esta larga escena callejera llena de conejos. Realmente se estaban multiplicando y variando en sus características, vestimenta y entorno. Pasaron principalmente de comer a beber, ¡pero la variedad de ropa y expresiones faciales fue encantadora!

Después de recopilar todos estos renderizados y apilarlos uno encima del otro en secuencia en After Effects, supe que necesitaba alinear el zoom de tal manera que siempre usara el "área focal central" de mejor calidad de cada capa, a medida que hacía zoom. entre 400% -50% antes de desvanecerse y revelar la capa debajo alineada para hacerse cargo del zoom. Utilicé una máscara calada de unos 100 píxeles dentro del borde de cada fotograma para eliminar los artefactos y las diferencias de los datos de los píxeles del borde de cada renderizado.

Repetí el proceso hasta el final a través de 14 capas diferentes sólo para ver si funcionaba...

…¡y más o menos lo hizo! En teoría, mi primer renderizado de prueba funcionó bien, pero el factor de hacer zoom entre rampas de velocidad del 400% al 50% en ondas al iniciar el ciclo de zoom del fotograma siguiente se revela, por lo que se ralentiza en el último. 30% de la ruta de escala, luego acelera nuevamente en el siguiente 30-50% o movimiento de escala. Aquí está el primer resultado de la prueba:

En esencia, cada capa en la línea de tiempo se veía así:

Lo que necesitaba era una forma de normalizar este movimiento para lograr la velocidad constante correcta en todo el rango de movimiento de la escala. Después de husmear un poco, descubrí una función en After Effects que nunca antes había usado. "Escala exponencial" que se encuentra en el menú desplegable Animación:

Entonces, al seleccionar el primer y último fotograma clave para escalar en la línea de tiempo y luego aplicar esta opción, se proporciona una rampa de velocidad de escala exponencial completa que se normaliza directamente.

Aplicando eso a todas las capas y haciendo algunos ajustes y ajustes de tiempo en algunas capas, lo rendericé nuevamente después de Escala Exponencial:

Entonces, si bien fue un descubrimiento satisfactorio y una buena práctica y prueba de concepto, me propuse hacer algo muy deliberado y mucho más inmersivo.

Lo que comenzó como un experimento terminó en un proyecto de colaboración con mi esposa, Ellen Johnson, para hacer un video musical corto inspirado en la naturaleza. Generé 20 fotogramas renderizados diferentes (10 “globos” diferentes para un factor de alejamiento total de 1.048.576x. Aparte de usar software de animación 3D, realmente no hay forma de crear esto solo con óptica, especialmente con esta resolución.

Mientras animaba las capas para este proyecto (que fueron renderizadas a partir de Midjourney v5.2), que se aleja de una bola de nieve sobre una mesa a diferentes mundos de maravillas en miniatura, cada uno dentro de otro y, finalmente, descansando sobre un gran frasco de vidrio sobre un tocón. Ellen proporcionó toda la composición musical y el diseño de sonido con SFX que viajan a través de estos diversos “mundos”, mientras incorporé segmentos animados para cada entorno para darles un poco de vida.

En esencia, estamos creando una especie de efecto de muñeca rusa animada en el que ves un entorno de globo/jarra dentro de otro, dentro de otro, etc.

La animación de alejamiento base siguió el mismo proceso que la animación del conejo anterior; apilamiento de capas, enmascaramiento, escalado, escala exponencial aplicada a cada capa, etc.

Una vez que las 20 capas renderizadas estuvieron alineadas y configuradas para completarse en aproximadamente 3:40 (la duración propuesta de la banda sonora musical), determinamos qué segmentos de animación adicionales tendrían sentido al viajar a través de los diversos "mundos", que pasaban por diferentes tipos de clima. y flora/fauna. Esto sentó las bases para la música y el diseño de sonido, así como para las animaciones detalladas que se compusieron más tarde.

Aquí están las capas sin formato alejadas y aceleradas 3X para que puedas ver qué tan suave es el efecto de escala antes de agregar cualquier otro elemento:

En este caso, las imágenes de IA generativa no solo fueron la inspiración para esta animación, sino también el contenido base que se animó, junto con algunos otros elementos 2D como generaciones de partículas, efectos de máscara en capas de movimiento y algunos objetos de video de pantalla verde para varios insectos, etc. de Adobe Stock. Más de 100 capas solo en este proyecto, antes de pasar a Adobe Premiere para editar la pista de música grabada/mezclada de Logic Pro, con otras 12+ pistas SFX.

El proyecto de vídeo musical/animación completo está en YouTube; es mejor verlo en pantalla completa directamente en YouTube que simplemente incrustado, para que puedas ver los detalles. También se recomienda usar audífonos/audífonos si no tiene un sistema de sonido de calidad mientras mira.

Tenga en cuenta que esto es solo 1080×1080 de las dimensiones originales nativas en las que Midjourney renderizó los fotogramas utilizados y no se supone que sea verdaderamente realista como un renderizado 3D, sino una exploración de fantasía de imágenes y sonidos. Disfrutar.

¡El destino preferido de los cineastas para obtener equipos de preproducción, producción y posproducción!