Explorando el abismo en Unreal Engine 5: La leyenda de la Ballena Cantora y el futuro de la animación transmedia
Hablamos con el equipo detrás de este ambicioso proyecto transmedia, La leyenda de la Ballena Cantora, para profundizar en los entresijos técnicos y narrativos de su producción. Desde los desafíos de simular físicas submarinas y renderizar escenarios gigantescos en Unreal Engine 5, hasta el cuidadoso diseño de personajes y la creación de un universo capaz de dar el salto del cine a los videojuegos, nos desvelan cómo la tecnología en tiempo real está transformando el futuro de la animación. Reza Memari, director y guionista, nos cuenta todos los detalles.
Sobre el flujo de trabajo en Unreal Engine y la física submarina: La mayor parte del largometraje se renderizó en Unreal Engine 5 junto a software como Maya y Houdini. Simular la densidad del agua, los rayos de luz y la refracción marina en tiempo real suele ser una pesadilla técnica. ¿Qué barreras tuvisteis que superar con respecto al renderizado offline tradicional para mantener la estética del proyecto sin sacrificar el rendimiento? ¿Qué partes se hicieron en tiempo real y cuáles no?
Diría que el 70 % de la película se hizo y renderizó en Unreal Engine 5, y el resto se renderizó en Houdini. Toda la animación se realizó en Maya. La mayor parte de los efectos de agua (las simulaciones más grandes) se hicieron en Houdini, pero las aguas más calmas se trabajaron en 3D Studio Max.
Creo que nuestro mayor obstáculo —y uno que no supimos anticipar— fue la escala colosal que alcanzaron nuestros escenarios. Una ballena puede medir 16 metros de longitud, lo que significa que, en una producción 3D, si quieres escenarios lo bastante grandes para dar cabida a una ballena, te encuentras con entornos increíblemente gigantescos cargados de minuciosos detalles (como los corales). Al principio pensábamos que las nuevas herramientas de Unreal Engine 5 nos permitirían renderizar estos mundos enormes sin despeinarnos. Sin embargo, nos dimos cuenta muy rápido de que, debido a varios bugs en las versiones iniciales y a la propia magnitud del proyecto, la escena simplemente fallaba y el programa se cerraba al abrirla. Tuvimos que ingeniárnoslas con soluciones creativas para poder renderizarlas de todos modos.
Hoy en día, Unreal Engine está mucho más optimizado y preparado para la producción de animación, pero en 2023 trabajábamos con la versión 5.3 y tuvimos que congelarla ahí. No podíamos actualizar en mitad de la producción, además de por un cambio en los términos de licencia por parte de Epic Games. Así pues, nuestro abanico de herramientas no estaba tan pulido y tuvimos que desarrollar un buen número de herramientas propias dentro de Unreal para salir adelante. La mayoría de las simulaciones de gran tamaño y los efectos de nubes o partículas en suspensión (debris) se simularon en Houdini, se importaron en Unreal como nubes de puntos y se renderizaron allí.
También debo añadir que todos los planos por encima de la superficie del agua se hicieron fuera de Unreal, ya que sus capacidades para simular la superficie acuática no alcanzaban el nivel de calidad visual que necesitábamos. Así que decidimos hacer un corte limpio: todo lo submarino es Unreal y todo lo que transcurre fuera del agua sigue un pipeline tradicional.
Para una película que transcurre bajo el mar, trabajar con tecnología en tiempo real fue fantástico, porque nos permitió integrar una enorme cantidad de efectos de fondo activos: elementos del escenario que se mecen como el sargazo o las algas, coral animado, partículas en suspensión, cáusticas en las superficies y rayos de luz (god rays) filtrándose desde la superficie. Todo eso estaba en constante movimiento y habría sido imposible sin tecnología en tiempo real. Eso sí, no es tan sencillo como lo pintan: hay que personalizar, probar y llevar al límite absolutamente todo antes de entrar en fase de producción.
Sobre el ecosistema transmedia y la reutilización de assets: Al diseñar un universo que abarca una película, un videojuego y experiencias interactivas, ¿cómo estructurasteis el pipeline de diseño 3D para que los mismos modelos y texturas mantuvieran la fidelidad narrativa del cine y, al mismo tiempo, estuvieran optimizados para la interactividad en tiempo real del juego?
Por supuesto, los videojuegos no pueden utilizar los mismos modelos en alta definición, texturas y rigs que empleamos en la película, pero fue una gozada ver cómo nuestro equipo de desarrollo fue capaz de importar los modelos y texturas para adaptarlos, estilizándolos ligeramente y reduciendo la complejidad de las mallas y shaders para que funcionaran en un entorno de juego, donde la tasa de fotogramas es crítica. Incluso pudimos importar personajes de la película a la demo de nuestro prototipo jugable, Rise of the Leviathan, y al pequeño juego que está disponible, Lani’s Call. El libro de cuentos interactivo fue un cantar completamente distinto, porque no tenía nada en 3D; hubo que pintarlo todo desde cero basándonos en nuestra biblioteca de assets.
La tecnología ha avanzado tanto de nuevo que, de cara a nuestra próxima película, será interesante ver cuántos de nuestros assets podremos siquiera reutilizar, porque los saltos tecnológicos están siendo extremos. Compartimos todos los recursos a través de Perforce y Ftrack entre los equipos de cine y videojuegos, y funcionó de maravilla para dar acceso a ambos departamentos y permitirles compartir blueprints y conocimientos entre sí.
Sobre el diseño de sonido y la traducción visual del audio: El motor central de la trama es el mito del canto de la ballena. ¿Cómo planteasteis la dirección visual de la música para traducir las frecuencias y vibraciones del sonido en elementos en pantalla (partículas, luz, pulsos en el agua) y hacer que la acústica se sintiera como una fuerza física al enfrentarse al «jefe final»? y respecto a la animación no verbal del personaje de Darya: Darya, la orca que acompaña a la protagonista, requiere una expresividad muy particular. En un medio donde el lenguaje corporal lo es todo, ¿cómo abordasteis el ritmo, los gestos y la comunicación no verbal en el entorno acuático para reflejar su naturaleza orgánica y su fuerza narrativa?
Darya perdió el oído de pequeña, después de haber aprendido a escuchar y a hablar con normalidad. Por eso puede hablar en la película y leer los labios, y jugamos con el hecho de que necesita mirar a alguien fijamente para poder «escucharlo».
Hacer que la orca fuera sorda no fue un mero artificio narrativo. Es un problema real que los humanos estamos causando en los océanos con la contaminación acústica, las explosiones submarinas, los sonares y demás. Yo había escrito un par de chistes para nuestra orca sorda y quería asegurarme de que a la comunidad sorda y con discapacidad auditiva no le resultaran ofensivos, así que me puse en contacto con Signing Animation, un grupo fantástico de artistas de animación con deficiencia auditiva. Estuvieron asesorándome sobre los chistes y sobre cómo se comportaría una orca sorda capaz de leer los labios y hablar. Me alegró muchísimo saber que quedaron alucinados y muy entretenidos con el guion, y no vieron ningún problema. Al contrario, pensaron que la historia ayudaría a mostrar que ser sordo no te hace inferior a los demás. En el caso de Darya, incluso ha desarrollado un sentido del tacto hiperdesarrollado que le permite percibir las vibraciones del agua mucho antes de que cualquier otro pueda oír nada.
Sobre el uso de cámaras virtuales en la dirección de escenas: Contar con un entorno en tiempo real cambia el rol del director durante la fase de previsualización. ¿Cómo alteró el uso de cámaras virtuales dentro del motor gráfico vuestro proceso de encuadre bajo el agua y qué margen de libertad os dio en comparación con el lenguaje más rígido de la animación 3D tradicional?
Trabajamos con un director de fotografía (DOP) de imagen real, un veterano que además es buceador y ha rodado material submarino anteriormente. Se llama Jaromir Maly y es de la República Checa. Junto a él, configuramos y testeamos nuestro juego de lentes: desde las distancias focales y las aperturas de diafragma (f-stops) hasta la profundidad de campo y el tamaño del sensor, para que las ballenas y los peces (que son personajes de morfología horizontal) no se distorsionaran ni deformaran en exceso, sobre todo con lentes gran angular. Aplicamos a todas las cámaras un flotado muy sutil para simular a un buceador real sosteniendo la cámara en la escena.
En general, hacer el layout en tiempo real fue un sueño por la libertad que nos daba para hacer cambios prácticamente hasta el mismísimo final de la producción. Sin embargo, tuvimos la suerte de contar con un storyboard y una animática muy sólidos antes de pasar a la fase de layout; de lo contrario, habríamos tardado demasiado tiempo en definir las cámaras en 3D.
Sobre videojuegos: Hay una clara influencia del mundo del videojuego en esta producción. ¿Cuáles son tus favoritos o cuáles os sirvieron de inspiración en algún momento del proyecto?
¡Jajaja, me alegra que lo percibas así! En realidad diría que mi mayor influencia para la película fue una mezcla entre La guerra de las galaxias y El rey león. En el apartado de videojuegos, me apasionaron Journey y Abzû como títulos que saben transmitir un sentido de la magia y el asombro de una forma majestuosa y ancestral. Pero, por supuesto, también jugué a Ecco the Dolphin cuando era crío. No hay demasiados juegos submarinos potentes hoy en día (salvo Subnautica, por supuesto), y por eso mismo queremos hacer Rise of the Leviathan; esperamos encontrar editora muy pronto.
Si quieres ver el resultado, La leyenda de la Ballena Cantora ya se ha estrenado.
