Tool test: Midjourney, RunwayML & Wonder Studio
Auteur: Jasper Vis
Midjourney
MidJourney is een AI-tool, die zich richt op het creëren van (foto)realistische beelden. Het biedt ongekende mogelijkheden voor mediaprofessionals die snel en efficiënt visueel indrukwekkende resultaten willen bereiken.
Impact
★★★★★
Midjourney is in staat om verbluffende beeldresultaten neer te zetten.
Gebruiksvriendelijkheid
★★★★☆
Qua gebruiksgemak valt er nog wel één en ander op af te dingen. Zo is het gebruik via Discord niet voor iedereen even gemakkelijk, maar wordt er inmiddels ook gewerkt aan een eigen web interface.
Daarnaast is de kunst van prompting (het ingeven van de instructies voor de AI-tool) even wennen. Hoe kom je tot het gewenste resultaat? Al doende leert men. Wil je echt aan de slag met deze tool, dan is een abonnement aan te raden.
Alleen met een Pro of Mega abonnement worden jouw beelden niet gedeeld met de rest van de community, mits je ‘stealth mode’ aanzet. Wellicht belangrijk als je werkt voor een specifieke opdrachtgever.
RunwayML
RunwayML is een veelzijdige AI-toolset, die mediaprofessionals helpt bij het bewerken en genereren van beeld-, video- en audiocontent.
Impact
★★★★★
Wat fijn is aan Runway is dat het je in staat stelt om snel tot resultaat te komen. Taken die voorheen complex of onmogelijk waren, worden door deze AI-tool voor je uit handen genomen.
Gebruiksvriendelijkheid
★★★★★
In dit artikel heb ik alleen Motion Brush-functionaliteit gebruikt voor de animatie van de rook en de ontploffing. In een volgend artikel zal ik Runway toolset volledig voor jullie doorlopen. Kenmerkend voor Runway is de eenvoud in gebruik door een heldere interface. Wil je echt aan de slag met deze tool, dan is een abonnement aan te raden.
Wonder Studio
Wonder Studio is een innovatieve AI-tool, die het proces van karakteranimatie vereenvoudigt door acteurs in een bestaande video te vervangen door 3D-avatars.
Impact
★★★★☆
Wonder Studio is een speciaaltje en wellicht meer gericht op filmmakers, dan een breed publiek. Toch zorgen juist dit soort tools voor nieuwe creatieve mogelijkheden.
Gebruiksvriendelijkheid
★★★☆☆
De eenvoudige interface zorgt dat je al snel op weg bent. De tool kent een beperkte set aan avatars. Het uploaden van een eigen avatar is mogelijk, maar vereist wel dat je die expertise aan boord hebt en daarom wellicht niet voor iedereen geschikt. Daarnaast is deze tool zeker niet snel. De tijd die nodig was om ons beeld van slechts enkele seconden te renderen, bedroeg bijna een uur. Wellicht wordt dit in de toekomst sneller. Wil je echt aan de slag met deze tool, dan is een abonnement nodig.
Testen in de praktijk
Als regelmatige spreker op events, probeer ik een verhaal altijd te versterken door iets concreets te laten zien. Maar wat als je nog aan het begin van een project staat? Hoe kom je snel tot een eerste resultaat? Onlangs nam ik samen met actrice Thirsa van Til deel aan een panelgesprek. Dit was op uitnodiging van het Nederlands Film Festival en FilmForward, over de inzet van AI in ons nieuwe filmproject. Dit is een project dat we startten zonder vastomlijnde ideeën, dus zonder script en zonder storyline waarbij we zoveel als mogelijk met behulp van technologie de film produceren. Om het publiek te laten zien hoe we snel tot resultaat zouden kunnen komen, hebben we de kracht van Midjourney (beeldcreatie), RunwayML (beeld-, video- en audiobewerking) en Wonder Studio (character replacement) gecombineerd. In dit artikel neem ik je mee in de stappen.
Om de kracht van beeldcreatie kracht bij te zetten, is het interessant om van een extreme situatie uit te gaan. Hoe zou het mogelijk zijn om op een bepaalde plek een opname van een film te doen zonder deze daadwerkelijk te hoeven gebruiken? Zouden we in één van Frankrijks mooiste culturele eigendommen, zoals de Hall of Mirrors in Versailles, een opname kunnen maken? Normaliter zouden we om dat te bewerkstelligen een vergunningsverleningsproces door moeten, in een taal die ik niet per sé machtig ben. En wat als we daar iets zouden willen opnemen waarvan we weten dat het schade toebrengt aan de omgeving? Dan zou deze opname onmogelijk worden. Daarom bedachten we een scenario waarbij we een rookgranaat laten ontploffen in Versailles.
Midjourney
Midjourney is een fantastische AI-tool voor beeldcreatie. De fotorealistische resultaten zijn verbluffend en de snelheid waarmee je deze kan creëren misschien nog wel indrukwekkender. Om Midjourney te kunnen gebruiken, dien je Discord te installeren. Binnen Discord kun je met behulp van een “bot” opdrachten geven aan Midjourney welke je op basis van jouw prompt 4 resultaten teruggeeft. In dit geval heb ik ingegeven: Hall of mirrors in Versailles palace hurt locker explosion grenade. Op basis van de 4 resultaten heb ik voor onderstaand beeld gekozen en deze laten upscalen binnen Midjourney voor een resolutie die hoog genoeg is om te kunnen gebruiken.
Lijkt het op de Hall of Mirrors? Zeker! Hebben we een ontploffende rookgranaat. Ook! Ons basisbeeld hebben we.
Tip: Zelf aan de slag met Midjourney? Kijk hier voor uitleg.
Runway
Vervolgens willen we van een statisch fotorealistisch beeld naar video. Daarvoor gebruiken we Runway . Runway kent als ‘gereedschapskist’ van tooltjes een functie die ‘Motion Brush’ heet. Deze functie stelt je in staat om items in een beeld te arceren en hier vervolgens een beweging aan mee te geven. Dit kun je doen voor meerdere lagen in hetzelfde beeld die allemaal een eigen beweging kunnen krijgen.
In ons geval heb ik 4 lagen een eigen beweging gegeven. Zo beweegt de rook in de voorgrond sneller en naar links, terwijl de rookontwikkeling richting plafond langzamer en vooral omhoog beweegt. Het resultaat is meer dan verbluffend. Het lijkt er op dat de AI snapt hoe de beweging van rook en een ontploffing zich voordoen. Let vooral ook op de vonken. Natuurlijk valt er nog iets op af te dingen, maar voor een eerste resultaat erg indrukwekkend.
LED Virtual Production
Ok, hier speel ik een beetje vals, want niet iedereen kan beschikken over een LED-wall om de animatie die we gemaakt hebben te tonen. Bij Studio XNL op het Media Park hebben we dit beeld op een LED-scherm van 10 meter breed en 4 meter hoog gebruikt als achtergrond en met Thirsa een zeer kort shot opgenomen inclusief een bladblazer als special effect.
Ook hier geen speciale belichting en dergelijke gebruikt, dus zeker niet perfect, maar dit toont wel aan hoe snel je tot een eerste prototype van een filmscène zou kunnen komen.
Tip: Kijk ook eens naar de Compositing Workflow tooling van Runway als alternatief.
Wonder Studio
Wonder Studio van Wonder Dynamics is toch wel een speciale tool, die ons in staat stelt om een acteur in het videobeeld te selecteren als object en deze te vervangen door een 3D avatar. Dat een markerless motion capture AI tool als deze wordt omarmt in Hollywood, blijkt wel uit het feit dat Steven Spielberg (regisseur en geen uitleg nodig) en Joe Russo (regisseur van vele Marvel-films) er een advisory board-positie bekleden. Waar we voorheen acteurs in mocap-suits lieten bewegen om deze vervolgens in de film te vervangen voor een avatar, is hiermee wellicht verleden tijd.
Zie hier de complexiteit van de creatie van Gollum; een karakter uit de film ‘Lord of the Rings’. Vergelijk dit met de eenvoud waarmee je nu een video inlaadt en vervolgens binnen de video een acteur selecteert en vervangt door een avatar. Dit is kenmerkend voor de snelheid waarmee AI-technologie zich ontwikkelt en wellicht ook de reden dat grote namen in Hollywood zich verbinden aan dit soort start-ups. Het snel vervangen van Thirsa door een 3D-avatar, in dit geval een eenvoudig karakter, wordt dan een fluitje van een cent. Dat deze technologie nog niet pixel-perfect werkt, zie je terug in de video waar wapperende haren en een bladblazer nog onderdeel uitmaken van het uiteindelijke beeld. Maar met wat betere selecties en wat poetsen levert ook deze technologie genoeg resultaat op.
Conclusie
Missie geslaagd! Met behulp van enkele beschikbare AI-tools zijn we in staat geweest om binnen 2 uur een snel filmshot te maken om aan een breed publiek te presenteren.
