De nieuwe werkelijkheid van virtual production

Sommige nieuwe technologieën en concepten leiden jarenlang een sluimerend bestaan voordat ze een echte doorbraak beleven. Denk maar aan de tablet of podcasts. Zoiets is aan de hand met virtual production in tv, video en film. De technologie is nu ‘hot’ en heeft tijdens de pandemie de eerste stappen gezet op weg naar volwassenheid. Ineens lijkt iedereen het volle potentieel te zien.

Maar wat verstaan we nu eigenlijk onder virtual production? Zoals zo vaak bij dit soort begrippen in de digitale wereld – neem de metaverse – is ook bij virtual production niet altijd duidelijk wat er mee wordt bedoeld. In de loop der jaren is de term nogal losjes gebruikt en zijn er verschillende definities in omloop.

Definitie van virtual production

De meest gangbare is dat het een combinatie is van fysieke en digitale platformen in een real-time film- of video-omgeving. Bij virtual production worden die platformen samengevoegd om tijdens opnames virtuele decors en omgevingen te creëren. Dat zorgt voor meer flexibiliteit en creativiteit bij producties, omdat het niet nodig is om alles fysiek te bouwen of de crew naar fysieke locaties te brengen.

Ook kunnen sommige processen virtueel plaatsvinden, waardoor mensen op afstand kunnen werken. De technologie varieert van motion capture met real-time feedback van digitale dubbelgangers en virtuele werelden, tot de nieuwste ontwikkelingen in LED-enscenering, waarbij camerabewegingen zijn gesynchroniseerd met computergegenereerde decors.

Momentum

Volgens een rapport van Deloitte zijn er 4 factoren die virtual production momentum hebben gegeven:

• De populariteit van genres waarin veel visual effects (VFX) worden gebruikt en recente doorbraken in virtual production
• Toenemende toegankelijkheid van game engines en samenwerking met de grote studio’s
• Concurrentie tussen streaming platforms en filmstudio’s
• De beperkingen bij fysieke producties door COVID-19

Hoe recent bovenstaande ontwikkelingen ook zijn, virtual production is niet nieuw. Een of andere vorm wordt al lang gebruikt, zoals in Polar Express uit 2004 of Avatar uit 2009. Tegenwoordig wordt virtual production ook ingezet bij tv en wordt er echt geld bespaard. Kleinere budgetten en COVID-beperkingen zijn een drijvende kracht achter de opkomst van deze technologie. Zo bespaart de serie Snowfall 50.000 dollar per aflevering door gebruik te maken van virtual production. Bijkomend voordeel is dat de CO2 uitstoot wordt beperkt.

Het is dan ook niet verwonderlijk dat er steeds meer geld omgaat in de markt van virtual production. Naar verwachting is er dit jaar een bedrag mee gemoeid van 2,6 miljard dollar. Dat zal in 2027 zijn verdubbeld (5,1 miljard). wat neerkomt op een jaarlijkse groei van rond de 15%.

LED display walls

Wat is er eigenlijk nodig voor virtual production? In essentie zijn dat drie dingen: LED walls (maar ook een green screen studio is mogelijk), game engines en motion tracking camera’s. Virtual production zou niet mogelijk zijn zonder grote LED display walls die de afgelopen jaren enorm in kwaliteit zijn verbeterd. Deze LED-technologie werd onder meer bekend door het succes van The Mandalorian (zie video hieronder). De LED-schermen maken de visualisatie van real-time gerenderde virtuele sets mogelijk. Op die manier kunnen regisseurs en acteurs direct met de virtuele omgeving interacteren.

LED walls zouden echter nooit zonder de kracht kunnen van game engines als Unreal Engine. Niet alleen is nu fotorealistische rendering mogelijk in real-time, maar er is ook nauwkeurige parallax tussen camera en objecten tijdens opnames. De game engines hebben verder een speciale development interface ontwikkeld, zodat zelfs mensen met weinig tot geen programmeer-ervaring de technologie kunnen gebruiken. Filmonderdelen kunnen worden gebouwd met drag-and-drop-logica en er kan gebruik worden gemaakt van geïmporteerde graphics.

Motion-tracking camera’s

Dan zijn er nog de motion-tracking camera’s. Net als bij de game engines is het gebruik ervan cruciaal voor het gebruik van LED-schermen. De motion tracking camera’s (zie video hieronder) zijn onder meer nodig om te bepalen op welk fysiek punt de camera zich bevindt. Op die manier weet de game engine welke informatie moet worden geprojecteerd en hoe het licht moet worden gereflecteerd afhankelijk van deze positie. Zowel bij de game engines als bij motion-tracking spelen AI en machine learning een belangrijke rol.

Het lijkt duidelijk dat virtual production een gouden toekomst tegemoet gaat in film en high-end video voor streaming platformen. Ook in broadcast rukt de technologie op. Natuurlijk als het gaat om entertainment, maar ook in nieuws en sport. Of het nu gaat om verkiezingen of om een voetbalwedstrijd, van omroepen wordt verwacht dat ze grote hoeveelheden relevante informatie real-time in de uitzending brengen.

Graphics

Met virtual production kunnen broadcasters unieke, aandachttrekkende graphics maken op basis van data. Met cameratrackingtechnologie kunnen ze AR-objecten op de voorgrond plaatsen, wat zich goed leent voor dynamische 3D-objecten in plaats van platte full-frame graphics.

Een van de specialisten op dat gebied is het Noorse Vizrt. Hun technologie wordt al door veel broadcasters gebruikt (hieronder een voorbeeld van het gebruik van de Vizrt-technologie in sport en nieuws). Ook facilitaire bedrijven als NEP maken gebruik van Vizrt-technologie.

Vizrt makes the impossible possible every day from Vizrt on Vimeo.

Een ander groot voordeel van virtual production is natuurlijk ook het werken op afstand. Broadcasters kunnen eigenlijk veel producties virtueel maken zonder crews naar de fysieke locaties te hoeven brengen. Maar virtual production maakt ineens ook plekken toegankelijk waar mensen helemaal niet kunnen verblijven, zoals in het geval van het in beeld brengen van een Marslanding.

Commercials

Virtual production wordt meestal geassocieerd met de creatie van lineaire inhoud voor film en tv, maar het potentieel van deze technologie reikt veel verder. Die leent zich ook heel goed voor brand marketing en commercials.

Ook in Nederland ontwikkelt zich de markt van virtual production in rap tempo. Facilitair bedrijf NEP is al behoorlijk ver in het gebruik van virtual  production. Onlangs heeft de HBO-opleiding BUAS in Breda een studio geopend voor virtual production (zie video hieronder). Het is daarmee de eerste opleiding in Europa met een XR stage.

Dan is er verder Iron Films in Eindhoven dat heeft gespecialiseerd in opname van commercials. Ook Readyset Studios in Amsterdam doet commercials en producent Fiction Valley maakt regelmatig gebruik van virtual production. Al deze partijen komen aan het woord tijdens het Cross Media Café Virtual Production op 22 november. Dan geven ook Max van den Camp van NEP en Laurens Vreekamp (over AI en videotoepassingen) een toelichting.

Volgende stap

Velen zien virtual production als de volgende stap in het creëren van spectaculaire televisie, video en film in het komende decennium. Nu de technologie zich over de hele wereld verspreidt, ook in Nederland, kunnen we meer opwindende ontwikkelingen op dit gebied verwachten. Een daarvan is het toenemende gebruik van XR. Maar we staan nog maar aan het begin van wat mogelijk is met deze baanbrekende technologie. Het wordt pas echt interessant wanneer technologie geen belemmering meer vormt voor creativiteit.

Naast de creatieve mogelijkheden die virtual production biedt, is er ook een morele drijfveer. De duurzaamheid van deze technologie zal het alleen maar een populairdere keuze maken voor makers van content. Daarmee is virtual production misschien wel een duurzame oplossing, zowel voor de business van media als voor de impact op het milieu.