Tool test: LTX Studio

LTX Studio is een innovatief AI-gestuurd filmplatform dat is ontworpen om het hele videoproductieproces te stroomlijnen, van concept tot uiteindelijke bewerking. Dit platform is perfect voor filmmakers, marketeers en andere creatieve makers die hun verhalen tot leven willen brengen met behulp van geavanceerde generatieve AI-technologie.

Impact

★★★★

LTX Studio kan zeker de tool worden om snel en effectief je storyboards, scenes en shot lists te kunnen maken al is er nog een lange weg te gaan. De tool is nog in Beta, dus de community feedback zal LTX Studio alleen maar beter gaan maken.

Gebruiksvriendelijkheid

★★★★★

De output van de tool met zowel video als een pitchdeck is in de conceptfase van een project voldoende, al vereist de perfecte pitch natuurlijk de perfecte middelen.

Prijsstelling

★★

De kwaliteit van de tool is in vergelijking met de commerciële prijsstelling nog niet voldoende.

Verhalen tot leven brengen

Lightricks, de maker van LTX Studio, kennen de meeste mensen wellicht van handige AI apps als Facetune, Videoleap en Photoleap welke veel gebruikt worden door mensen die op de socials publiceren. Maar nu komt het bedrijf met een tool van een totaal andere klasse welke ervoor zorgt dat het visualiseren en pitchen van een filmscript op een geheel andere wijze kan verlopen.

Met LTX Studio levert Lightricks een innovatief AI-gestuurd filmplatform dat is ontworpen om het hele videoproductieproces te stroomlijnen, van concept tot uiteindelijke bewerking. Dit platform lijkt perfect voor filmmakers, marketeers en andere creatieve makers die hun verhalen tot leven willen brengen met behulp van geavanceerde generatieve AI-technologie.

In de basis kan je met dit uitgebreide platform je ideeën eenvoudig omzetten in realiteit. En uitgebreid is deze tool. Zo biedt LTX Studio een scala aan functies, waaronder:

• AI-gestuurde videogeneratie: maak automatisch video’s met effecten, muziek en voice-overs;
• Nauwkeurige framecontrole: beheer elk aspect van elk frame, van camerabewegingen tot scène-inhoud;
• Rendering en stilistische aanpassing: pas de stijl, setting en stemming van je video’s aan;
• Storyboardcreatie: transformeer een eenvoudig idee of script in een gedetailleerd storyboard;
• Personage aanpassing: vorm personages die passen bij jouw visie en houdt ze consistent;
• Pitching tools: genereer een gepolijst deck om je project effectief te presenteren.

Testen in de praktijk

In dit artikel lopen we elk van de features door. De tool is overigens nog in Beta fase en we laten de features uit de gratis versie zien, zodat iedereen ermee aan de slag kan.

Om te beginnen; de interface is overzichtelijk en neemt je stapsgewijs mee in het proces. Zo kan je beginnen met een ruw idee of een bestand script voeren aan het systeem. Laatste optie is om met een leeg storyboard te beginnen en dit shot voor shot te vullen en is vooral bedoeld om bestaande ideeën goed vorm te geven en te kunnen presenteren. Wellicht zit deze werkwijze het dichtst tegen het huidige proces aan. Ook krijg je een overzicht van recente projecten te zien waar je mee verder zou kunnen.

In dit artikel ga ik aan de slag met een idee en laat ik zoveel mogelijk van het werk doen door de tool. En daar zien we ook al direct een bijkomend voordeel van de tool, want er worden me al direct 3 ideeën geboden welke ik zou kunnen gebruiken als synopsis. Deze keer gebruik ik mijn eigen creatieve denkkracht.

En dit is mijn prompt:

This is a film about a young girl of 11 years old that has toys that come to life and that will bring her to other worlds where she experiences a lot of adventures. Every adventure she writes in her diary. One day her mother sees her diary lying on the floor and starts reading it. She’s surprised by the imagination of her daughter and decides to use these stories as scripts for a blockbuster movie. When her daughter finds out she gets angry at her mother and forces her to retract the film from the cinema. Will her mother do that or is the success of the movie more important than the love for her daughter?

En voilà, de basis voor het script voor Mia’s Magical Adventures is geboren. De Story overview is herschreven door de AI, een titel is verzonnen evenals de karakters inclusief hun  karakterbeschrijving. Daarnaast kunnen we de stijl van de film aanpassen. En hier wordt veel keuze geboden; filmisch, anime, comic book, clay art, et cetera, maar mocht je zelf een referentiebeeld hebben ter inspiratie voor het systeem, dan kan je deze hier ingeven. Dat is handig. Daarnaast kan je de aspect ratio aangeven om ook voor andere media te kunnen genereren.

Tevens hebben we de optie om de karakters aan te passen; ook qua uiterlijk. Ik ben eigenlijk best tevreden met het resultaat en besluit dit zo te laten.

Ik besluit nog een karakter toe te voegen aan de cast en dat is de vader van Mia. En terwijl je deze persoon beschrijft verandert het beeld. Tof. Ook de stem kan je aanpassen, want de stem van Sir Knight is niet echt passend bij het karakter. Na het toevoegen zie je dat ook de Story Overview opnieuw gemaakt wordt. In mijn geval geen verandering, maar dat is waarschijnlijk omdat ik in de synopsis de vader niet heb beschreven. Ik ben benieuwd in welke mate de vader nu terug gaat komen in het verhaal.

Na het drukken op Start begint de magie van LTX Studio en beginnen in de interface de scenes zich te vormen. Elke scene wordt beschreven met een setting / locatie, lichtval, weer en stijl. Daarnaast is ook de storyteller welke als voice-over de dingen in de scene beschrijft heel erg tof, maar deze geeft alleen de gedachten van de karakters weer en beschrijft niet een dialoog. De voice-over kan overigens naar gelang aangepast worden en een dialoog van een karakter kan per shot worden toegevoegd. Het valt me op dat we deze zelf moeten creëren.

Elke scene wordt voorzien van een shotlist met een bijbehorend beeld wat goed werkt als we deze tool gebruiken voor eerste ideevorming. We kunnen de volgorde van de shots in een scene met drag and drop qua volgorde aanpassen.

Een shot toevoegen behoort tot de mogelijkheden. Hier zijn 3 manieren voor: prompten, tekenen / schetsen of een referentiebeeld uploaden.

Ik kies voor Canvas om vanuit een eigen schets een beeld te genereren van 1 van de speelgoedwerelden van Mia. En dat pakt best goed uit. Wel constateer ik een stijlbreuk tussen het beeld op basis van mijn schets en de rest van het storyboard.

En dat komt vaker in andere vormen ook terug. Wat opvalt in het gegenereerde beeld is dat het niet consistent is qua karakter. Zo is de moeder in dit beeld in 1 keer veel jonger ten opzichte van de foto in de karakterbeschrijving. Handig is het om de prompt dusdanig aan te passen met meer detail of daar personen uit weg te laten.

Ook de kwaliteit van de beelden zijn wat mij betreft kenmerkend voor Stable Diffusion; het model welke in de achtergrond de beelden genereerd en mooi is verwerkt in de interface van LTX Studio. Ik ben er geen fan van en mis vaak het realisme. De teksten worden gemaakt door ChatGPT.

Met Preview kunnen we een eerste video maken. Het resultaat is een verzameling van static shots aan elkaar geplakt met mooie achtergrondmuziek en de voice over die het verhaal vertelt welke we bij elke scene aan de linkerzijde zagen staan. Deze snelle preview stelt me in staat om te horen waar de verhaallijn goed loopt en waar nog wat ontbreekt. Zo is het beleven van de avonturen in diverse werelden met haar speelgoed niet, behalve in het derde shot in Scene 1.

Dat shot met de robot ga ik iets verder uitwerken. Zo ga ik Mia daar iets laten zeggen en als sound effect de robot geluid laten maken. Zodra ik een dialoog ingeef, zal de voice-over worden uitgeschakeld. Fijn is dat bij elke optie een afluistermogelijkheid of preview-optie zit. Zo merk ik dat de stem van Mia niet klinkt als die van een jong meisje, maar van een jongen in zijn puberjaren. Dat passen we later wel even aan, want dat laat direct een coole feature van LTX Studio zien. Als we doorklikken naar de shot editor, zijn we in staat om veel details aan te passen al lijkt het er op dat in deze betaversie van de tool nog niet alles even vloeiend werkt. Zo is er de nieuwe feature Face Capture waarbij je jezelf kan opnemen met de webcam om als referentie te gebruiken voor in mijn geval de robot. Dat was geen succes. Het aanpassen van het camerashot van een medium naar een wide shot ging daarentegen erg eenvoudig.

Ook het aanpassen van de camerapositie was makkelijk. Handig als je wilt verkennen welk shot wel werkt en welke niet.

Hier kan je met een eenvoudige muisbeweging de positie van de camera aanpassen. Je ziet dat LTX Studio het onderwerp vrijstaand heeft gemaakt van de achtergrond. Vervolgens zal het beeld opnieuw gemaakt worden vanuit de ingegeven positie.

En dan toch even door naar een coole feature, want aanpassingen in karakter of locatie of in mijn geval stem worden doorgevoerd door het hele script in alle scenes.

Dit geldt ook voor het doorvoeren van een andere stijl. Ik zal daar nog enkele voorbeelden van laten zien.

Stel; we zijn tevreden met ons script en storyboard. Dan wordt het tijd om deze te exporteren.

En ook hier weer volop keuze. Zo kunnen we de werkomgeving direct delen met anderen door een emailadres op te geven, kunnen we een Pitch Deck genereren om het idee te kunnen pitchen bij een omroep of producent, een assets package maken voor gebruik in editing suites of een video (handig voor een presentatie). Ik kies ervoor om alle statische shots in mijn storyboard te laten renderen als video om deze vervolgens te exporteren als MP4 videobestand. Dat kan even op zich laten wachten en duurt ongeveer 2 minuten met een niet uitgebreid storyboard als het mijne.

En dit is het eindresultaat:

Duidelijk nog veel artefacten met rare AI beeldfouten waarvan we hopen dat ze snel tot het verleden gaan behoren, maar als grove schets voor de ideevorming een prima eindresultaat om je idee over de bühne te brengen.

Ook de export van een pitch deck is erg handig. Het systeem creëert een goed verzorgde PDF voor je met titel synopsis, castbeschrijving inclusief details, een moodboard voor stijl en kleurgebruik plus het storyboard zelf met de beschrijving van elke scene. Samen met de video goed om te gebruiken in een presentatie.

En dan toch nog even terug naar die ene handige feature; het aanpassen van de stijl en dit doorvoeren door het gehele storyboard. Ik ga voor Clay Art… zelfde script, andere stijl. Toch knap:

Conclusie

LTX Studio kent vele manieren om tot een relatief goed eindresultaat te komen. De basis welke door het systeem wordt gegenereerd laat zich makkelijk aanpassen tot in detail. Het is een zeer uitgebreid systeem met een duidelijk doel; het creëren van zowel een storyboard met shot lists en de visualisatie. Handig om snel tot resultaat te komen en je idee te kunnen pitchen al zal je daarbij een paar van de artefacten dan voor lief moeten nemen.

Niet zichtbaar voor de gebruiker, maar wel degelijk belangrijk om te vermelden is dat alle teksten worden gemaakt op basis van OpenAI’s ChatGPT en de beelden op basis van Stable Diffusion. En dat is denk ik ook hoe we dit platform zouden moeten zien; een handige interface welke enkele handige AI-tools samenbrengt. En dat werkt best lekker al moet je je verwachtingen wel enigszins bijstellen wat betreft het eindresultaat.

Zo is het automatiseren van het maken van scenes en shot lists superhandig en is ook het pitch deck een welkome aanvulling. Het zou mijn voorkeur hebben om zelf beeld te genereren met andere modellen om deze vervolgens te importeren als referentie.

Toch lijkt de tool op de juiste weg en met de huidige snelheid waarmee de ontwikkelingen zich opvolgen ga ik er van uit dat ook LTX Studio snel grote stappen gaat maken. Al met al is LTX Studio een leuke tool, maar heeft het mijns inziens nog niet de kwaliteit die nodig is voor inzet door professionals. Zeker niet als je kijkt naar de kostprijs van de business licentie.

Bij het afnemen van een licentie zijn vooral ook je computing seconds van belang. Met de test zoals ik deze heb gedaan voor het schrijven van het artikel ben ik reeds door mijn 3600 compute seconds heen. Dat gaat dus erg snel.

Qua gebruik en prijsstelling is het licentiemodel wat mij betreft helemaal niet duidelijk en het lijkt alsof Lightricks hier nog zoekende is. Deze tool is voornamelijk relevant voor professionele gebruikers en daarom is het licentiemodel voor deze doelgroep met een bedrag vanaf 175 dollar per maand mijns inziens niet het instapmodel wat vooral de kleinere en onafhankelijke script- en scenarioschrijvers zo gauw zouden omarmen.

Wellicht is het doel om vanuit persoonlijk gebruik een script te maken om dit vervolgens bij succes naar een businesslicentie om te zetten? Het gebruik van een ‘target audience’ van 100.000 personen is natuurlijk ook nogal subjectief. Stel dat de volgende box office hit op basis van jouw script en scenario wordt gemaakt? Zou toch een mooi luxeprobleem zijn.