Van Video naar World Model: De Evolutie van Runway en OpenAI Sora (2023-2026)

De periode van 2023 tot 2026 markeert een keerpunt in de geschiedenis van visuele computing, met de overgang van eenvoudige geanimeerde beelden naar complexe simulaties van fysieke realiteit. Deze verschuiving, vaak samengevat door de semantische glijding van “Tekst-naar-Video” (Text-to-Video) naar “Wereldmodellen” (World Models), vertegenwoordigt veel meer dan een verbetering van resolutie of beeldvloeiendheid. Het signaleert de opkomst van kunstmatige-intelligentiesystemen die in staat zijn om coherente interne representaties van fysica, causaliteit en temporele dynamiek te bouwen.

Dit technische rapport biedt een uitgebreide kroniek van deze evolutie, met focus op de twee actoren die het onderzoeksveld en de industriële toepassing hebben gedomineerd: Runway, het baanbrekende startup uit de New Yorkse kunstwereld, en OpenAI, het onderzoekslaboratorium dat streeft naar algemene intelligentie. Door analyse van hun respectieve technische architecturen — van latente diffusiemodellen tot diffusietransformers (DiT) — en hun implementatiestrategieën, onderzoeken we hoe deze technologieën de eeuwenoude Hollywood-industrie frontaal hebben getroffen, en het begrip van creativiteit, arbeid en visuele waarheid hebben herdefinieerd.

I. De Artistieke Oorsprong: Het Verhaal van RunwayML

Om de trajectorie van generatieve video te begrijpen, is het essentieel om de wortels te analyseren. In tegenstelling tot een gangbare misvatting, begon de revolutie niet met generatie ex nihilo, maar met de automatisering van de meest arbeidsintensieve taken uit de traditionele postproductie. RunwayML, opgericht door Cristóbal Valenzuela, Anastasis Germanidis en Alejandro Matamala, zocht initieel niet om de camera te vervangen, maar om de editor te ondersteunen.

1.1 De Utilitaire Erfenis: Van “Green Screen” naar Semantisch Begrip

Voor 2023 lag de belangrijkste knelpunt in visuele effecten (VFX) in het rotoscopen. Deze techniek, essentieel voor het isoleren van een acteur of object van de achtergrond om effecten in te voegen of het decor te wijzigen, vereiste historisch handmatige beeld-voor-beeld-interventie. Een grafisch ontwerper moest Bézier-krommen trekken rond de silhouet van een personage, deze krommen aanpassen bij elke beweging, hoe minimaal ook. Het was een kostbaar, traag proces dat gevoelig was voor menselijke fouten.

De introductie van de Green Screen-tool door Runway markeerde een eerste paradigmaverandering. Door gebruik te maken van machinelearningmodellen getraind voor semantische videosegmentatie, bood Runway een aanpak waarbij de gebruiker niet langer wiskundige krommen hoefde te definiëren, maar eenvoudigweg semantisch het object van interesse kon aangeven.

De technische werking van Green Screen was gebaseerd op een innovatieve mens-machine-interactie voor die tijd:

1. Semantische Initialisatie: De gebruiker plaatste enkele klikken op het object dat moest worden uitgeknipt (inclusieklikken) en op zones die moesten worden genegeerd (exclusieklikken) op een keyframe.

2. Temporele Propagatie: Het model gebruikte vervolgens optische stroom en coherentie van visuele kenmerken (kleur, textuur, vorm) om dit masker over de hele videoclip te propageren.

3. Interactieve Verfijning: Als het model het onderwerp verloor (bijvoorbeeld bij occlusie of snelle beweging), kon de gebruiker ingrijpen op een tussenliggend frame om bij te sturen, waarna het model het maskertraject in realtime herberekende.

Deze stap, hoewel niet “generatief” in strikte zin (het creëerde geen nieuwe pixels), was fundamenteel om twee redenen. Ten eerste stelde het Runway in staat om een enorme database op te bouwen over hoe mensen een videoscène segmenteren en begrijpen. Ten tweede bevestigde het de technische architectuur van een realtime webplatform dat zware videostromen kon verwerken, een infrastructuur die cruciaal zou blijken voor de toekomstige implementatie van Gen-modellen.

Resultaat: De “AI-ondersteunde” aanpak reduceerde de rotoscopingtijd van enkele uren tot enkele minuten, waardoor Runway werd gevestigd als een partner van creatives in plaats van een vervanger, een filosofie die op de proef zou worden gesteld met de komst van generatieve modellen.

1.2 Gen-1: Structuur als Anker van Realiteit (Februari 2023)

In februari 2023 onthulde Runway Gen-1, wat officieel de entree markeerde in het tijdperk van neurale videosynthese. Op dat moment was het genereren van statische beelden via modellen als Midjourney of Stable Diffusion al goed gevestigd, maar video bleef een grote uitdaging vanwege de temporele dimensie. Naïeve pogingen om beeldmodellen beeld-voor-beeld toe te passen resulteerden in ondraaglijk flickering, waarbij objecten willekeurig van identiteit of textuur veranderden bij elke seconde.

Gen-1 omzeilde dit probleem door een Video-naar-Video (Video-to-Video) benadering te adopteren. In plaats van het model te vragen om zowel de beweging als het uiterlijk te hallucineren, gebruikte Gen-1 een bestaande video om de “structuur” te leveren (de beweging, diepte, contouren) en genereerde alleen de “stijl” (het uiterlijk, de textuur).

Architectuur en Werkingsmodi

Technisch gezien was Gen-1 gebaseerd op latente diffusiemodellen (Latent Diffusion Models – LDM) die waren aangepast om sterke structurele conditionering te accepteren. Het model leerde de geometrische structuur van de invoervideo te mappen naar de latente ruimte van de uitvoervideo, geleid door een tekstprompt of referentiebeeld.

De modi van Gen-1 illustreren deze scheiding tussen structuur en stijl:

Ontvangst en Prestatie

Gebruikersstudies door Runway toonden een duidelijke voorkeur voor de resultaten van Gen-1:

• 73,53% van de gebruikers prefereerde Gen-1 boven Stable Diffusion 1.5 toegepast beeld-voor-beeld
• 88,24% prefereerde het boven Text2Live

Deze superioriteit was te danken aan de temporele coherentie: Gen-1 “raadde” de beweging niet, maar leende het van de realiteit. Deze afhankelijkheid was echter ook de belangrijkste beperking: je kon niet creëren wat je niet kon filmen of ruwweg van tevoren modelleren.

1.3 Gen-2: De Sprong in het Duister van Tekst-naar-Video (Juni 2023)

De ware conceptuele breuk volgde enkele maanden later, in juni 2023, met de release van Gen-2. Anastasis Germanidis, CTO van Runway, beschreef deze stap als het elimineren van de noodzaak van structurele conditionering. Gen-2 was het eerste commerciële grootschalige consumentenmodel dat Tekst-naar-Video (Text-to-Video) kon realiseren — het genereren van een geanimeerde videosequentie vanuit een eenvoudige zin, zonder enige bronvideo.

De Uitdaging van “Blinde Generatie”

De overgang van Gen-1 naar Gen-2 vereiste het oplossen van een fundamenteel probleem: hoe kan een AI beweging voorstellen? In Gen-1 werd de beweging gegeven. In Gen-2 moest het op een plausibele manier worden gehallucineerd. Het model moest niet alleen begrijpen hoe een “kat” eruitziet, maar hoe een kat beweegt, hoe zijn vacht reageert op veranderend licht, en hoe de virtuele camera hem moet volgen.

De eerste resultaten van Gen-2, hoewel indrukwekkend voor 2023, verraadden de moeilijkheid van de taak:

• Beperkte Duur: De clips waren initieel beperkt tot 4 seconden. Daarboven stortte de coherentie vaak in, waarbij objecten transformeerden in abstracte pap.
• Dromerige Bewegingen: De fysica was vaak “vloeibaar”. Objecten verplaatsten zich niet zozeer als dat ze “vloeiden” van punt A naar punt B.
• Gebrek aan Controle: De gebruiker typte een prompt en hoopte het beste. Er was geen manier om te zeggen “de camera moet een voorwaartse tracking shot maken”.

Ondanks deze gebreken ontlokte Gen-2 een explosie van creativiteit. Het maakte de creatie van virale “AI-trailers” mogelijk (zoals de Wes Anderson-stijl parodieën op films), wat een enorme publieke appetijt demonstreerde voor deze nieuwe vorm van expressie.

Vergelijkingstabel: Gen-1 vs Gen-2

II. De Sora-schok: Analyse van ‘Spacetime Patches’ en de DiT-architectuur

Als 2023 het jaar van experimentatie met Runway was, dan werd het begin van 2024 gekenmerkt door een technologische aardschok. In februari presenteerde OpenAI Sora, een model dat onmiddellijk de state-of-the-art herdefinieerde. Waar Gen-2 korte, wazige clips produceerde, genereerde Sora sequenties van een minuut in hoge definitie (1080p), met meerdere personages, complexe camerabewegingen en een verbijsterende objectpersistentie.

Deze kwaliteitssprong was niet het resultaat van toeval of simpelweg meer rekenkracht, maar het gevolg van een diepgaande architecturale herziening gedocumenteerd in het technische rapport “Video Generation Models as World Simulators”.

2.1 De Unificatie van Data: De Revolutie van ‘Spacetime Patches’

De centrale innovatie van Sora ligt in de manier waarop het visuele data representeert. Eerdere benaderingen behandelden video vaak als een rigide opeenvolging van beelden met vaste grootte (bijv. 256×256 pixels), wat de kwaliteit beperkte en destructieve bijsnijdingen noodzakelijk maakte. Sora daarentegen put directe inspiratie uit Grote Taalmodellen (LLM’s) zoals GPT-4.

Fundamenteel Principe: Net zoals LLM’s tekst in “tokens” (jetons) opdelen, verdeelt Sora video in Spacetime Patches (Spatio-Temporele Patches).

Het Patchificatieproces

1. Spatio-Temporele Latente Compressie: Ruwe video wordt niet pixel voor pixel verwerkt. Het gaat eerst door een Video Compression Network (vergelijkbaar met een VAE) die de dimensionaliteit zowel in de ruimte als in de tijd reduceert.

2. Extractie van Patches: Dit latente volume wordt vervolgens opgedeeld in kleine kubussen. Elke kubus vertegenwoordigt een klein deel van het beeld (ruimte) over een korte tijdsduur (tijd).

3. Linearisatie: Deze kubussen worden afgevlakt tot een lange reeks vectoren, precies zoals een zin een opeenvolging van woorden is.

De Kritieke Voordelen van deze Methode

• Onafhankelijkheid van Resolutie en Ratio: Sora kan trainen op video’s van elke grootte (Widescreen 1920×1080, Verticaal 1080×1920, Vierkant). Het is niet langer nodig om alles bij te snijden naar vierkant.
• Schaalbaarheid: Deze methode maakt het mogelijk om de massale trainingstechnieken van LLM’s toe te passen op video. Hoe meer data en rekenkracht wordt toegevoegd, hoe beter het model wordt, volgens voorspelbare schaalwetten (scaling laws).

2.2 De DiT-architectuur: Wanneer de Transformer de U-Net Vervangt

Zodra de video is getransformeerd in een soep van patches, hoe worden dan nieuwe inhoud gegenereerd? Hier komt de Diffusion Transformer (DiT)-architectuur om de hoek kijken. Historisch gebruikten diffusiemodellen (zoals Stable Diffusion) een architectuur genaamd U-Net voor het denoising-proces. Hoewel effectief voor beelden, kan de U-Net slecht omgaan met de complexe lange-afstandsafhankelijkheden die nodig zijn voor coherente video.

Sora gebruikt een standaard Transformer als backbone (backbone) van diffusie.

Het Mechanisme van Globale Attentie

De kracht van de Transformer ligt in zijn attentie-mechanisme. In een zin maakt het mogelijk om een voornaamwoord te koppelen aan een naam die drie paragrafen eerder werd genoemd. In een video stelt het DiT Sora in staat om een patch aan het begin van de video (t=0s) te koppelen aan een patch aan het einde (t=60s).

Objectpermanentie: Dankzij deze globale attentie “onthoudt” het model objecten. Als een man achter een pilaar loopt, weet het model dat hij aan de andere kant moet verschijnen met dezelfde kleding en hetzelfde gezicht, omdat de patches “voor” en “na” de occlusie zijn verbonden in het attentienetwerk.

2.3 Opkomst van Simulatie en Fysieke Limieten

Het technische rapport van OpenAI doet een gedurfde bewering: door de schaal van de training te vergroten, ontstaan simulatiecapaciteiten spontaan, zonder expliciet te zijn geprogrammeerd.

• Impliciete 3D-coherentie: Sora genereert dynamische camerabewegingen waarbij het perspectief correct verandert (parallax), alsof de scène werkelijk in 3D bestaat.
• Simulatie van Digitale Werelden: Het meest opvallende voorbeeld was Sora’s vermogen om het videospel Minecraft te simuleren. Gevoed met gameplayvideo’s leerde het model niet alleen de graphics te genereren, maar ook de spel-logica.

Echter, Sora (v1) was niet perfect. Het model leed aan opmerkelijke fysieke hallucinaties: een glas dat valt zonder te breken, een persoon die een koekje eet zonder dat het bijtkenmerk verschijnt.

2.4 Sora 2: De Verfijning (September 2025)

In september 2025 lanceerde OpenAI Sora 2. Deze iteratie was gericht op het dichten van de lacunes van de eerste versie:

• Gesynchroniseerde Audio: Gezamenlijke generatie van audio (stapgeluiden, stemmen, ambiance) gesynchroniseerd met de visuele actie.
• Editing en Remix: “Remix”-functies die het mogelijk maakten specifieke elementen te wijzigen zonder alles opnieuw te berekenen.
• Veiligheid en Herkomst: Robuuste C2PA-watermerken en versterkte veiligheidsfilters.

III. Temporele Controle: De Evolutie van Virtuele Camera-tools

Als de beeldkwaliteit van Sora het grote publiek verbluftte, wezen professionals in de beeldsector onmiddellijk op een kritiek probleem: het gebrek aan controle. Het genereren van een mooie willekeurige video is nutteloos voor het vertellen van een precies verhaal. De periode 2024-2026 werd daarom gekenmerkt door een race naar “controleerbaarheid” (controllability).

3.1 Van Loterij naar Sturing: Motion Brush en Director Mode

Aan het begin van het generatieve tijdperk typte de gebruiker een prompt en hoopte dat het resultaat overeenkwam met zijn visie. Dit was het tijdperk van de “gokautomaatbenadering” (slot machine approach). Runway was de eerste die begreep dat AI, om door de industrie te worden geadopteerd, een bestuurbaar gereedschap moest worden.

De Motion Brush (Bewegingspenseel)

Begin 2024 gelanceerd, introduceerde de Motion Brush lokale controle. In plaats van de AI te laten beslissen wat beweegt, kon de gebruiker een zone in het beeld “schilderen” en een richting en intensiteit van beweging definiëren.

Voorbeeld van toepassing: In een statisch shot van een man die naar de zee kijkt, kon een regisseur de man bevriezen (statisch), de golven naar rechts laten bewegen (gemiddelde snelheid) en wolken naar de camera laten komen (langzame snelheid).

De Director Mode (Regisseurmodus)

Voor camerabewegingen introduceerde Runway de Director Mode. Deze tool verving vaag sleutelwoordgebruik (“zoom in”) door precieze parametrisch controle die een fysieke camera simuleert:

• Zoom
• Pan (Panoramisch)
• Tilt (Kantelen)
• Roll (Rollen)

3.2 De Heilige Graal: Consistentie van Personages

De grootste hindernis voor langeverhaalvertelling bleef de inconsistentie van personages. In een traditionele film ziet Brad Pitt eruit als Brad Pitt van het eerste tot het laatste shot. In AI-video’s uit 2023 kon de protagonist van gezicht, kleding of zelfs leeftijd veranderen tussen twee opeenvolgende shots.

Met Gen-4 (maart 2025) maakte Runway “Oneindige Consistentie van Personages” zijn paradepaardje.

Mechanisme van Identiteitsankering: Gen-4 maakte het mogelijk om een enkel referentiebeeld van een personage te importeren. Het model vergrendelde vervolgens de semantische kenmerken van dat gezicht in zijn latente ruimte.

Resultaten: Men kon een sequentie genereren waarin dit personage overging van een nachtscène in de regen naar een dagscène binnenshuis, van emotionele expressie veranderde, terwijl het onmiskenbaar dezelfde persoon bleef.

3.3 Lipsync en Act-Two: Het Einde van Traditionele Mocap?

Gezichtsanimatie en dialoog waren de laatste bastions van complexiteit. De eerste lipsync-tools beperkten zich tot het vervormen van de onderkant van een statisch gezicht om overeen te komen met een audiotrack, wat een onovertuigend “marionetten”-effect creëerde.

Eind 2024 lanceerde Runway Act-Two, een generatieve capture van prestatie (Generative Motion Capture) model dat de animatie-industrie op zijn kop zette.

Het “Driving Video”-Concept: In plaats van dure motion-capture-pakken (Mocap) met reflecterende markers te gebruiken, stelde Act-Two gebruikers in staat om een eenvoudige video van een acteur (gefilmd met een smartphone) te gebruiken om een gegenereerd personage aan te sturen.

Genuanceerde Prestatieoverdracht: Het model legde micro-expressies, oogknippering, hoofdkantelingen en zelfs handgebaren vast. Het transferreerde vervolgens deze “ziel” van de prestatie naar een doelmodel met een emotionele trouw die wedijverde met Hollywood-producties.

Tabel: De Evolutie van Controletools

IV. De Hollywood-impact: Stakingen, Akkoorden en Adoptie

De komst van deze technologieën vond niet plaats in een economisch of sociaal vacuüm. Het botste frontaal met de vakbonds-, juridische en financiële structuren van Hollywood, en ontketende een existentiële crisis voor de creatieve beroepen.

4.1 De Stakingen van 2023: De Eerste Menselijke Verdedigingslinie

Het jaar 2023 zal de boeken ingaan als het jaar van de historische “Dubbele Staking” van scenarioschrijvers (WGA) en acteurs (SAG-AFTRA). Hoewel salarissen en streaming-residuals belangrijke inzetten waren, positioneerde generatieve AI zich als het meest futuristische en angstaanjagende wrijvingspunt.

De Angst voor Vervanging en Digitale Replica’s

• Scenarioschrijvers (WGA): De belangrijkste zorg was dat studio’s LLM’s zouden gebruiken om complete scripts te genereren, waarbij menselijke scenarioschrijvers alleen zouden worden ingehuurd om de door de machine gegenereerde tekst te “polijsten” of “herschrijven”.

• Acteurs (SAG-AFTRA): De dreiging van “Digital Replicas” (Digitale Replica’s) spookte door de onderhandelingen. Acteurs vreesden eenmalig te worden gescand, waarna studio’s hun beeld en stem eeuwig zouden gebruiken.

De Akkoorden van Oktober 2023: Historische Waarborgen

De stakingen eindigden met significante overwinningen voor de vakbonden:

1. AI als Gereedschap, niet als Auteur: De WGA-overeenkomst bepaalt dat AI niet kan worden gecrediteerd als scenarioschrijver. Een studio kan een scenarioschrijver niet dwingen AI te gebruiken.

2. Toestemming en Compensatie voor Replica’s: De SAG-AFTRA-overeenkomst vereist expliciete toestemming van de acteur voor de creatie van elke digitale replica. Het gebruik moet worden vergoed alsof de acteur fysiek heeft gewerkt.

4.2 Het Falen van het “Studio Model”: De Lionsgate-zaak (2024-2025)

In september 2024 kondigde studio Lionsgate een opzienbarend partnership aan met Runway, in de hoop te profiteren van de technologie terwijl het auteursrechtenproblemen zou omzeilen.

De Deal: Lionsgate opende zijn kluis — exclusieve toegang tot hun complete catalogus (John Wick, Hunger Games, Twilight, American Psycho) om een aangepast AI-model te trainen.

Echter, in september 2025 rapporteerden bronnen dit partnership als een “langzaam ontvouwende ramp” (slowly unfolding disaster):

• Het Probleem van “Data Scarcity”: Zelfs de catalogus van een groot studio is onvoldoende om een wereldklasse videomodel te trainen. Modellen zoals Sora leren fysica door miljarden video’s uit het hele internet te verwerken.
• De Juridische Impasse: Als AI een scène genereert zonder significante menselijke interventie, is die scène dan auteursrechtelijk beschermd? Experts neigden naar nee.

4.3 De Stille Succesverhaal: Netflix en Onzichtbare VFX

Als de fantasie van “een complete film genereren” mislukte bij Lionsgate, triomfeerde pragmatische integratie bij Netflix. In 2025 bevestigde het platform het gebruik van generatieve AI voor finale shots in de Argentijnse serie The Eternaut.

De Use Case: Een complexe sequentie van gebouwinstorting en post-apocalyptische omgevingen. Traditioneel zou dit dure fysische simulaties en weken van rendering hebben vereist.

Het Economische Argument: Ted Sarandos, co-CEO van Netflix, beweerde dat het gebruik van AI de sequentie “10 keer sneller” had gerealiseerd en voor een spotprijs.

De ware revolutie: AI vervangt (nog) niet de hoofdrolspelers. Het vervangt texturen, achtergronden, menigten en vernietigingen. Het infiltreert in de “onzichtbare pixels”, die de kijker niet bewust opmerkt, maar die normaal gesproken miljoenen kosten om te produceren.

4.4 Culturele Spanningen: AI en de Toeëigening van Dans

De impact van AI strekte zich ook uit naar de levende kunsten, wat diepgaande ethische vragen opwierp over culturele toeëigening.

Het Geval van de “Bird Dance”: Leden van de Cahuilla-stam hebben pogingen van AI om hun traditionele dans te reproduceren aan de kaak gesteld. Modellen, getraind op YouTube-video’s zonder context, genereerden imitaties die als “oneerbiedig” werden beschouwd en verstoken van de oorspronkelijke spirituele betekenis.

Bedreiging voor Commerciële Dansers: Back-updansers voor popsterren hebben hun angst geuit om te worden vervangen door gegenereerde avatars of hologrammen in clips en concerten.

Conclusie: Naar een Hybride Synthetische Realiteit

De afgelegde trajectorie tussen 2023 en 2026 is duizelingwekkend. In drie jaar zijn we gegaan van wazige 4-seconden clips (Gen-2) naar complexe, geluidsrijke en coherente fysieke simulaties (Sora 2, Gen-4).

Drie Belangrijke Lessen

1. De Overwinning van Simulatie op Animatie: De winnende architecturale benadering (DiT + Spacetime Patches) behandelt video als een wereldsimulatie. De modellen proberen niet langer “beelden te animeren”, ze proberen “fysica te begrijpen”. De General World Models-initiatief van Runway bevestigt dat het uiteindelijke doel niet de film is, maar de creatie van universale simulatoren voor robotica, gaming en virtual reality.

2. Controle is Koning: Rauwe generatiekracht (Sora) is niet voldoende. Het is de controle-interface (Runway Director Mode, Act-Two) die technologie transformeert in een professioneel gereedschap. Het vermogen om AI te dirigeren zoals men een acteur of camera zou dirigeren, was het doorslaggevende adoptiefactor.

3. Industriële Hybriditeit: De apocalyptische angsten voor een volledige vervanging van Hollywood zijn niet gerealiseerd. In plaats daarvan heeft de industrie zich gehybridiseerd. Menselijke acteurs spelen de hoofdrollen (beschermd door SAG-AFTRA), terwijl AI decors, menigten en vernietigingen beheert. AI is geworden het “oneindige penseel” van VFX, waardoor productiekosten worden verlaagd zonder de behoefte aan menselijke artistieke visie te elimineren.

De Vraag van 2027

Aan de vooravond van 2027 is de vraag niet langer “kan AI video creëren?”, maar “welk deel van onze visuele realiteit zal vanaf nu synthetisch zijn?”.

Met de democratisering van tools als Act-Two is de barrière tussen amateur-creator en professionele studio ingestort, wat een nieuw tijdperk van visuele storytelling belooft waarin de enige overblijvende limiet, letterlijk, de verbeelding is.

Gepubliceerd op 28 maart 2026