Od Videa do Modelov Svetov: Evolucija Runway in OpenAI Sora (2023-2026)

Časovno obdobje od leta 2023 do 2026 predstavlja prelomnico v zgodovini računalniške vizualizacije, ki označuje prehod od preproste generacije animiranih slik do kompleksne simulacije fizičnih resničnosti. Ta prehod, ki ga pogosto povzamejo s semantičnim premikom od »Besedilo-v-Video« (Text-to-Video) do »Modelov Svetov« (World Models), predstavlja veliko več kot le izboljšanje ločljivosti ali tekočnosti slik. Označuje nastanek sistemov umetne inteligence, ki so sposobni graditi skladne notranje predstavitve fizike, vzročnosti in časovne dinamike.

To tehnično poročilo ponuja izčrpno kroniko te evolucije, pri čemer se osredotoča na dva akterja, ki sta polarizirala področje raziskovanja in industrijske uporabe: Runway, pionirski zagonski podjetje iz newyorškega umetniškega sveta, in OpenAI, raziskovalni laboratorij z vizijo splošne inteligence. Skozi analizo njihovih tehničnih arhitektur — od modelov latentne difuzije do difuzijskih transformatorjev (DiT) — in njihovih strategij uvajanja bomo preučili, kako so te tehnologije neposredno zadele stoletno industrijo Hollywooda, pri čemer so preoblikovali pojme ustvarjalnosti, dela in vizualne resnice.

I. Umetniški Začetki: Zgodba RunwayML

Da bi razumeli pot generativnega videa, je nujno analizirati njegove korenine. V nasprotju z razširjenim prepričanjem revolucija ni začela z generacijo iz nič, temveč z avtomatizacijo najbolj napornejših nalog tradicionalne postprodukcije. RunwayML, ki sta ga ustanovila Cristóbal Valenzuela, Anastasis Germanidis in Alejandro Matamala, sprva ni poskušal nadomestiti kamere, ampak pomagati montažerju.

1.1 Utilitarno Dediščino: Od »Zelenega Zaslona« do Semantičnega Razumevanja

Pred letom 2023 je bil glavno ozko grlo vizualnih učinkov (VFX) rotoscoping. Ta tehnika, bistvena za izolacijo igralca ali predmeta od ozadja za vstavljanje učinkov ali spreminjanje dekorja, je tradicionalno zahtevala ročno intervencijo sliko za sliko. Grafični oblikovalec je moral risati Bézierjeve krivulje okoli silhuete lika, prilagajajoč te krivulje pri vsakem premiku, naj bo še tako majhen. To je bil drag, počasen proces, nagnjen k človeškim napakam.

Uvedba orodja Green Screen s strani Runway je označila prvo paradigmatično prelomnico. Zanašajoč se na modele strojnega učenja, usposobljene za semantično segmentacijo videa, je Runway ponudil pristop, pri katerem uporabnik ni več potreboval matematično definirati krivulj, temveč je preprosto semantično označil predmet zanimanja.

Tehnično delovanje Green Screena je temeljilo na inovativni interakciji človek-stroj za tisti čas:

1. Semantična Inicializacija: Uporabnik je postavil nekaj klikov na predmet, ki ga je želel izrezati (kliki vključevanja) in na območja, ki jih je želel prezreti (kliki izključevanja) na ključni sliki (keyframe).

2. Časovna Propagacija: Model je nato uporabil optični tok in skladnost vizualnih značilnosti (barva, tekstura, oblika) za propagacijo te maske na celoten videoposnetek.

3. Interaktivno Pohajanje: Če je model izgubil sledenje predmetu (na primer med oclusionjo ali hitrim gibom), se je uporabnik lahko vmešal na vmesnem okvirju, da je popravil strel, pri čemer je model v realnem času preračunal pot maske.

Ta korak, čeprav »generativen« v strogem pomenu besede ni bil (ni ustvarjal novih pikslov), je bil temeljen iz dveh razlogov. Prvič, Runway je omogočil ustvarjanje obsežne zbirke podatkov o tem, kako ljudje izrezujejo in razumejo videoposnetke. Drugič, je potrdil tehnično arhitekturo spletne platforme v realnem času, sposobne obdelovati težke video tokove, infrastruktura, ki se je izkazala kot kritična za prihodnjo uvajanje modelov Gen.

Rezultat: Pristop »pomoč z UI« je skrajšal čas rotoscopinga z več ur na nekaj minut, pri čemer je Runway utrdil kot partner ustvarjalcev namesto nadomestka, filozofija, ki bo preizkušena s prihodom generativnih modelov.

1.2 Gen-1: Struktura kot Sidro Resničnosti (Februar 2023)

Februarja 2023 je Runway razkril Gen-1, ki je uradno označil vstop v dobo nevronske videosinteze. V tem času je bila generacija statičnih slik prek modelov, kot sta Midjourney ali Stable Diffusion, že dobro uveljavljena, a je video ostal velik izziv zaradi časovne dimenzije. Naivni poskusi uporabe slikovnih modelov sliko za sliko so povzročili nevzdržno utripanje (flickering), kjer so se predmeti naključno spreminjali identiteto ali teksturo vsako sekundo.

Gen-1 je zaobil to težavo z vpeljavo pristopa Video-v-Video (Video-to-Video). Namesto da bi modelu zahteval, naj si izmisli tako gibanje kot videz, je Gen-1 uporabil obstoječi videoposnetek za zagotavljanje »strukture« (gibanje, globina, konture) in generiral le »slog« (videz, tekstura).

Arhitektura in Načini Delovanja

Tehnično je Gen-1 temeljil na modelih latentne difuzije (Latent Diffusion Models – LDM), prilagojenih za sprejem močnega strukturnega pogojevanja. Model se je naučil preslikati geometrijsko strukturo vhodnega videa v latentni prostor izhodnega videa, voden z besedilnim pozivom ali referenčno sliko.

Načini Gen-1 ponazarjajo to ločitev med strukturo in slogom:

Sprejem in Učinkovitost

Uporabniške študije, ki jih je izvedel Runway, so pokazale izrazito prednost za rezultate Gen-1:

• 73,53 % uporabnikov je raje izbralo Gen-1 kot Stable Diffusion 1.5, uporabljen sliko za sliko
• 88,24 % ga je raje izbralo kot Text2Live

Ta prednost se je pojasnila s časovno skladnostjo: Gen-1 ni »ugibal« gibanja, temveč si ga je izposodil iz resničnosti. Vendar pa je bila ta odvisnost tudi njegova glavna omejitev: ustvariti ni bilo mogoče tistega, česar ni bilo mogoče predhodno posneti ali grobo modelirati.

1.3 Gen-2: Skok v Praznino Besedilo-v-Video (Junij 2023)

Prava konceptualna prelomnica se je zgodila nekaj mesecev pozneje, junija 2023, z izidom Gen-2. Anastasis Germanidis, CTO Runwayja, je ta korak opisal kot odpravo potrebe po pogojnem strukturiranju. Gen-2 je bil prvi komercialni model za široko javnost, sposoben izvesti Besedilo-v-Video (Text-to-Video), torej generirati animiran videoposnetek iz preproste povedi, brez kateregakoli izvornega videa.

Izziv »Slepe Generacije«

Prehod od Gen-1 do Gen-2 je zahteval rešitev temeljnega problema: kako si lahko UI zamisli gibanje? V Gen-1 je bilo gibanje dano. V Gen-2 je moralo biti na verjeten način halucinirano. Model je moral razumeti ne le to, kako izgleda »mačka«, temveč kako se mačka premika, kako se njeno krzno odziva na spreminjajočo se svetlobo in kako naj jo virtualna kamera sledi.

Prvi rezultati Gen-2, čeprav impresivni za leto 2023, so razkrili težavo naloge:

• Omejena Trajanja: Klipi so bili sprva omejeni na 4 sekunde. Čez to mejo se je skladnost pogosto zrušila, predmeti pa so se spremenili v abstraktno kašo.
• Sanjska Gibanja: Fizika je bila pogosto »tekoča«. Predmeti se niso toliko premikali, kolikor so »tekli« iz točke A v točko B.
• Pomanjkanje Nadzora: Uporabnik je vtipkal poziv in upal na najboljše. Ni bilo načina, da bi rekel »kamera naj naredi tracking naprej«.

Kljub tem pomanjkljivostim je Gen-2 sprožil eksplozijo ustvarjalnosti. Omogočil je ustvarjanje virusnih »Napovednikov UI« (kot parodije filmov v slogu Wesa Andersona), pri čemer je dokazal masivni apetit javnosti po tej novi obliki izražanja.

Primerjalna Tabela: Gen-1 proti Gen-2

II. Soraški Šok: Analiza »Prostorsko-Časovnih Popravkov« in Arhitekture DiT

Če je bilo leto 2023 leto eksperimentiranja z Runwayjem, je bil začetek leta 2024 označen s tehnološkim potresom. Februarja je OpenAI predstavil Soro, model, ki je takoj predefiniral najnovejše stanje. Tam, kjer je Gen-2 proizvajal kratke in megle klipe, je Sora generirala zaporedja dolge minute v visoki ločljivosti (1080p), z več liki, kompleksnimi gibanjemi kamere in osupljivo vztrajnostjo predmetov.

Ta kakovostni skok ni bil plod naključja ali preproste povečanje računske moči, temveč rezultat globoke arhitekturne prenove, dokumentirane v tehničnem poročilu »Modeli za Generacijo Videa kot Simulatorji Svetov«.

2.1 Poenotenje Podatkov: Revolucija »Prostorsko-Časovnih Popravkov«

Osrednja inovacija Sore tiči v njenem načinu predstavljanja vizualnih podatkov. Prejšnji pristopi so video pogosto obravnavali kot togo zaporedje slik fiksne velikosti (npr. 256×256 pik), kar je omejevalo kakovost in zahtevalo uničujoče rezanje. Sora pa se neposredno navdihuje pri Velikih Jezikovnih Modelih (LLM), kot je GPT-4.

Temeljno Načelo: Tako kot LLM razdelijo besedilo na »žetone« (tokens), Sora razdeli video na Prostorsko-Časovne Popravke (Spacetime Patches).

Proces Popravitvenja

1. Prostorsko-Časovna Latentna Kompresija: Surovi video ni obdelan piksel za pikslom. Najprej gre skozi Omrežje za Kompresijo Videa (podobno VAE), ki zmanjša njegovo dimenzionalnost tako v prostoru kot v času.

2. Ekstrakcija Popravkov: Ta latentni volumen je nato razrezan na majhne kocke. Vsaka kocka predstavlja majhen del slike (prostor) na kratko obdobje (čas).

3. Linearizacija: Te kocke so sploščene v dolgo zaporedje vektorjev, natanko tako kot je poved zaporedje besed.

Ključne Prednosti te Metode

• Neodvisnost od Ločljivosti in Razmerja: Sora se lahko usposablja na videih poljubne velikosti (Widescreen 1920×1080, Vertikalni 1080×1920, Kvadrat). Ni več potrebe po rezkanju vsega v kvadrat.
• Skalabilnost: Ta metoda omogoča uporabo tehnik masovnega usposabljanja LLM na video. Več podatkov in računanja dodamo, boljši postane model, pri čemer sledi predvidljivim zakonom skaliranja (scaling laws).

2.2 Arhitektura DiT: Ko Transformator Nadomesti U-Net

Ko je video preoblikovan v juho popravkov, kako generirati nove vsebine? Tu pride na vrsto arhitektura Difuzijskega Transformatorja (DiT). Zgodovinsko so modeli difuzije (kot Stable Diffusion) uporabljali arhitekturo, imenovano U-Net, za proces odšumevanja. Čeprav učinkovita za slike, U-Net slabo obvladuje kompleksne dolgoročne odvisnosti, potrebne za skladen video.

Sora uporablja standardni Transformator kot hrbtenico (backbone) difuzije.

Mehanizem Globalne Pozornosti

Moč Transformatorja tiči v njegovem mehanizmu pozornosti. V povedi omogoča povezovanje zaimka z imenom, omenjenim tri odstavke prej. V videu DiT Sori omogoča povezovanje popravka na začetku videa (t=0s) s popravkom na koncu (t=60s).

Vztrajnost Predmeta: Zahvaljujoč tej globalni pozornosti, se model »spomni« predmetov. Če moški preide za stebrom, model ve, da mora priti ven na drugi strani z enakim oblečilom in obrazom, ker so popravki »pred« in »po« oclusionji povezani v omrežju pozornosti.

2.3 Pojav Simulacije in Fizične Omejitve

Tehnično poročilo OpenAI postavlja drzno trditev: z povečanjem obsega usposabljanja se sposobnosti simulacije pojavijo spontano, brez da bi bile eksplicitno programirane.

• Implicitna 3D Skladnost: Sora generira dinamična gibanja kamere, pri katerih se perspektiva pravilno spreminja (paralaksa), kot da bi scena resnično obstajala v 3D.
• Simulacija Digitalnih Svetov: Najbolj osupljiv primer je bila Soraina sposobnost simulacije videoigre Minecraft. Nahranjena z videoposnetki igranja se je model naučil generirati ne le grafiko, temveč tudi logiko igre.

Vendar pa Sora (v1) ni bila popolna. Model je trpel zaradi opaznih fizičnih halucinacij: kozarec, ki pade, ne razbije se, oseba, ki poje piškot, ne pusti sleda ugrizov.

2.4 Sora 2: Izpopolnitev (September 2025)

Septembra 2025 je OpenAI predstavil Soro 2. Ta iteracija je ciljala na zapolnitev vrzeli prve različice:

• Sinhronizirani Zvok: Skupna generacija zvoka (koraki, glasovi, ambienti), sinhroniziranega z vizualnim dejanjem.
• Urejanje in Remix: Funkcije »Remix«, ki omogočajo spreminjanje določenih elementov brez ponovnega računanja vsega.
• Varnost in Provenienca: Robustni C2PA vodni žigi in okrepljeni varnostni filtri.

III. Časovni Nadzor: Evolucija Orodij za Virtualno Kamero

Če je kakovost slike Sore očarala širšo javnost, so strokovnjaki s področja slike takoj izpostavili kritičen problem: pomanjkanje nadzora. Generirati naključen lep video je neuporabno za pripovedovanje natančne zgodbe. Obdobje 2024-2026 je bilo zato zaznamovano z noro dirko proti »nadzorljivosti« (controllability).

3.1 Od Loterije do Pilotiranja: Motion Brush in Director Mode

Na začetku generativne dobe je uporabnik vtipkal poziv in upal, da bo rezultat ustrezal njegovi viziji. To je bila doba »avtomata za igranje na srečo« (slot machine approach). Runway je bil prvi, ki je razumel, da mora biti UI, da bi jo industrija sprejela, orodje, ki ga je mogoče voditi.

Motion Brush (Pincel za Gibanje)

Predstavljen na začetku leta 2024, je Motion Brush uvedel lokalni nadzor. Namesto da bi pustil UI odločati, kaj se premika, je lahko uporabnik »pobarval« območje slike in določil smer ter intenziteto gibanja.

Primer Uporabe: V fiksni kadru moškega, ki gleda morje, je lahko režiser zamrznil moškega (nepremičen), premaknil valove proti desni (srednja hitrost) in pomaknil oblake proti kameri (počasna hitrost).

Director Mode (Način Režiserja)

Za gibanja kamere je Runway predstavil Director Mode. To orodje je zamenjalo nejasne ključne besede (»zoom in«) s natančnimi parametričnimi kontrolami, ki simulirajo fizično kamero:

• Zoom
• Pan (Panoramiranje)
• Tilt (Nagib)
• Roll (Valjanje)

3.2 Sveti Grál: Skladnost Likov

Največja ovira za dolgotrajno pripovedovanje je ostala nenavadnost likov. V tradicionalnem filmu Brad Pitt izgleda kot Brad Pitt od prvega do zadnjega kadra. V videih UI iz leta 2023 se je protagonist lahko spremenil v obraz, obleko ali celo starost med dvema zaporednima kadroma.

S Gen-4 (Marec 2025) je Runway naredil »Neskončno Skladnost Likov« za svojo paradno konjo.

Mehanizem Sidranja Identitete: Gen-4 je omogočal uvoz ene same referenčne slike lika. Model je nato zaklenil semantične značilnosti tega obraza v svojem latentnem prostoru.

Rezultati: Lahko se je generiralo zaporedje, kjer je ta lik prešel iz nočne scene v dežju v dnevno sceno v notranjosti, spremenil čustveni izraz, pri čemer je ostal nedvomno ista oseba.

3.3 Lipsync in Act-Two: Konec Tradicionalne Mocap?

Animacija obraza in dialog sta bila zadnja trdnjava kompleksnosti. Prva orodja za lipsync so se zadovoljila z deformacijo spodnjega dela obraza na fiksni sliki, da bi ustrezala avdio sledi, pri čemer so ustvarjala neprepričljiv »marionetni« učinek.

Konec leta 2024 je Runway predstavil Act-Two, model generativnega zajema gibanja (Generative Motion Capture), ki je pretresel industrijo animacije.

Koncept »Vozilnega Videa«: Namesto uporabe dragih kombinezonov za zajem gibanja (Mocap) z odbojnimi markerji, Act-Two omogoča uporabo preprostega videa igralca (posnetega s pametnim telefonom) za vodenje generiranega lika.

Niansiran Prenos Performanse: Model je zajel mikro-izraze, gube oči, nagibe glave in celo gestikulacijo rok. Nato je to »dušo« performanse prenesel na ciljni model s čustveno zvestobo, ki se je kosala s hollywoodskimi produkcijami.

Tabela: Evolucija Orodij za Nadzor

IV. Hollywoodski Vpliv: Stavke, Sporazumi in Sprejetje

Prihod teh tehnologij se ni zgodil v gospodarskem ali družbenem vakuumu. Neposredno je zadel strukture sindikatov, pravne in finančne strukture Hollywooda, pri čemer je sprožil eksistencialno krizo za poklice ustvarjanja.

4.1 Stavke leta 2023: Prva Človeška Obrambna Linija

Leto 2023 bo ostalo zapisano kot leto zgodovinske »Dojne Stavke« scenaristov (WGA) in igralcev (SAG-AFTRA). Čeprav so bili plače in ostanki pretoka glavni izzivi, se je generativna UI vzpostavila kot najbolj futuristična in najbolj anksiozna točka trenja.

Strah Pred Zamenjavo in Digitalnimi Replikami

• Scenaristi (WGA): Glavna skrb je bila, da bodo studii uporabljali LLM za generiranje celotnih scenarijev, pri čemer bodo zaposlovali le človeške scenariste za »lešenarjenje« ali »prepisovanje« besedila, generiranega s strojem.

• Igralci (SAG-AFTRA): Spekter »Digitalnih Replik« (Digital Replicas) je obsedal pogajanja. Igralci so se bali, da bodo optično prebrani enkrat in da bodo studii nato uporabljali njihovo podobo in glas v večnosti.

Sporazumi iz Oktobra 2023: Zgodovinske Varovalke

Stavke so se končale z znatnimi zmagami sindikatov:

1. UI kot Orodje, ne kot Avtor: Sporazum WGA določa, da UI ne more biti pripisan kot scenarist. Studio ne more prisiliti scenarista, da uporablja UI.

2. Soglasje in Nadomestilo za Replike: Sporazum SAG-AFTRA zahteva izrecno soglasje igralca za ustvarjanje katerekoli digitalne replike. Uporaba mora biti nagrajena, kot da bi igralec fizično delal.

4.2 Neuspeh »Studijskega Modela«: Primer Lionsgate (2024-2025)

Septembra 2024 je studio Lionsgate napovedal odmevno partnerstvo z Runwayjem, pri čemer je upal, da bo izkoristil tehnologijo in obšel težave z avtorskimi pravicami.

Pogodba: Lionsgate je odprl svoj trezor — ekskluziven dostop do celotnega kataloga (John Wick, Igre Lakote, Somrak, Ameriški Psiho) za usposabljanje prilagojenega modela UI.

Vendar pa so poročila iz septembra 2025 to partnerstvo označila kot »počasi razvijajočo se katastrofo« (slowly unfolding disaster):

• Problem »Pomanjkanja Podatkov«: Tudi katalog velikega studia je nezadosten za usposabljanje modela videa svetovnega razreda. Modeli, kot je Sora, se fizike učijo z vnemo milijard videov z vsega interneta.
• Pravna Slepa Ulica: Če UI generira sceno brez pomembne človeške intervencije, ali je ta scena zaščitena z avtorskimi pravicami? Strokovnjaki so nagnjeni k »ne«.

4.3 Tiha Uspešnica: Netflix in Nevidni VFX

Če je fantazija o »generiranju celotnega filma« spodletela pri Lionsgateu, je pragmatična integracija zmagala pri Netflixu. Leta 2025 je platforma potrdila uporabo generativne UI za končne kadre v argentinski seriji The Eternaut.

Primer Uporabe: Kompleksno zaporedje podiranja stavbe in postapokaliptičnih okolij. Tradicionalno bi to zahtevalo drage fizične simulacije in tedne izrisa.

Ekonomski Argument: Ted Sarandos, soizvršni direktor Netflixa, je trdil, da je uporaba UI omogočila izvedbo zaporedja »10-krat hitreje« in za zanemarljive stroške.

Prava Revolucija: UI (še) ne nadomešča glavnih igralcev. Nadomešča teksture, ozadja, množice in uničenja. Vdira v »nevidne piksle«, tiste, ki jih gledalec zavestno ne opazi, ki pa običajno stanejo milijone za proizvodnjo.

4.4 Kulturne Napetosti: UI in Prisvajanje Plesa

Vpliv UI se je razširil tudi na uprizoritvene umetnosti, pri čemer je sprožil globoka etična vprašanja o kulturnem prisvajanju.

Primer »Ptičjega Plesa«: Člani plemena Cahuilla so obsodili poskuse UI, da bi reproducirala njihov tradicionalni ples. Modeli, usposobljeni na videih YouTube brez konteksta, so generirali imitacije, ki so bile označene kot »nespoštljive« in brez izvornega duhovnega pomena.

Grožnja Komercialnim Plesalcem: Plesalci v ozadju za pop zvezde so izrazili strah, da bodo nadomeščeni z generiranimi avatarji ali hologrami v videospotih in koncertih.

Zaključek: Proti Hibridni Sintetični Resničnosti

Pot, ki smo jo prehodili med letoma 2023 in 2026, je omotična. V treh letih smo prešli od meglenih videov dolgih 4 sekunde (Gen-2) do kompleksnih fizičnih, zvočnih in skladnih simulacij (Sora 2, Gen-4).

Tri Glavne Učence

1. Zmaga Simulacije nad Animacijo: Zmagovalni arhitekturni pristop (DiT + Prostorsko-Časovni Popravki) obravnava video kot simulacijo sveta. Modeli ne poskušajo več »animirati slik«, poskušajo »razumeti fiziko«. Pobuda Splošni Modeli Svetov Runwayja potrjuje, da končni cilj ni film, temveč ustvarjanje univerzalnih simulatorjev za robotiko, videoigre in virtualno resničnost.

2. Nadzor je Kralj: Suha generacijska moč (Sora) ni dovolj. Vmesnik za nadzor (Runway Director Mode, Act-Two) je tisti, ki tehnologijo spremeni v profesionalno orodje. Sposobnost vodenja UI, kot bi vodil igralca ali kamero, je bil odločilni dejavnik sprejetja.

3. Industrijska Hibridnost: Apokaliptične strahove pred popolno zamenjavo Hollywooda se ni uresničilo. Namesto tega se je industrija hibridizirala. Človeški igralci igrajo glavne vloge (zaščiteni s strani SAG-AFTRA), medtem ko UI upravlja dekorje, množice in uničenja. UI je postala »neskončen čopič« VFX, pri čemer je zmanjšala stroške produkcije, ne da bi odpravila potrebo po človeški umetniški viziji.

Vprašanje leta 2027

Ob pragu leta 2027 vprašanje ni več »Ali lahko UI ustvari video?«, temveč »Kakšen delež naše vizualne resničnosti bo od zdaj naprej sintetičen?«.

S demokratizacijo orodij, kot je Act-Two, se je pregrada med amaterskim ustvarjalcem in profesionalnim studijem porušila, pri čemer obeta novo dobo vizualnega pripovedovanja, kjer je edina preostala omejitev, dobesedno, domišljija.

Objavljeno 28. marca 2026