Od Videa do Svjetskog Modela: Evolucija Runwayja i OpenAI Sore (2023-2026)

Vremenski interval koji se proteže od 2023. do 2026. godine predstavlja prekretnicu u povijesti vizualnog računarstva, označavajući prijelaz od jednostavne generacije animiranih slika do složene simulacije fizičkih stvarnosti. Ovaj prijelaz, često sažet semantičkim pomakom od “Tekst-u-Video” (Text-to-Video) do “Svjetskih Modela” (World Models), predstavlja mnogo više od poboljšanja rezolucije ili fluidnosti slika. On signalizira pojav sustava umjetne inteligencije sposobnih graditi koherentne unutarnje reprezentacije fizike, uzročnosti i vremenske dinamike.

Ovo tehničko izvješće nudi sveobuhvatnu kroniku ove evolucije, usredotočujući se na dva aktera koji su polarizirali područje istraživanja i industrijske primjene: Runway, pionirski startup iz umjetničkog svijeta njujorškog miljea, i OpenAI, istraživački laboratorij koji cilja opću inteligenciju. Kroz analizu njihovih tehničkih arhitektura — od latentnih modela difuzije do transformatora difuzije (DiT) — i njihovih strategija implementacije, istražit ćemo kako su ove tehnologije punom snagom udarile u stogodišnju industriju Hollywooda, redefinirajući pojmove kreativnosti, rada i vizualne istine.

I. Umjetnički Počeci: Priča o RunwayML-u

Da bismo razumjeli putanju generativnog videa, imperativ je analizirati njegove korijene. Suprotno rasprostranjenom mišljenju, revolucija nije započela generacijom ex nihilo, već automatizacijom najnapornijih zadataka tradicionalne postprodukcije. RunwayML, osnovan od strane Cristóbala Valenzuele, Anastasisa Germanidisa i Alejandra Matamale, početno nije nastojao zamijeniti kameru, već pomoći montažeru.

1.1 Utilitarna Baština: Od “Green Screena” do Semantičkog Razumijevanja

Prije 2023. godine, glavno usko grlo vizualnih efekata (VFX) ležalo je u rotoskopiranju. Ova tehnika, ključna za izolaciju glumca ili predmeta od pozadine kako bi se umetnuli efekti ili promijenio dekor, tradicionalno je zahtijevala ručnu intervenciju sličicu po sličicu. Grafički dizajner morao je crtati Bezierove krivulje oko siluete lika, prilagođavajući te krivulje kod svakog pokreta, bez obzira koliko mali bio. To je bio proces skup, spor i podložan ljudskoj pogrešci.

Uvođenje alata Green Screen od strane Runwayja označilo je prvu paradigmatičku prijelomnicu. Oslanjajući se na modele strojnog učenja trenirane za semantičku segmentaciju videa, Runway je predložio pristup u kojem korisnik više nije trebao matematički definirati krivulje, već jednostavno semantički označiti predmet interesa.

Tehnički rad Green Screena počivao je na inovativnoj interakciji čovjek-stroj za to doba:

1. Semantička Inicijalizacija: Korisnik bi postavio nekoliko klikova na predmet koji treba odvojiti (klikovi uključenja) i na zone koje treba ignorirati (klikovi isključenja) na ključnoj sličici (keyframe).

2. Vremenska Propagacija: Model bi zatim koristio optički tok i koherenciju vizualnih značajki (boja, tekstura, oblik) kako bi propagirao tu masku na cijeli video klip.

3. Interaktivno Poboljšanje: Ako bi model izgubio subjekt (na primjer kod okluzije ili brzog pokreta), korisnik bi mogao intervenirati na međusličici kako bi ispravio pogrešku, a model bi zatim u stvarnom vremenu preračunao putanju maske.

Ovaj korak, iako ne “generativan” u strogom smislu (nije stvarao nove piksele), bio je temeljan iz dva razloga. Prvo, omogućio je Runwayju da izgradi masivnu bazu podataka o tome kako ljudi režu i razumiju video scenu. Drugo, potvrdio je tehničku arhitekturu web platforme u stvarnom vremenu sposobne obraditi velike video tokove, infrastruktura koja će se pokazati ključnom za buduću implementaciju Gen modela.

Rezultat: Pristup “pomognut UI-jem” smanjio je vrijeme rotoskopiranja s nekoliko sati na nekoliko minuta, učvrstivši Runway kao partner kreativaca radije nego zamjenu, filozofija koja će biti testirana dolaskom generativnih modela.

1.2 Gen-1: Struktura kao Sidro Stvarnosti (Veljača 2023.)

U veljači 2023., Runway je otkrio Gen-1, službeno označivši ulazak u eru neuronske sinteze videa. U to vrijeme, generacija statičkih slika putem modela poput Midjourneya ili Stable Diffusiona već je bila dobro uspostavljena, ali video je ostao veliki izazov zbog vremenske dimenzije. Naivni pokušaji primjene modela za slike sličicu po sličicu rezultirali su nepodnošljivim treperenjem (flickering), gdje bi se predmeti slučajno mijenjali u identitetu ili teksturi svake sekunde.

Gen-1 je zaobišao ovaj problem usvajajući pristup Video-u-Video (Video-to-Video). Umjesto da modelu traži da halucinira i pokret i izgled, Gen-1 je koristio postojeći video kako bi pružio “strukturu” (pokret, dubina, konture) i generirao samo “stil” (izgled, tekstura).

Arhitektura i Načini Rada

Tehnički, Gen-1 se temeljio na latentnim modelima difuzije (Latent Diffusion Models – LDM) modificiranim za prihvaćanje jakog strukturnog uvjetovanja. Model je učio preslikavati geometrijsku strukturu ulaznog videa u latentni prostor izlaznog videa, vođen tekstualnom uputom ili referentnom slikom.

Gen-1 načini ilustriraju ovu separaciju između strukture i stila:

Prijem i Performansa

Korisničke studije koje je proveo Runway pokazale su izraženu preferenciju za rezultate Gen-1:

• 73,53 % korisnika preferiralo je Gen-1 u odnosu na Stable Diffusion 1.5 primijenjen sličicu po sličicu
• 88,24 % preferiralo ga je u odnosu na Text2Live

Ova superiornost objašnjavala se vremenskom koherencijom: Gen-1 nije “nagađao” pokret, već ga je posuđivao iz stvarnosti. Međutim, ta ovisnost bila je i njegovo glavno ograničenje: nije se moglo stvoriti ono što se nije moglo snimiti ili grubo modelirati unaprijed.

1.3 Gen-2: Skok u Prazninu Tekst-u-Video (Lipanj 2023.)

Prava konceptualna prijelomnica dogodila se nekoliko mjeseci kasnije, u lipnju 2023., izlaskom Gen-2. Anastasis Germanidis, CTO Runwayja, opisao je ovaj korak kao uklanjanje potrebe za uvjetovanom strukturom. Gen-2 bio je prvi komercijalni model široke potrošnje sposoban za Tekst-u-Video (Text-to-Video), odnosno generiranje animirane video sekvence iz jednostavne rečenice, bez ikakvog izvornog videa.

Izazov “Slijepe Generacije”

Prijelaz s Gen-1 na Gen-2 zahtijevao je rješavanje temeljnog problema: kako UI može zamisliti pokret? U Gen-1, pokret je bio dan. U Gen-2, morao je biti uvjerljivo haluciniran. Model je morao razumjeti ne samo kako izgleda “mačka”, već kako se mačka kreće, kako joj se krzno reagira na mijenjajuće svjetlo, i kako bi je virtualna kamera trebala pratiti.

Prvi rezultati Gen-2, iako impresivni za 2023., odavali su težinu zadatka:

• Ograničeno Trajanje: Klipovi su početno bili ograničeni na 4 sekunde. Dalje, koherencija bi se često urušila, a predmeti bi se pretvorili u apstraktnu kašu.
• Onirički Pokreti: Fizika je često bila “tekuća”. Predmeti se nisu toliko kretali koliko bi “tekli” iz točke A u točku B.
• Nedostatak Kontrole: Korisnik bi upisao uputu i nadao se najboljem. Nije bilo načina reći “kamera mora raditi travelling prema naprijed”.

Unatoč ovim nedostacima, Gen-2 je pokrenuo kreativnu eksploziju. Omogućio je stvaranje virusnih “UI najava za filmove” (kao što su parodije na filmove u stilu Wesa Andersona), demonstrirajući masovni apetit publike za ovim novim oblikom izražavanja.

Usporedna Tablica: Gen-1 vs Gen-2

II. Sora Šok: Analiza “Prostorno-Vremenskih Zakrpa” i DiT Arhitekture

Ako je 2023. bila godina eksperimentiranja s Runwayjem, početak 2024. obilježio je tehnološki potres. U veljači, OpenAI je predstavio Soru, model koji je trenutno redefinirao vrhunac tehnologije. Dok je Gen-2 proizvodio kratke i mutne klipove, Sora je generirao sekvence od minute u visokoj rezoluciji (1080p), s više likova, složenim pokretima kamere i zapanjujućom perzistencijom predmeta.

Ovaj kvalitativni skok nije bio plod slučaja ili jednostavnog povećanja računalne snage, već rezultat duboke arhitektonske prepravke dokumentirane u tehničkom izvješću “Modeli Generacije Videa kao Simulatori Svijeta”.

2.1 Unifikacija Podataka: Revolucija “Prostorno-Vremenskih Zakrpa”

Centralna inovacija Sore leži u načinu na koji predstavlja vizualne podatke. Prethodni pristupi često su tretirali video kao krutu sekvencu slika fiksne veličine (npr. 256×256 piksela), što je ograničavalo kvalitetu i nametalo destruktivno rezanje. Sora, naprotiv, izravno se inspirira Velikim Jezičnim Modelima (LLM) poput GPT-4.

Temeljno načelo: Baš kao što LLM-ovi režu tekst u “tokene” (jetone), Sora reže video u Prostorno-Vremenske Zakrpe (Spacetime Patches).

Proces Zakrpljivanja

1. Prostorno-Vremenska Latentna Kompresija: Sirovi video ne obrađuje se piksel po piksel. Prvo prolazi kroz Video Compression Network (sličan VAE-u) koji smanjuje njegovu dimenzionalnost u prostoru i vremenu.

2. Ekstrakcija Zakrpa: Ovaj latentni volumen zatim se reže u male kocke. Svaka kocka predstavlja mali dio slike (prostora) na kratkom trajanju (vremena).

3. Linearizacija: Ove kocke se spljoštavaju u dugu sekvencu vektora, točno kao što je rečenica slijed riječi.

Kritičke Prednosti ove Metode

• Neovisnost o Rezoluciji i Omjeru: Sora se može trenirati na videima bilo koje veličine (Widescreen 1920×1080, Vertikalni 1080×1920, Kvadrat). Više nije potrebno sve rezati na kvadrat.
• Skalabilnost: Ova metoda omogućuje primjenu masovnih tehnika treninga LLM-ova na video. Što se više doda podataka i računanja, model se poboljšava, slijedeći predvidive zakone skaliranja (scaling laws).

2.2 DiT Arhitektura: Kada Transformer Zamjenjuje U-Net

Nakon što je video pretvoren u juhu zakrpa, kako generirati novi sadržaj? Ovdje uključuje arhitektura Diffusion Transformer (DiT). Povijesno, modeli difuzije (poput Stable Diffusiona) koristili su arhitekturu zvanu U-Net za proces uklanjanja šuma. Iako učinkovita za slike, U-Net loše upravlja složenim dugačkim ovisnostima potrebnim za koherentan video.

Sora koristi standardni Transformer kao okosnicu (backbone) difuzije.

Mehanizam Globalne Pažnje

Snaga Transformera leži u njegovom mehanizmu pažnje. U rečenici, omogućuje povezivanje zamjenice s imenom citiranim tri odlomka ranije. U videu, DiT omogućuje Sori povezati zakrpu na početku videa (t=0s) sa zakrpom na kraju (t=60s).

Perzistencija Predmeta: Zahvaljujući ovoj globalnoj pažnji, model “se sjeća” predmeta. Ako čovjek prođe iza stupa, model zna da mora izaći s druge strane s istom odjećom i istim licem, jer su zakrpe “prije” i “poslije” okluzije povezane u mreži pažnje.

2.3 Pojava Simulacije i Fizička Ograničenja

Tehničko izvješće OpenAI-a sadrži hrabru tvrdnju: povećanjem razmjere treninga, sposobnosti simulacije spontano se pojavljuju, bez eksplicitnog programiranja.

• Implicitna 3D Koherencija: Sora generira dinamičke pokrete kamere gdje se perspektiva ispravno mijenja (paralaksa), kao da scena stvarno postoji u 3D-u.
• Simulacija Digitalnih Svjetova: Najupečatljiviji primjer bila je sposobnost Sore da simulira videoigru Minecraft. Hranjen videozapisima igranja, model je naučio generirati ne samo grafiku, već i logiku igre.

Međutim, Sora (v1) nije bila savršena. Model je patio od znatnih fizičkih halucinacija: čaša koja pada bez razbijanja, osoba koja jede keks bez pojave odsjeda ugriza.

2.4 Sora 2: Poboljšanje (Rujan 2025.)

U rujnu 2025., OpenAI je lansirao Soru 2. Ova iteracija ciljala je popuniti praznine prve verzije:

• Sinkronizirani Audio: Zajednička generacija zvuka (koraci, glasovi, atmosfere) sinkronizirana s vizualnom radnjom.
• Uređivanje i Remix: Funkcionalnosti “Remixa” omogućujući izmjenu specifičnih elemenata bez ponovnog računanja svega.
• Sigurnost i Podrijetlo: Robusni C2PA vodeni žigovi i pojačani sigurnosni filtri.

III. Vremenska Kontrola: Evolucija Alata za Virtualnu Kameru

Ako je kvaliteta slike Sore očarala širu javnost, profesionalci slike odmah su podigli kritičan problem: nedostatak kontrole. Generirati lijep slučajni video beskorisno je za precizno pripovijedanje priče. Razdoblje 2024.-2026. stoga je obilježilo bijeg prema “kontrolabilnosti” (controllability).

3.1 Od Lutrije do Upravljanja: Motion Brush i Director Mode

Na početku generativne ere, korisnik je upisivao uputu i nadao se da će rezultat odgovarati njegovoj viziji. To je bilo doba “automa za sreću” (slot machine approach). Runway je bio prvi koji je shvatio da bi UI morala postati upravljivo sredstvo kako bi je industrija prihvatila.

Motion Brush (Četka za Pokret)

Lansiran početkom 2024., Motion Brush uveo je lokalnu kontrolu. Umjesto da UI odlučuje što se miče, korisnik je mogao “pokrpati” zonu slike i definirati smjer i intenzitet pokreta.

Primjena: U fiksnom planu čovjeka koji gleda more, redatelj bi mogao učiniti čovjeka nepomičnim, pomaknuti valove udesno (srednja brzina) i pomicati oblake prema kameri (spora brzina).

Director Mode (Način Redatelja)

Za pokrete kamere, Runway je uveo Director Mode. Ovaj alat zamijenio je vagane ključne riječi (“zoom in”) preciznim parametarskim kontrolama koje simuliraju fizičku kameru:

• Zoom
• Pan (Panoramiranje)
• Tilt (Nagib)
• Roll (Valjanje)

3.2 Sveti Gral: Koherencija Likova

Najveća prepreka pripovijedanju dugog trajanja ostala je nekonstantnost likova. U tradicionalnom filmu, Brad Pitt izgleda kao Brad Pitt od prvog do posljednjeg plana. U UI videu iz 2023., protagonist bi mogao promijeniti lice, odjeću, pa čak i dob, između dva uzastopna plana.

Sa Gen-4 (Ožujak 2025.), Runway je učinio “Beskonačnu Koherenciju Likova” svojim glavnim adutom.

Mehanizam Sidrenja Identiteta: Gen-4 omogućavao je uvoz jedne referentne slike lika. Model bi tada zaključao semantičke karakteristike tog lica u svom latentnom prostoru.

Rezultati: Mogla se generirati sekvencija gdje ovaj lik prelazi iz noćne scene na kiši u dnevnu scenu u interijeru, mijenja emocionalni izraz, a da ostaje nedvojbeno ista osoba.

3.3 Lipsync i Act-Two: Kraj Tradicionalne Mocap-a?

Facijalna animacija i dijalog bili su posljednji bastioni složenosti. Prvi alati za lipsync zadovoljavali su se deformiranjem donjeg dijela lica na fiksnoj slici kako bi odgovarali audio traci, stvarajući neuvjerljiv efekt “marionete”.

Krajem 2024., Runway je lansirao Act-Two, model generativne pohvale pokreta (Generative Motion Capture) koji je potresao industriju animacije.

Koncept “Driving Video”: Umjesto korištenja skupih odijela za pohranu pokreta (Mocap) s reflektirajućim markerima, Act-Two je omogućavao korištenje jednostavnog videa glumca (snimljenog pametnim telefonom) za upravljanje generiranim likom.

Nijansirani Prijenos Performanse: Model je hvatao mikro-ekspresije, namrgđivanje očiju, nagibe glave i čak pokrete ruku. Zatim bi prenosio ovu “dušu” performanse na ciljani model s emotivnom vjernošću koja se mogla mjeriti s hollywoodskim produkcijama.

Tablica: Evolucija Alata za Kontrolu

IV. Hollywoodski Utjecaj: Štrajkovi, Sporazumi i Usvajanje

Dolazak ovih tehnologija nije se dogodio u ekonomskom ili društvenom vakuumu. Usmjerio je punom snagom u stogodišnje sindikalne, pravne i financijske strukture Hollywooda, pokrenuvši egzistencijalnu krizu za kreativna zanimanja.

4.1 Štrajkovi 2023.: Prva Linija Ljudske Obrane

Godina 2023. zapamtit će se kao godina “Dvostrukog Štrajka” povijesnih scenarista (WGA) i glumaca (SAG-AFTRA). Iako su plaće i ostaci streaminga bili glavne točke, generativna UI nametnula se kao najfuturističkija i najanksioznija točka trenja.

Strah od Zamjene i Digitalnih Replika

• Scenaristi (WGA): Glavna bojazan bila je da će studiji koristiti LLM-ove za generiranje cjelovitih scenarija, ponovno zapošljavajući ljudske scenariste samo za “poliranje” ili “preradu” teksta generiranog strojem.

• Glumci (SAG-AFTRA): Spektar “Digitalnih Replika” (Digital Replicas) proganjao je pregovore. Glumci su se bojali da će biti skenirani samo jednom, a studiji će zatim koristiti njihovu sliku i glas zauvijek.

Sporazumi iz Listopada 2023.: Povijesna Zaštita

Štrajkovi su rezultirali značajnim pobjedama sindikata:

1. UI kao Alat, ne Autor: WGA sporazum propisuje da UI ne može biti zaslivan kao scenarist. Studio ne može prisiliti scenarista da koristi UI.

2. Pristanak i Naknada za Replike: SAG-AFTRA sporazum zahtijeva eksplicitni pristanak glumca za stvaranje bilo koje digitalne replike. Korištenje mora biti plaćeno kao da je glumac fizički radio.

4.2 Neuspjeh “Studijskog Modela”: Slučaj Lionsgate (2024-2025.)

U rujnu 2024., studio Lionsgate objavio je odjekarajuće partnerstvo s Runwayjem, nadajući se kapitalizaciji tehnologije dok se zaobilaze problemi autorskih prava.

Posao: Lionsgate je otvorio svoj trezor — ekskluzivni pristup njihovom cjelokupnom katalogu (John Wick, Hunger Games, Twilight, American Psycho) za trening prilagođenog UI modela.

Međutim, u rujnu 2025., izvješća su označila ovo partnerstvo kao “sporu katastrofu” (slowly unfolding disaster):

• Problem “Oskudice Podataka”: Čak i katalog velikog studija nedovoljan je za trening vrhunskog video modela. Modeli poput Sore uče fiziku gutajući milijarde videa s cijelog interneta.
• Pravna Slijepa Ulica: Ako UI generira scenu bez značajne ljudske intervencije, je li ta scena zaštićena autorskim pravom? Stručnjaci su naginjali negativnom odgovoru.

4.3 Tiha Pobjeda: Netflix i Nevidljivi VFX

Ako je fantazija o “generiranju cjelovitog filma” propala kod Lionsgatea, pragmatična integracija trijumfirala je kod Netflixa. Godine 2025., platforma je potvrdila korištenje generativne UI za konačne planove u argentinskoj seriji The Eternaut.

Slučaj Primjene: Složena sekvencija urušavanja zgrade i post-apokaliptičnih okruženja. Tradicionalno, to bi zahtijevalo skupe fizičke simulacije i tjedne renderiranja.

Ekonomski Argument: Ted Sarandos, su-izvršni direktor Netflixa, potvrdio je da je korištenje UI omogućilo realizaciju sekvence “10 puta brže” i za zanemarivu cijenu.

Prava revolucija: UI još ne zamjenjuje (glavne) glumce. Ona zamjenjuje teksture, pozadine, mase i uništenja. Infiltrira se u “nevidljive piksele”, one koje gledatelj svjesno ne primjećuje, ali koji obično koštaju milijune za proizvodnju.

4.4 Kulturne Napetosti: UI i Prisvajanje Plesa

Utjecaj UI proširio se i na scenske umjetnosti, podižući duboka etička pitanja o kulturnom prisvajanju.

Slučaj “Ptičjeg Plesa”: Članovi plemena Cahuilla osudili su pokušaje UI-ja da reproducira njihovu tradicionalnu plesnu praksu. Modeli, trenirani na YouTube videima bez konteksta, generirali su imitacije ocijenjene “neukusnim” i lišenim izvornog duhovnog značenja.

Prijetnja Komercijalnim Plesačima: Plesači prateći pop zvijezde izrazili su strah da će biti zamijenjeni generiranim avatarima ili hologramima u spotovima i koncertima.

Zaključak: Prema Hibridnoj Sintetskoj Stvarnosti

Putanja pređena između 2023. i 2026. godine je zapanjujuća. Za tri godine prešli smo od mutnih videa od 4 sekunde (Gen-2) do složenih fizičkih, zvučnih i koherentnih simulacija (Sora 2, Gen-4).

Tri Glavna Poučka

1. Pobjeda Simulacije nad Animacijom: Pobjednički arhitektonski pristup (DiT + Prostorno-Vremenske Zakrpe) tretira video kao simulaciju svijeta. Modeli više ne pokušavaju “animirati slike”, oni pokušavaju “razumjeti fiziku”. Inicijativa Opći Svjetski Modeli Runwayja potvrđuje da konačni cilj nije kino, već stvaranje univerzalnih simulatora za robotiku, videoigre i virtualnu stvarnost.

2. Kontrola je Kralj: Sirova generacijska moć (Sora) nije dovoljna. To je sucelje kontrole (Runway Director Mode, Act-Two) koje pretvara tehnologiju u profesionalni alat. Sposobnost upravljanja UI-jem kao što se upravlja glumcem ili kamerom bila je odlučujući čimbenik usvajanja.

3. Industrijska Hibridnost: Apokaliptični strahovi od potpune zamjene Hollywooda nisu se ostvarili. Umjesto toga, industrija se hibridizirala. Ljudski glumci igraju glavne uloge (zaštićeni od strane SAG-AFTRA), dok UI upravlja dekorima, masama i uništenjima. UI je postala “beskonačna kist” VFX-a, smanjujući troškove proizvodnje bez uklanjanja potrebe za ljudskom umjetničkom vizijom.

Pitanje 2027.

Na pragu 2027. godine, pitanje više nije “može li UI stvoriti video?”, već “koji dio naše vizualne stvarnosti bit će od sada sintetski?”.

S demokratizacijom alata poput Act-Two, barijera između amaterskog kreatora i profesionalnog studija srušila se, obećavajući novu eru vizualnog pripovijedanja gdje jedina preostala granica doslovno jest mašta.

Objavljeno 28. ožujka 2026.