Od Videa ku World Model: Evolúcia Runway a OpenAI Sora (2023-2026)

Časové obdobie od roku 2023 do 2026 predstavuje kľúčovú epochu v histórii vizuálnej informatiky, ktorá znamenala prechod od jednoduchej generácie animovaných obrázkov ku komplexnej simulácii fyzických realít. Tento prechod, často zhrnutý sémantickým posunom od „Text-to-Video” (Text na video) k „World Models” (Modely sveta), predstavuje oveľa viac než len zlepšenie rozlíšenia alebo plynulosti obrazu. Signalizuje vznik systémov umelej inteligencie schopných budovať koherentné interné reprezentácie fyziky, kauzality a časovej dynamiky.

Táto technická správa ponúka vyčerpávajúcu kroniku tejto evolúcie, pričom sa zameriava na dva subjekty, ktoré polarizovali pole výskumu a priemyselnej aplikácie: Runway, priekopnícky startup pochádzajúci z newyorského umeleckého sveta, a OpenAI, výskumná laboratórium zameraná na všeobecnú inteligenciu. Prostredníctvom analýzy ich príslušných technických architektúr — od modelov latentnej difúzie po difúzne transformátory (DiT) — a ich strategií nasadenia preskúmame, ako tieto technológie narazili priamo do storočného priemyslu Hollywoodu, predefinujúc pojmy kreativity, práce a vizuálnej pravdy.

I. Umelecké začiatky: Príbeh RunwayML

Aby sme pochopili trajektóriu generatívneho videa, je nevyhnutné analyzovať jej korene. Na rozdiel od rozšíreného názoru revolúcia nezačala generáciou ex nihilo, ale automatizáciou najnáročnejších úloh tradičnej postprodukcie. RunwayML, založená Cristóbalom Valenzuelom, Anastasisom Germanidisom a Alejandrom Matamalom, spočiatku nesnažila nahradiť kameru, ale asistovať strihačovi.

1.1 Utilitárne dedičstvo: Od „Green Screen” k sémantickej interpretácii

Pred rokom 2023 bol hlavným úzkym miestom vizuálnych efektov (VFX) rotoscoping. Táto technika, nevyhnutná na izoláciu herca alebo objektu od pozadia na vloženie efektov alebo úpravu dekorácie, historicky vyžadovala manuálny zásah snímku po snímke. Grafik musel kresliť Bézierove krivky okolo siluety postavy, upravovať tieto krivky pri každom pohybe, akokoľvek nepatrnom. Bol to nákladný, pomalý proces náchylný na ľudské chyby.

Zavedenie nástroja Green Screen spoločnosťou Runway znamenalo prvú paradigmatickú zmenu. Spoliehajúc sa na modely strojového učenia trénované na sémantickú segmentáciu videa, Runway navrhol prístup, kde používateľ už nemusel matematicky definovať krivky, ale jednoducho sémanticky označiť objekt záujmu.

Technické fungovanie Green Screen spočívalo na prelomovej interakcii človek-stroj pre danú dobu:

1. Sémantická inicializácia: Používateľ umiestnil niekoľko kliknutí na objekt, ktorý sa má vystrihnúť (kliky zahrnutia) a na oblasti, ktoré sa majú ignorovať (kliky vylúčenia) na kľúčovom snímku (keyframe).

2. Časová propagácia: Model potom použil optický tok a koherenciu vizuálnych charakteristík (farba, textúra, tvar) na propagáciu tejto masky na celý videozáznam.

3. Interaktívne vylepšenie: Ak model stratil sledovaný objekt (napríklad pri oklúzii alebo rýchlom pohybe), používateľ mohol zasiahnuť na intermediárnom snímku na opravu, pričom model potom prepočítal trajektóriu masky v reálnom čase.

Tento krok, hoci nie „generatívny” v prísamom zmysle (nevytváral nové pixely), bol zásadný z dvoch dôvodov. Po prvé, umožnil Runway vybudovať masívnu databázu o tom, ako ľudia vystrihujú a chápu video scénu. Po druhé, potvrdil technickú architektúru webovej platformy v reálnom čase schopnej spracovať ťažké video toky, infraštruktúru, ktorá sa ukázala kritickou pre budúce nasadenie modelov Gen.

Výsledok: Prístup „asistovaný AI” skrátil čas rotoscopingu z niekoľkých hodín na niekoľko minút, ukotvujúc Runway ako partnera kreatívcov skôr než náhradu, filozofiu, ktorá mala byť preverená s príchodom generatívnych modelov.

1.2 Gen-1: Štruktúra ako kotva reality (február 2023)

Vo februári 2023 Runway predstavilo Gen-1, čím oficiálne označilo vstup do éry neurálnej syntézy videa. V tej dobe bola generácia statických obrázkov prostredníctvom modelov ako Midjourney alebo Stable Diffusion už dobre zavedená, ale video zostávalo veľkou výzvou kvôli časovej dimenzii. Naivné pokusy aplikovať modely obrázkov snímku po snímke spôsobovali neznesiteľné blikanie (flickering), kde objekty menili identitu alebo textúru náhodne každú sekundu.

Gen-1 tento problém obišiel prijatím prístupu Video-to-Video (Video na video). Namiesto toho, aby model halucinoval súčasne pohyb aj vzhľad, Gen-1 použil existujúce video na poskytnutie „štruktúry” (pohyb, hĺbka, obrysy) a generoval len „štýl” (vzhľad, textúra).

Architektúra a režimy fungovania

Technicky sa Gen-1 spoliehal na upravené modely latentnej difúzie (Latent Diffusion Models – LDM) prijímajúce silné štrukturálne podmienenie. Model sa naučil mapovať geometrickú štruktúru vstupného videa na latentný priestor výstupného videa, riadený textovou výzvou alebo referenčným obrázkom.

Režimy Gen-1 ilustrujú toto oddelenie medzi štruktúrou a štýlom:

Prijatie a výkon

Používateľské štúdie uskutočnené Runway ukázali výraznú preferenciu pre výsledky Gen-1:

• 73,53 % používateľov preferovalo Gen-1 pred Stable Diffusion 1.5 aplikovaným snímku po snímke
• 88,24 % ho preferovalo pred Text2Live

Táto nadradenosť sa vysvetľovala časovou koherenciou: Gen-1 „neodhadoval” pohyb, požičiaval si ho z reality. Táto závislosť však bola aj jeho hlavným obmedzením: nedalo sa vytvoriť to, čo sa nedalo najprv nasnímať alebo hrubo modelovať.

1.3 Gen-2: Skok do prázdnoty Text-to-Video (jún 2023)

Skutočná koncepčná zlom nastala niekoľko mesiacov neskôr, v júni 2023, s vydaním Gen-2. Anastasis Germanidis, CTO Runway, opísal tento krok ako odstránenie potreby podmienenia štruktúrou. Gen-2 bol prvý komerčný model pre verejnosť schopný Text-to-Video (Text na video), teda generovať animovanú video sekvenciu z jednoduchej vety bez akéhokoľvek zdrojového videa.

Výzva „slepej generácie”

Prechod z Gen-1 na Gen-2 vyžadoval vyriešenie fundamentálneho problému: ako si AI môže predstaviť pohyb? V Gen-1 bol pohyb daný. V Gen-2 musel byť halucinovaný spôsobom, ktorý je vierohodný. Model musel pochopiť nielen ako vyzerá „mačka”, ale ako sa mačka pohybuje, ako jej srsť reaguje na meniace sa svetlo a ako by ju mala virtuálna kamera sledovať.

Prvé výsledky Gen-2, hoci pôsobivé pre rok 2023, prezrádzali náročnosť úlohy:

• Obmedzená dĺžka: Klipy boli spočiatku obmedzené na 4 sekundy. Nad touto hranicou často koherencia zlyhala, objekty sa premieňali na abstraktnú kašu.
• Onirické pohyby: Fyzika bola často „tekutá”. Objekty sa nepohybovali tak, ako „tiekli” z bodu A do bodu B.
• Nedostatok kontroly: Používateľ napísal výzvu a dúfal v to najlepšie. Neexistoval spôsob povedať „kamera musí urobiť travelling vpred”.

Napriek týmto nedostatkom Gen-2 spustilo tvorivú explóziu. Umožnilo vytvorenie vírusových „AI trailerov” (ako paródie na filmy v štýle Wesa Andersona), demonštrujúcich masívnu chuť verejnosti po tejto novej forme vyjadrenia.

Porovnávacia tabuľka: Gen-1 vs Gen-2

II. Šok Sora: Analýza „Spacetime Patches” a architektúry DiT

Ak bol rok 2023 rokom experimentovania s Runway, začiatok roku 2024 bol poznačený technologickým zemetrasením. Vo februári OpenAI predstavilo Sora, model, ktorý okamžite predefinoval špičkový stav umenia. Kým Gen-2 produkovalo krátke a rozmazané klipy, Sora generovalo sekvencie dlhé minútu vo vysokom rozlíšení (1080p), s viacerými postavami, komplexnými pohybmi kamery a ohromujúcou perzistenciou objektov.

Tento kvalitatívny skok nebol výsledkom náhody alebo jednoduchého zvýšenia výpočtového výkonu, ale výsledkom hlbokej architektonickej prestavby dokumentovanej v technickej správe „Video Generation Models as World Simulators”.

2.1 Unifikácia dát: Revolúcia „Spacetime Patches”

Centrálna inovácia Sora spočíva v spôsobe reprezentácie vizuálnych dát. Predchádzajúce prístupy často považovali video za rigidnú postupnosť obrázkov pevnej veľkosti (napr. 256×256 pixelov), čo obmedzovalo kvalitu a ukladalo deštruktívne orezania. Sora sa naopak inšpiruje priamo Veľkými jazykovými modelmi (LLM) ako GPT-4.

Zásadný princíp: Rovnako ako LLM rozdeľujú text na „tokeny” (žetóny), Sora rozdeľuje video na Spacetime Patches (Priestorovo-časové záplaty).

Proces patchifikácie

1. Priestorovo-časová latentná kompresia: Surové video nie je spracovávané pixel po pixely. Najprv prechádza cez Video Compression Network (podobný VAE), ktorý znižuje jeho dimenzionalitu v priestore aj v čase.

2. Extrakcia záplat: Tento latentný objem je potom rozrezaný na malé kocky. Každá kocka predstavuje malú časť obrazu (priestor) počas krátkej doby (čas).

3. Linearizácia: Tieto kocky sú sploštené do dlhej sekvencie vektorov, presne ako veta je postupnosťou slov.

Kritické výhody tejto metódy

• Nezávislosť od rozlíšenia a pomeru strán: Sora sa môže trénovať na videách ľubovoľnej veľkosti (Widescreen 1920×1080, Vertikálne 1080×1920, Štvorec). Už nie je potrebné všetko orezávať na štvorec.
• Škálovateľnosť: Táto metóda umožňuje aplikovať masívne tréningové techniky LLM na video. Čím viac dát a výpočtov sa pridá, tým sa model zlepšuje, nasledujúc predvídateľné škálovacie zákony (scaling laws).

2.2 Architektúra DiT: Keď Transformer nahrádza U-Net

Keď je video transformované na polievku záplat, ako generovať nový obsah? Tu vstupuje do hry architektúra Diffusion Transformer (DiT). Historicky modely difúzie (ako Stable Diffusion) používali architektúru nazývanú U-Net pre proces odšumovania. Hoci efektívna pre obrázky, U-Net zle zvláda komplexné závislosti na dlhú vzdialenosť potrebné pre koherentné video.

Sora používa štandardný Transformer ako chrbticu (backbone) difúzie.

Mechanizmus globálnej pozornosti

Silou Transformeru je jeho mechanizmus pozornosti. Vo vete umožňuje spojiť zámeno s podstatným menom citovaným tri odseky skôr. Vo videu umožňuje DiT Sore spojiť záplatu na začiatku videa (t=0s) so záplatou na konci (t=60s).

Perzistencia objektu: Vďaka tejto globálnej pozornosti si model „pamätá” objekty. Ak muž prejde za pilier, model vie, že musí vyjsť z druhej strany s rovnakým oblečením a tvárou, pretože záplaty „pred” a „po” oklúzii sú prepojené v sieť pozornosti.

2.3 Vznik simulácie a fyzikálne limity

Technická správa OpenAI predkladá odvážne tvrdenie: zvýšením rozsahu tréningu spontánne vznikajú schopnosti simulácie, bez toho aby boli explicitne naprogramované.

• Implicitná 3D koherencia: Sora generuje dynamické pohyby kamery, kde sa perspektíva mení správne (paralaxa), akoby scéna skutočne existovala v 3D.
• Simulácia digitálnych svetov: Najpôsobivejším príkladom bola schopnosť Sory simulovať videohru Minecraft. Kŕmený videami hrania sa model naučil generovať nielen grafiku, ale aj logiku hry.

Avšak Sora (v1) nebola dokonalá. Model trpel významnými fyzikálnymi halucináciami: pohár, ktorý spadne bez toho, aby sa rozbil, človek, ktorý zje sušienku bez toho, aby sa objavila stopa po zube.

2.4 Sora 2: Vylepšenie (september 2025)

V septembri 2025 OpenAI spustilo Sora 2. Táto iterácia mala za cieľ zaplniť medzery prvej verzie:

• Synchronizovaný zvuk: Spoločná generácia zvuku (kroky, hlasy, ambienty) synchronizovaného s vizuálnou akciou.
• Úpravy a Remix: Funkcie „Remix” umožňujúce upravovať konkrétne prvky bez prepočítavania celého videa.
• Bezpečnosť a pôvod: Robustné vodoznaky C2PA a posilnené bezpečnostné filtre.

III. Časová kontrola: Evolúcia nástrojov virtuálnej kamery

Ak kvalita obrazu Sora oslnila verejnosť, profesionáli okamžite poukázali na kritický problém: nedostatok kontroly. Generovať náhodné krásne video je na vyrozprávanie presného príbehu nepoužiteľné. Obdobie 2024-2026 bolo preto poznačené divokým pretekom k „ovládateľnosti” (controllability).

3.1 Od lotérie k pilotovaniu: Motion Brush a Director Mode

Na začiatku generatívnej éry používateľ napísal výzvu a dúfal, že výsledok zodpovedá jeho vízii. To bola éra „hracieho automatu” (slot machine approach). Runway ako prvý pochopil, že pre prijatie priemyslom sa AI musí stať ovládateľným nástrojom.

Motion Brush (Štetec pohybu)

Spustený začiatkom roku 2024, Motion Brush predstavil lokálnu kontrolu. Namiesto toho, aby AI rozhodovala, čo sa hýbe, používateľ mohol „namaľovať” oblasť obrazu a definovať smer a intenzitu pohybu.

Príklad aplikácie: V statickom zábere muža pozerajúceho sa na more mohol režisér zmraziť muža (nehybný), posunúť vlny doprava (stredná rýchlosť) a posunúť oblaky smerom k kamere (pomalá rýchlosť).

Director Mode (Režisérsky režim)

Pre pohyby kamery Runway predstavil Director Mode. Tento nástroj nahradil vágne kľúčové slová („zoom in”) presnými parametrickými kontrolami simulujúcimi fyzickú kameru:

• Zoom
• Pan (Panorámovanie)
• Tilt (Náklon)
• Roll (Náklon okolo osi)

3.2 Svätý grál: Koherencia postáv

Najväčšou prekážkou dlhodobého rozprávania zostávala nekonzistentnosť postáv. V tradičnom filme Brad Pitt vyzerá ako Brad Pitt od prvého po posledný záber. V AI videách z roku 2023 sa protagonista mohol zmeniť v tvár, oblečenie alebo vek medzi dvoma po sebe idúcimi zábermi.

S Gen-4 (marec 2025) Runway urobilo „nekonečnú koherenciu postáv” svojou vlajkovou loďou.

Mechanizmus ukotvenia identity: Gen-4 umožňoval importovať jeden referenčný obrázok postavy. Model potom uzamkol sémantické charakteristiky tejto tváre vo svojom latentnom priestore.

Výsledky: Bolo možné generovať sekvenciu, kde táto postava prechádzala od nočnej scény v daždi po dennú scénu v interiéri, menila emocionálny výraz, zatiaľ čo zostávala nepochybne tou istou osobou.

3.3 Lipsync a Act-Two: Koniec tradičnej Mocap?

Tvárová animácia a dialóg boli poslednými baštami zložitosti. Prvé nástroje na synchronizáciu pier sa uspokojili s deformáciou spodnej časti tváre statického obrázka na zodpovedanie zvukovej stopy, vytvárajúc nepresvedčivý efekt „maňušky”.

Koncom roku 2024 Runway spustilo Act-Two, model generatívnej capture výkonu (Generative Motion Capture), ktorý prevrátil animačný priemysel.

Koncept „Driving Video”: Namiesto použitia nákladných oblekov na capture pohybu (Mocap) s reflexnými značkami Act-Two umožňovalo použiť jednoduché video herca (nasnímané smartfónom) na ovládanie generovanej postavy.

Nuance transferu výkonu: Model zachytával mikro výrazy, vrásky očí, náklony hlavy a dokonca gestá rúk. Potom preniesol tento „duch” výkonu na cieľový model s emočnou vernosťou, ktorá súťažila s hollywoodskymi produkciami.

Tabuľka: Evolúcia nástrojov kontroly

IV. Hollywoodsky dopad: Štrajky, dohody a prijatie

Príchod týchto technológií sa neuskutočnil vo vákuu ekonomickom alebo sociálnom. Narazil priamo do štruktúr odborov, právnych a finančných Hollywoodu, spustiac existenciálnu krízu pre tvorivé povolania.

4.1 Štrajky 2023: Prvá ľudská obranná línia

Rok 2023 zostane zapísaný ako rok historickej „dvojitej štrajkovej vlny” scenáristov (WGA) a hercov (SAG-AFTRA). Ak boli platy a zostatky zo streamingu hlavnými problémami, generatívna AI sa ukázala ako najfuturistickejší a najúzkostlivejší bod trenia.

Strach z nahradenia a digitálnych replík

• Scenáristi (WGA): Hlavným strachom bolo, že štúdiá použijú LLM na generovanie kompletných scenárov, znovuzamestnávajúc ľudských scenáristov len na „leštenie” alebo „prepisovanie” textu vygenerovaného strojom.

• Herči (SAG-AFTRA): Sústrašť „Digital Replicas” (Digitálnych replík) prenasledovala rokovania. Herči sa báli, že budú naskenovaní raz a štúdiá potom použijú ich obraz a hlas navždy.

Októbrové dohody 2023: Historické zábrany

Štrajky sa skončili významnými víťazstvami pre odbory:

1. AI ako nástroj, nie autor: Dohoda WGA stanovuje, že AI nemôže byť uznaná ako scenárista. Štúdio nemôže prinútiť scenáristu použiť AI.

2. Súhlas a odmena za repliky: Dohoda SAG-AFTRA vyžaduje explicitný súhlas herca na vytvorenie akejkoľvek digitálnej repliky. Použitie musí byť odmenené, akoby herec fyzicky pracoval.

4.2 Zlyhanie „štúdiového modelu”: Prípad Lionsgate (2024-2025)

V septembri 2024 štúdio Lionsgate oznámilo ohromujúce partnerstvo s Runway, dúfajúc v monetizáciu technológie a zároveň obchádzanie autorských problémov.

Obchod: Lionsgate otvoril svoj trezor — exkluzívny prístup k ich kompletnému katalógu (John Wick, Hunger Games, Twilight, American Psycho) na tréning personalizovaného AI modelu.

Avšak, v septembri 2025 správy označili toto partnerstvo za „pomaly sa odvíjajúcu katastrofu” (slowly unfolding disaster):

• Problém „Data Scarcity”: Dokonca aj katalóg veľkého štúdia je nedostatočný na tréning svetovej triedy video modelu. Modely ako Sora sa učia fyziku zo stoviek miliónov videí z celého internetu.
• Právn slepá ulička: Ak AI vygeneruje scénu bez významného ľudského zásahu, je táto scéna chránená autorským právom? Experti sa prikláňali k nie.

4.3 Tichý úspech: Netflix a neviditeľné VFX

Ak sa fantázia „vygenerovať celý film” zlyhala u Lionsgate, pragmatická integrácia triumfovala u Netflix. V roku 2025 platforma potvrdila použitie generatívnej AI pre finálne zábery v argentínskom seriáli The Eternaut.

Prípad použitia: Komplexná sekvencia zrútenia budovy a post-apokalyptických prostredí. Tradične by to vyžadovalo nákladné fyzikálne simulácie a týždne renderovania.

Ekonomický argument: Ted Sarandos, spol-CEO Netflixu, tvrdil, že použitie AI umožnilo realizovať sekvenciu „10-krát rýchlejšie” a za zanedbateľné náklady.

Skutočná revolúcia: AI nenahrádza (zatiaľ) hlavných hercov. Nahrádza textúry, pozadia, davy a deštrukcie. Infiltruje sa do „neviditeľných pixelov”, ktoré divák si vedomie nevníma, ale ktoré zvyčajne stoja milióny na výrobu.

4.4 Kultúrne napätia: AI a prisvojenie tanca

Dopad AI sa rozšíril aj na živé umenia, kladúc hlboké etické otázky o kultúrnom prisvojení.

Prípad „Bird Dance”: Členovia kmeňa Cahuilla odsúdili pokusy AI reprodukovať ich tradičný tanec. Modely, trénované na YouTube videách bez kontextu, generovali imitácie považované za „neúctivé” a zbavené pôvodného duchovného významu.

Hrozba pre komerčných tanečníkov: Záložní tanečníci pre popové hviezdy vyjadrili obavy z nahradenia generovanými avatármi alebo hologramami vo videoklipoch a koncertoch.

Záver: Smerom k hybridnej syntetickej realite

Trajektória prejdená medzi rokmi 2023 a 2026 je závratná. Za tri roky sme prešli od rozmazaných 4-sekundových videí (Gen-2) k komplexným fyzikálnym, zvukovým a koherentným simuláciám (Sora 2, Gen-4).

Tri hlavné ponaučenia

1. Víťazstvo simulácie nad animáciou: Víťazný architektonický prístup (DiT + Spacetime Patches) považuje video za simuláciu sveta. Modely sa už nesnažia „animovať obrázky”, snažia sa „porozumieť fyzike”. Iniciatíva General World Models Runway potvrdzuje, že konečným cieľom nie je kino, ale vytvorenie univerzálnych simulátorov pre robotiku, videohry a virtuálnu realitu.

2. Kontrola je kráľ: Hrubá generačná sila (Sora) nestačí. Je to rozhranie kontroly (Runway Director Mode, Act-Two), ktoré transformuje technológiu na profesionálny nástroj. Schopnosť riadiť AI ako herca alebo kameru bola rozhodujúcim faktorom prijatia.

3. Priemyselná hybridita: Apokalyptické obavy z totálneho nahradenia Hollywoodu sa nenaplnili. Namiesto toho sa priemysel hybridizoval. Ľudskí herci hrajú hlavné roly (chránení SAG-AFTRA), zatiaľ čo AI spravuje dekorácie, davy a deštrukcie. AI sa stala „nekonečným štetcom” VFX, znižujúc produkčné náklady bez eliminácie potreby ľudskej umeleckej vízie.

Otázka roku 2027

Na prahu roku 2027 otázka už nie je „dokáže AI vytvoriť video?”, ale „aká časť našej vizuálnej reality bude teraz syntetická?”.

S demokratizáciou nástrojov ako Act-Two sa bariéra medzi amatérskym tvorcom a profesionálnym štúdiom zrútila, sľubujúc novú éru vizuálneho rozprávania, kde jediným zostávajúcim obmedzením je, doslova, predstavivosť.

Publikované 28. marca 2026