Dal Video ai World Model: L'Evoluzione di Runway e OpenAI Sora (2023-2026)

L’arco temporale che si estende dal 2023 al 2026 rappresenta un periodo fondamentale nella storia dell’informatica visiva, segnando il passaggio dalla semplice generazione di immagini animate alla simulazione complessa di realtà fisiche. Questa transizione, spesso riassunta dallo scivolamento semantico da “Testo-a-Video” (Text-to-Video) a “Modelli di Mondo” (World Models), rappresenta ben più di un miglioramento della risoluzione o della fluidità delle immagini. Segnala l’emergere di sistemi di intelligenza artificiale capaci di costruire rappresentazioni interne coerenti della fisica, della causalità e della dinamica temporale.

Questo rapporto tecnico propone una cronaca esaustiva di questa evoluzione, concentrandosi sui due attori che hanno polarizzato il campo della ricerca e dell’applicazione industriale: Runway, la startup pionieristica proveniente dal mondo artistico di New York, e OpenAI, il laboratorio di ricerca volto all’intelligenza generale. Attraverso l’analisi delle rispettive architetture tecniche — dai modelli di diffusione latente ai trasformatori di diffusione (DiT) — e delle loro strategie di deployment, esamineremo come queste tecnologie abbiano colpito di petto l’industria centenaria di Hollywood, ridefinendo le nozioni di creatività, lavoro e verità visiva.

I. Gli Inizi Artistici: La Storia di RunwayML

Per comprendere la traiettoria del video generativo, è imprescindibile analizzarne le radici. Contrariamente a un’idea ricevuta, la rivoluzione non è iniziata con la generazione ex nihilo, ma con l’automazione dei compiti più laboriosi della post-produzione tradizionale. RunwayML, fondata da Cristóbal Valenzuela, Anastasis Germanidis e Alejandro Matamala, non ha inizialmente cercato di sostituire la macchina da presa, ma di assistere il montatore.

1.1 L’Eredità Utilitaria: Dal “Green Screen” alla Comprensione Semantica

Prima del 2023, il collo di bottiglia principale degli effetti visivi (VFX) risiedeva nel rotoscoping. Questa tecnica, essenziale per isolare un attore o un oggetto dallo sfondo al fine di inserire effetti o modificare la scenografia, richiedeva storicamente un intervento manuale fotogramma per fotogramma. Un grafico doveva tracciare curve di Bézier attorno alla silhouette di un personaggio, aggiustando queste curve ad ogni movimento, per quanto minimo. Era un processo costoso, lento e soggetto a errori umani.

L’introduzione dello strumento Green Screen da parte di Runway ha segnato una prima rottura paradigmatica. Avvalendosi di modelli di apprendimento automatico addestrati per la segmentazione semantica video, Runway ha proposto un approccio in cui l’utente non doveva più definire matematicamente delle curve, ma semplicemente indicare semanticamente l’oggetto di interesse.

Il funzionamento tecnico del Green Screen si basava su un’interazione uomo-macchina innovativa per l’epoca:

1. Inizializzazione Semantica: L’utente posizionava alcuni clic sull’oggetto da ritagliare (clic di inclusione) e sulle zone da ignorare (clic di esclusione) su un’immagine chiave (keyframe).

2. Propagazione Temporale: Il modello utilizzava poi il flusso ottico e la coerenza delle caratteristiche visive (colore, texture, forma) per propagare questa maschera sull’intera clip video.

3. Raffinamento Interattivo: Se il modello perdeva il soggetto (ad esempio durante un’occlusione o un movimento rapido), l’utente poteva intervenire su un fotogramma intermedio per correggere il tiro, il modello ricalcolando poi la traiettoria della maschera in tempo reale.

Questa fase, pur non essendo “generativa” in senso stretto (non creava nuovi pixel), è stata fondamentale per due motivi. Primo, ha permesso a Runway di costituire un database massivo sul modo in cui gli esseri umani ritagliano e comprendono una scena video. Secondo, ha validato l’architettura tecnica di una piattaforma web in tempo reale capace di elaborare flussi video pesanti, un’infrastruttura che si sarebbe rivelata critica per il deployment futuro dei modelli Gen.

Risultato: L’approccio “assistito dall’IA” ha ridotto il tempo di rotoscoping da diverse ore a pochi minuti, ancorando Runway come partner dei creativi piuttosto che un sostituto, una filosofia che sarebbe stata messa alla prova con l’arrivo dei modelli generativi.

1.2 Gen-1: La Struttura come Ancora di Realtà (Febbraio 2023)

Nel febbraio 2023, Runway ha svelato Gen-1, segnando ufficialmente l’ingresso nell’era della sintesi video neurale. All’epoca, la generazione di immagini statiche tramite modelli come Midjourney o Stable Diffusion era già ben consolidata, ma il video rimaneva una sfida maggiore a causa della dimensione temporale. I tentativi ingenui di applicare modelli di immagine fotogramma per fotogramma causavano uno scintillio (flickering) insopportabile, in cui gli oggetti cambiavano identità o texture casualmente ad ogni secondo.

Gen-1 ha aggirato questo problema adottando un approccio Video-a-Video (Video-to-Video). Invece di chiedere al modello di allucinare sia il movimento che l’aspetto, Gen-1 utilizzava un video esistente per fornire la “struttura” (il movimento, la profondità, i contorni) e generava solo lo “stile” (l’aspetto, la texture).

Architettura e Modalità di Funzionamento

Tecnicamente, Gen-1 si basava su modelli di diffusione latente (Latent Diffusion Models – LDM) modificati per accettare un conditioning strutturale forte. Il modello imparava a mappare la struttura geometrica del video di input verso lo spazio latente del video di output, guidato da un prompt testuale o da un’immagine di riferimento.

Le modalità di Gen-1 illustrano questa separazione tra struttura e stile:

Ricezione e Prestazioni

Gli studi utente condotti da Runway hanno mostrato una preferenza marcata per i risultati di Gen-1:

• 73,53 % degli utenti preferiva Gen-1 rispetto a Stable Diffusion 1.5 applicato fotogramma per fotogramma
• 88,24 % lo preferiva rispetto a Text2Live

Questa superiorità si spiegava con la coerenza temporale: Gen-1 non “indovinava” il movimento, lo prendeva in prestito dalla realtà. Tuttavia, questa dipendenza era anche il suo limite maggiore: non si poteva creare ciò che non si poteva filmare o modellare grossolanamente in precedenza.

1.3 Gen-2: Il Salto nel Vuoto del Testo-a-Video (Giugno 2023)

La vera rottura concettuale è arrivata qualche mese dopo, nel giugno 2023, con l’uscita di Gen-2. Anastasis Germanidis, CTO di Runway, ha descritto questo passo come l’eliminazione della necessità di una struttura condizionale. Gen-2 era il primo modello commerciale per il grande pubblico capace di realizzare Testo-a-Video (Text-to-Video), ovvero generare una sequenza video animata a partire da una semplice frase, senza alcun video sorgente.

La Sfida della “Generazione Cieca”

Passare da Gen-1 a Gen-2 ha richiesto di risolvere un problema fondamentale: come può un’IA immaginare il movimento? In Gen-1, il movimento era dato. In Gen-2, doveva essere allucinato in modo plausibile. Il modello doveva comprendere non solo come appare un “gatto”, ma come un gatto si muove, come il suo pelo reagisce alla luce mutevole, e come la telecamera virtuale dovrebbe seguirlo.

I primi risultati di Gen-2, pur essendo impressionanti per il 2023, tradivano la difficoltà del compito:

• Durata Limitata: Le clip erano inizialmente limitate a 4 secondi. Oltre, la coerenza crollava spesso, gli oggetti trasformandosi in una poltiglia astratta.
• Movimenti Onirici: La fisica era spesso “liquida”. Gli oggetti non si spostavano tanto quanto “scorrevano” da un punto A a un punto B.
• Mancanza di Controllo: L’utente digitava un prompt e sperava nel meglio. Non c’era modo di dire “la telecamera deve fare un carrello avanti”.

Nonostante questi difetti, Gen-2 ha scatenato un’esplosione creativa. Ha permesso la creazione di “Trailer IA” virali (come le parodie di film in stile Wes Anderson), dimostrando un appetito massiccio del pubblico per questa nuova forma di espressione.

Tabella Comparativa: Gen-1 vs Gen-2

II. Lo Shock Sora: Analisi degli ‘Spacetime Patches’ e dell’Architettura DiT

Se il 2023 è stato l’anno della sperimentazione con Runway, l’inizio del 2024 è stato segnato da un terremoto tecnologico. A febbraio, OpenAI ha presentato Sora, un modello che ha ridefinito istantaneamente lo stato dell’arte. Laddove Gen-2 produceva clip brevi e sfocate, Sora generava sequenze di un minuto in alta definizione (1080p), con personaggi multipli, movimenti di telecamera complessi e una persistenza dell’oggetto stupefacente.

Questo salto qualitativo non era frutto del caso o di una semplice aumento della potenza di calcolo, ma il risultato di una profonda rifondazione architetturale documentata nel rapporto tecnico “Video Generation Models as World Simulators”.

2.1 L’Unificazione dei Dati: La Rivoluzione degli ‘Spacetime Patches’

L’innovazione centrale di Sora risiede nel suo modo di rappresentare i dati visivi. Gli approcci precedenti trattavano spesso il video come una successione rigida di immagini di dimensione fissa (es: 256×256 pixel), il che limitava la qualità e imponeva ritagli distruttivi. Sora, invece, si ispira direttamente ai Grandi Modelli di Linguaggio (LLM) come GPT-4.

Principio fondamentale: Proprio come gli LLM suddividono il testo in “token”, Sora suddivide il video in Spacetime Patches (Patch Spazio-Temporali).

Il Processo di Patchification

1. Compressione Latente Spazio-Temporale: Il video grezzo non è trattato pixel per pixel. Passa prima attraverso una Video Compression Network (simile a un VAE) che riduce la sua dimensionalità sia nello spazio che nel tempo.

2. Estrazione di Patch: Questo volume latente viene poi tagliato in piccoli cubi. Ogni cubo rappresenta una piccola porzione dell’immagine (spazio) su una breve durata (tempo).

3. Linearizzazione: Questi cubi sono appiattiti in una lunga sequenza di vettori, esattamente come una frase è una successione di parole.

I Vantaggi Critici di Questo Metodo

• Indipendenza di Risoluzione e Rapporto: Sora può addestrarsi su video di qualsiasi dimensione (Widescreen 1920×1080, Verticale 1080×1920, Quadrato). Non è più necessario ritagliare tutto in quadrato.
• Scalabilità: Questo metodo permette di applicare le tecniche di addestramento massive degli LLM al video. Più dati e calcolo si aggiungono, più il modello migliora, seguendo leggi di scala (scaling laws) prevedibili.

2.2 L’Architettura DiT: Quando il Transformer Sostituisce l’U-Net

Una volta che il video è trasformato in una sequenza di patch, come generare nuovi contenuti? È qui che interviene l’architettura Diffusion Transformer (DiT). Storicamente, i modelli di diffusione (come Stable Diffusion) utilizzavano un’architettura chiamata U-Net per il processo di denoising. Sebbene efficace per le immagini, l’U-Net gestisce male le dipendenze complesse a lungo raggio necessarie per il video coerente.

Sora utilizza un Transformer standard come spina dorsale (backbone) di diffusione.

Il Meccanismo di Attenzione Globale

La forza del Transformer risiede nel suo meccanismo di attenzione. In una frase, permette di collegare un pronome a un nome citato tre paragrafi prima. In un video, il DiT permette a Sora di collegare un patch all’inizio del video (t=0s) a un patch alla fine (t=60s).

La Permanenza dell’Oggetto: Grazie a questa attenzione globale, il modello “ricorda” gli oggetti. Se un uomo passa dietro a un pilastro, il modello sa che deve riapparire dall’altra parte con gli stessi vestiti e lo stesso volto, poiché i patch “prima” e “dopo” l’occlusione sono connessi nella rete di attenzione.

2.3 Emergenza della Simulazione e Limiti Fisici

Il rapporto tecnico di OpenAI fa un’affermazione audace: aumentando la scala dell’addestramento, capacità di simulazione emergono spontaneamente, senza essere state esplicitamente programmate.

• Coerenza 3D Implicita: Sora genera movimenti di telecamera dinamici dove la prospettiva cambia correttamente (parallasse), come se la scena esistesse realmente in 3D.
• Simulazione di Mondi Digitali: L’esempio più impressionante fu la capacità di Sora di simulare il videogioco Minecraft. Nutrito di video di gameplay, il modello ha imparato a generare non solo la grafica, ma anche la logica del gioco.

Tuttavia, Sora (v1) non era perfetto. Il modello soffriva di notevoli allucinazioni fisiche: un bicchiere che cade senza rompersi, una persona che mangia un biscotto senza che appaia il segno del morso.

2.4 Sora 2: Il Perfezionamento (Settembre 2025)

Nel settembre 2025, OpenAI ha lanciato Sora 2. Questa iterazione mirava a colmare le lacune della prima versione:

• Audio Sincronizzato: Generazione congiunta dell’audio (passi, voci, ambienti) sincronizzata con l’azione visiva.
• Editing e Remix: Funzionalità di “Remix” permettendo di modificare elementi specifici senza ricalcolare tutto.
• Sicurezza e Provenienza: Filigrane C2PA robuste e filtri di sicurezza rinforzati.

III. Il Controllo Temporale: L’Evoluzione degli Strumenti di Telecamera Virtuale

Se la qualità d’immagine di Sora ha abbagliato il grande pubblico, i professionisti dell’immagine hanno immediatamente sollevato un problema critico: la mancanza di controllo. Generare un bel video casuale è inutile per raccontare una storia precisa. Il periodo 2024-2026 è quindi stato segnato da una corsa sfrenata verso la “controllabilità” (controllability).

3.1 Dalla Lotteria al Pilotaggio: Motion Brush e Director Mode

All’inizio dell’era generativa, l’utente digitava un prompt e sperava che il risultato corrispondesse alla sua visione. Era l’era della “slot machine” (slot machine approach). Runway è stato il primo a capire che per essere adottata dall’industria, l’IA doveva diventare uno strumento pilotabile.

Il Motion Brush (Pennello di Movimento)

Lanciato all’inizio del 2024, il Motion Brush ha introdotto il controllo locale. Invece di lasciare che l’IA decidesse cosa si muove, l’utente poteva “dipingere” una zona dell’immagine e definire una direzione e un’intensità di movimento.

Esempio di applicazione: In una ripresa fissa di un uomo che guarda il mare, un regista poteva bloccare l’uomo (immobile), far muovere le onde verso destra (velocità media) e far avanzare delle nuvole verso la telecamera (velocità lenta).

Il Director Mode (Modalità Regista)

Per i movimenti di telecamera, Runway ha introdotto il Director Mode. Questo strumento ha sostituito le parole chiave vaghe (“zoom in”) con controlli parametrici precisi che simulano una telecamera fisica:

• Zoom
• Pan (Panoramica)
• Tilt (Inclinazione)
• Roll (Rollio)

3.2 Il Sacro Graal: La Coerenza dei Personaggi

Il più grande ostacolo alla narrazione di lunga durata rimaneva l’inconsistenza dei personaggi. In un film tradizionale, Brad Pitt assomiglia a Brad Pitt dal primo all’ultimo piano. Nei video IA del 2023, il protagonista poteva cambiare volto, vestiti, o addirittura età, tra due piani successivi.

Con Gen-4 (Marzo 2025), Runway ha fatto della “Coerenza Infinita dei Personaggi” il suo cavallo di battaglia.

Meccanismo di Ancoraggio dell’Identità: Gen-4 permetteva di importare una singola immagine di riferimento di un personaggio. Il modello bloccava poi le caratteristiche semantiche di quel volto nel suo spazio latente.

Risultati: Si poteva generare una sequenza in cui questo personaggio passava da una scena notturna sotto la pioggia a una scena diurna in interni, cambiava espressione emotiva, restando indubbiamente la stessa persona.

3.3 Lipsync e Act-Two: La Fine della Mocap Tradizionale?

L’animazione facciale e il dialogo erano gli ultimi bastioni della complessità. I primi strumenti di lipsync si limitavano a deformare la parte inferiore del viso di un’immagine fissa per corrispondere a una traccia audio, creando un effetto “burattino” poco convincente.

Alla fine del 2024, Runway ha lanciato Act-Two, un modello di motion capture generativo (Generative Motion Capture) che ha sconvolto l’industria dell’animazione.

Il Concetto “Driving Video”: Invece di utilizzare tute di motion capture (Mocap) costose con marcatori riflettenti, Act-Two permetteva di utilizzare una semplice video di un attore (filmato con uno smartphone) per pilotare un personaggio generato.

Trasferimento di Performance Nuanzato: Il modello catturava le micro-espressioni, le strizzatine d’occhio, le inclinazioni di testa e persino la gestualità delle mani. Trasferiva poi questa “anima” della performance su un modello target con una fedeltà emotiva che rivaleggiava con le produzioni hollywoodiane.

Tabella: L’Evoluzione degli Strumenti di Controllo

IV. L’Impatto Hollywoodiano: I Scioperi, gli Accordi e l’Adozione

L’arrivo di queste tecnologie non è avvenuto in un vuoto economico o sociale. Ha colpito di petto le strutture sindacali, giuridiche e finanziarie di Hollywood, scatenando una crisi esistenziale per i mestieri della creazione.

4.1 Gli Scioperi del 2023: La Prima Linea di Difesa Umana

L’anno 2023 rimarrà impresso come quello della “Doppia Sciopero” storica degli sceneggiatori (WGA) e degli attori (SAG-AFTRA). Se i salari e i residui dello streaming erano in questione, l’IA generativa si è imposta come il punto di frizione più futuristico e angosciante.

La Paura della Sostituzione e delle Repliche Digitali

• Sceneggiatori (WGA): La paura principale era che gli studios utilizzassero LLM per generare sceneggiature complete, reimpiegando sceneggiatori umani solo per “lucidare” o “riscrivere” il testo generato dalla macchina.

• Attori (SAG-AFTRA): Lo spettro delle “Digital Replicas” (Repliche Digitali) aleggiava sulle negoziazioni. Gli attori temevano di essere scansionati una sola volta e che gli studios utilizzassero poi la loro immagine e voce in perpetuo.

Gli Accordi di Ottobre 2023: Dei Parapetti Storici

Gli scioperi si sono conclusi con vittorie significative per i sindacati:

1. L’IA come Strumento, non come Autore: L’accordo della WGA stabilisce che l’IA non può essere accreditata come sceneggiatore. Uno studio non può obbligare uno sceneggiatore a utilizzare l’IA.

2. Consenso e Compensazione per le Repliche: L’accordo della SAG-AFTRA richiede il consenso esplicito dell’attore per la creazione di qualsiasi replica digitale. L’utilizzo deve essere remunerato come se l’attore avesse lavorato fisicamente.

4.2 Il Fallimento del “Modello Studio”: Il Caso Lionsgate (2024-2025)

Nel settembre 2024, lo studio Lionsgate ha annunciato una partnership clamorosa con Runway, sperando di capitalizzare sulla tecnologia aggirando i problemi di copyright.

Il Deal: Lionsgate ha aperto il suo caveau — accesso esclusivo al loro catalogo completo (John Wick, Hunger Games, Twilight, American Psycho) per addestrare un modello IA personalizzato.

Tuttavia, nel settembre 2025, dei rapporti hanno qualificato questa partnership come un “disastro al rallentatore” (slowly unfolding disaster):

• Il Problema della “Data Scarcity”: Anche il catalogo di un grande studio è insufficiente per addestrare un modello video di classe mondiale. I modelli come Sora imparano la fisica ingerendo miliardi di video provenienti da tutto internet.
• L’Impasse Giuridica: Se l’IA genera una scena senza intervento umano significativo, quella scena è protetta dal copyright? Gli esperti propendevano per il no.

4.3 Il Successo Silenzioso: Netflix e i VFX Invisibili

Se il fantasma di “generare un film completo” è fallito in casa Lionsgate, l’integrazione pragmatica ha trionfato in casa Netflix. Nel 2025, la piattaforma ha confermato l’utilizzo dell’IA generativa per piani finali nella serie argentina The Eternaut.

Il Caso d’Uso: Una sequenza complessa di crollo di edifici e ambienti post-apocalittici. Tradizionalmente, ciò avrebbe richiesto simulazioni fisiche costose e settimane di rendering.

L’Argomento Economico: Ted Sarandos, co-CEO di Netflix, ha affermato che l’utilizzo dell’IA aveva permesso di realizzare la sequenza “10 volte più veloce” e a un costo irrisorio.

La vera rivoluzione: L’IA non sostituisce (ancora) gli attori principali. Sostituisce le texture, gli sfondi, le folle e le distruzioni. Si infiltra nei “pixel invisibili”, quelli che lo spettatore non nota consapevolmente, ma che costano abitualmente milioni da produrre.

4.4 Le Tensioni Culturali: L’IA e l’Appropriazione della Danza

L’impatto dell’IA si è esteso anche alle arti performative, sollevando profonde questioni etiche sull’appropriazione culturale.

Il Caso della “Bird Dance”: Dei membri della tribù Cahuilla hanno denunciato i tentativi dell’IA di riprodurre la loro danza tradizionale. I modelli, addestrati su video YouTube senza contesto, generavano imitazioni giudicate “irrispettose” e prive del significato spirituale originale.

Minaccia sui Ballerini Commerciali: I ballerini di contorno per le star del pop hanno espresso il timore di essere sostituiti da avatar generati o ologrammi nei video e nei concerti.

Conclusione: Verso una Realtà Sintetica Ibrida

La traiettoria percorsa tra il 2023 e il 2026 è vertiginosa. Siamo passati in tre anni da video sfocati di 4 secondi (Gen-2) a simulazioni fisiche complesse, sonore e coerenti (Sora 2, Gen-4).

Tre Insegnamenti Maggiori

1. La Vittoria della Simulazione sull’Animazione: L’approccio architetturale vincente (DiT + Spacetime Patches) tratta il video come una simulazione di mondo. I modelli non cercano più di “animare immagini”, cercano di “comprendere la fisica”. L’iniziativa General World Models di Runway conferma che l’obiettivo finale non è il cinema, ma la creazione di simulatori universali per la robotica, i videogiochi e la realtà virtuale.

2. Il Controllo è Re: La potenza bruta di generazione (Sora) non basta. È l’interfaccia di controllo (Runway Director Mode, Act-Two) che trasforma la tecnologia in strumento professionale. La capacità di dirigere l’IA come si dirige un attore o una telecamera è stato il fattore decisivo di adozione.

3. L’Ibridità Industriale: Le paure apocalittiche di una sostituzione totale di Hollywood non si sono materializzate. Invece, l’industria si è ibridata. Gli attori umani recitano i ruoli principali (protetti dalla SAG-AFTRA), mentre l’IA gestisce le scenografie, le folle e le distruzioni. L’IA è diventata il “pennello infinito” dei VFX, riducendo i costi di produzione senza eliminare il bisogno di visione artistica umana.

La Domanda del 2027

All’alba del 2027, la domanda non è più “l’IA può creare video?”, ma “quale parte della nostra realtà visiva sarà ora sintetica?”.

Con la democratizzazione degli strumenti come Act-Two, la barriera tra il creatore amatoriale e lo studio professionale è crollata, promettendo una nuova era di narrazione visiva in cui l’unico limite rimanente è, letteralmente, l’immaginazione.

Pubblicato il 28 marzo 2026