GIANCARLO ELIA VALORI
Honorable de l’Académie des Sciences de l’Institut de France Honorary Professor at the Peking University
Negli ultimi anni, il rapido sviluppo di metodi di imaging ad alte dimensionalità e definizione ha aperto un ampio margine di sviluppo a questo settore. Sono emersi in un flusso infinito contenuti di visualizzazione, multidimensionali e interattivi. Il metodo di ripresa a 360° bullet time, introdotto dal film Matrix (1999), è stato ampiamente utilizzato in eventi sportivi, mostre di arti performative e altri settori. Il bullet time (proiettile rallentato) è un effetto in cui un momento di una scena viene mostrato al rallentatore, dando l’impressione che lo sguardo dell’osservatore si distacchi nel tempo e nello spazio dal soggetto ripreso; o meglio se un protagonista velocissimo (nel caso della fantascienza) debba compiere molte azioni nel tempo in cui un proiettile si diriga dall’arma da fuoco all’obiettivo, si rallenta il percorso del proiettile e il protagonista a velocità normale compie le proprie azioni.
La computer grafica e l’industria cinematografica formano una profonda interazione e raggiungono risultati sorprendenti in base a ricerche basate sulla scienza e l’intuito di registi e programmatori di intelligenza artificiale.
Vi è inoltre il sistema di pre-produzione virtuale che applica in modo efficace la tecnologia digitale tridimensionale in tempo reale in maniera da realizzare piani di creazione e immagini sotto forma di performance reale + sintesi digitale. Il sistema è stato utilizzato nella pre-produzione virtuale di molti film come The Bravest (2019) e A city called Macau (2019). Tecnologie correlate sono state applicate anche a scenari quali spettacoli teatrali ed eventi sportivi, consentendo una gestione intelligente della progettazione della sede, della simulazione del percorso e della posizione della telecamera e della simulazione dell’angolo di visione dei posti a sedere del pubblico.
È fondamentale il sostegno del concetto di profonda integrazione tra informatica e arte, al pari l’innovazione costante fra il processo di produzione cinematografica e televisiva, onde rendere la creazione più efficiente e intelligente.
Per risolvere il problema della pianificazione della traiettoria della telecamera, indispensabile nel sistema di pre-produzione virtuale, è stato a) sviluppato un algoritmo di controllo della telecamera virtuale basato su campioni e fotogrammi chiave, e b) proposto un metodo più intuitivo e facile da usare per generare automaticamente le traiettorie della telecamera. Grazie all’apprendimento delle tecniche di movimento della telecamera da film reali, si è in grado di controllare in modo intelligente il movimento delle telecamere virtuali per ottenere riprese di tipo cinematografico. L’implementazione di tale tecnologia fornisce un forte supporto al sistema di produzione virtuale. Non solo fornisce un controllo flessibile ed efficiente della telecamera, ma abbassa anche la soglia per l’utilizzo del sistema di produzione virtuale e realizza la modifica della traiettoria della telecamera in tempo reale.
Con il rapido sviluppo di modelli linguistici di grandi dimensioni, l’attenzione è rivolta ai movimenti della telecamera per la generazione di testo. Da un lato, ciò si basa su capacità avanzate di codifica del testo per comprendere le descrizioni professionali di film e televisione; dall’altro, si costruisce una mappatura tra testo e movimenti della telecamera attraverso un modello di diffusione. Ricerche correlate possono realizzare la generazione automatica di piani specifici per i movimenti della telecamera a partire da istruzioni di testo, come spingere, tirare, scuotere e spostare l’obiettivo, cambiare scena, regolare gli angoli di ripresa, ecc., presentando così un’immagine visiva conforme al contesto della sceneggiatura.
Si ha la possibilità di ricostruire digitalmente oggetti e scene nel mondo tridimensionale per realizzare aspetti simili al mondo reale. La ricerca ha permesso di ottenere una scansione e una ricostruzione efficienti della scena basate sulla collaborazione tra più robot migliorando ulteriormente l’efficienza della scansione della scena e consentendo una rapida ricostruzione digitale tridimensionale del mondo reale. La pianificazione del percorso, la divisione del lavoro e la collaborazione di più robot hanno migliorato notevolmente la velocità di ricostruzione e migliorato efficacemente l’efficienza dell’acquisizione e della ricostruzione delle risorse digitali.
I team di programmazione sfruttano l’intersezione tra fisica e informatica per simulare nel mondo digitale vari fenomeni naturali del mondo reale e creare animazioni con effetti speciali raffinati e realistici. Ci si addentra nel campo della “simulazione fisica”, cercando di costruire scene dinamiche più accurate ed efficienti, al punto che il cinespettatore si chiede come si possano raffigurare scenari simili – specie catastrofici – in un ambiente normale, ossia quel che l’osservatore pensi sia uno studio cinematografico o un normale ambiente naturale.
Nei recentissimi anni, i team di programmazione hanno studiato sistematicamente l’uso della tecnologia di cattura del movimento per raccogliere dati sui gesti umani e hanno utilizzato metodi di apprendimento profondo e guida multimodale come voce e testo per ottenere la generazione e il controllo del movimento, ottenendo così effetti come gesti stilizzati di personaggi animati.
Durante il 2022, nel corso dei XXIV Giochi Olimpici Invernali (4-20 febbraio) e i XIII Giochi Paralimpici Invernali (4-13 marzo), la tecnologia e il sistema di esperienza visiva multidimensionale interattiva per eventi su ghiaccio e neve, hanno ottenuto l’effetto Multi-Point of View (Multi-POV) delle trasmissioni televisive e cinematografiche tramite riprese simultanee con più serie di telecamere, consentendo a ciascuno spettatore, attraverso il suo mezzo multimediale, di controllare in modo indipendente l’angolazione di visione e di guardare i momenti emozionanti delle gare in modo più coinvolgente. Traslato in senso cinematografico il Multi-POV si riferisce a una tecnica di narrazione che utilizza diverse prospettive per raccontare una storia, anziché concentrarsi su un solo punto di vista del personaggio o della trama: invece di vedere la storia solo attraverso gli occhi di un personaggio, il Multi-POV permette allo spettatore di osservare gli eventi e le relazioni tra i personaggi da varie angolazioni, fornendo una comprensione più ampia e completa della storia.
Il team ha inoltre introdotto nella trasmissione dell’evento il predetto bullet time, ottenendo nella trasmissione in diretta un effetto che in origine richiedeva un lungo periodo di calcolo e rendering. Queste tecnologie e i risultati della ricerca e sviluppo hanno avuto appunto origine nell’industria cinematografica; sono stati applicati ad altri settori e contribuiranno allo sviluppo della tecnologia di produzione cinematografica. Si prevede che apporteranno cambiamenti significativi nel processo di creazione delle “pellicole” e promuoveranno lo sviluppo della verso supporti di imaging a più dimensioni.
