MIT e il nuovo A.I. di IBM lo strumento di modifica delle immagini ti consente di dipingere con i neuroni
Indipendentemente dal fatto che tagga automaticamente gli oggetti nelle immagini o la possibilità di modificare l'illuminazione e separare i soggetti dallo sfondo usando la "modalità ritratto" dell'iPhone , non c'è dubbio che l'intelligenza artificiale è una forza potente nei moderni strumenti di fotoritocco.
Ma se fosse possibile fare un ulteriore passo avanti e utilizzare le ultime tecnologie all'avanguardia per sviluppare quello che potrebbe essere il programma di verniciatura più ambizioso del mondo (e, a suo modo, immaginativo), che va ben oltre il semplice tocco su o analizzando freddamente le vostre immagini esistenti?
Con un programma del genere, tutto ciò che una persona avrebbe bisogno di fare per rimuovere una linea antiestetica di macchine che imbrogliano un'immagine della loro casa di famiglia sarebbe passarle sopra con un pennello. Come per magia, i veicoli sarebbero sostituiti da una banca erbosa fotorealistica. Vuoi eliminare quel fotobomber da uno dei tuoi scatti di vacanza? Nessun problema: basta fare clic per selezionarli e svaniranno al posto di un polo di utilità che sembra sia sempre stato lì. Che ne dici di aggiungere una porta autenticamente antica a una foto di una vecchia chiesa? Clicca ed è fatto. Hai un'idea.
Questo è ciò a cui i ricercatori del Massachusetts Institute of Technology e IBM stanno lavorando con una nuova dimostrazione tecnologica che chiamano "GAN Paint Studio". Descritto dai suoi creatori che fornisce la capacità di "dipingere con i neuroni" – riferendosi ai neuroni artificiali di una rete neurale di apprendimento automatico: è uno degli strumenti di fotoritocco potenzialmente più trasformativi mai creati.
Permette agli utenti di caricare un'immagine di loro scelta e quindi modificare qualsiasi aspetto di esso che desiderano, sia che cambi la dimensione degli oggetti o aggiunga oggetti e oggetti completamente nuovi. Pensa a Photoshop per la generazione "deepfake" , anche se attualmente è più una prova di concetto che un prodotto finito.
Il futuro degli strumenti creativi
"Quello che abbiamo creato con questo lavoro è un punto di partenza per mostrare come gli strumenti creativi in futuro potrebbero funzionare", ha detto Hendrik Strobelt , ricercatore presso il MIT-IBM Watson AI Lab, a Digital Trends. "Siamo partiti da una rete neurale [denominata] GAN che può produrre le proprie immagini di una determinata categoria, ad esempio immagini di cucina, e ha analizzato quali parti interne della rete sono responsabili della produzione di tale funzione. Questo ci ha permesso di modificare le immagini prodotte dalla rete. Abbiamo 'disegnato' su di loro. La novità che abbiamo aggiunto è che puoi caricare la tua immagine di questa categoria e modificarla con pennelli che non disegnano solo tratti, ma in realtà disegnano unità semanticamente significative, come alberi, mattoni o cupole. "
Un GAN, o Generative Adversarial Network, è uno degli strumenti più potenti usati nell'intelligenza artificiale generativa. Un GAN mette due reti neurali artificiali l'una contro l'altra. Una rete genera nuove immagini, mentre l'altra tenta di capire quali immagini sono generate al computer e quali no. Nel corso del tempo, questo processo contraddittorio generativo fa sì che la rete "generatore" diventi sufficientemente brava a creare immagini che possano ingannare il "discriminatore" ogni volta. Un GAN era la tecnologia alla base dell'opera d'arte dell'intelligenza artificiale che, nel 2018, è stata venduta per un sacco di soldi a un'asta di Christie's .
Il sistema sviluppato dai ricercatori del MIT e dell'IBM mostra alcune abilità pulite. Un po 'come Deep Dream , lo strumento di generazione di immagini scattante sviluppato dai ricercatori di Google diversi anni fa, mostra una comprensione impressionante di quali immagini combaciano. Come risultato della formazione su un vasto archivio di immagini, acquisisce una comprensione delle regole di base che governano le relazioni tra gli oggetti. Ad esempio, chiedigli di aggiungere un oggetto nel cielo e non disegnerà una finestra – dato che sa che le finestre non sono (o sono) mai trovate di solito lì.
Come nota Strobelt, GAN Paint Studio non è ancora pronto per la prima serata. Anche se i membri del pubblico possono provarne l'uso , c'è ancora molto lavoro da fare. In particolare, la versione dimostrativa è attualmente a bassa risoluzione. Tuttavia, mostra l'immensa promessa della tecnologia.
Immaginazione stimolante
"Le parti più divertenti [della tecnologia] sono in realtà quando la tua immaginazione è sfidata", ha detto Strobelt. "Prova ad aggiungere una porta all'immagine di Palazzo Vecchio; è una specie di strabiliante se conosci il posto. Il sistema è ben lungi dall'essere perfetto e non tutte le immagini possono essere modificate altrettanto bene. C'è ancora bisogno di ricerche su come ottimizzare tutte le parti. Ad esempio, quando il modello GAN tenta di rappresentare il modello di input, potrebbe benissimo usare le unità semantiche sbagliate per riprodurre le caratteristiche – potrebbe […] solo generare una porta fuori dalle unità ad albero. Capire quando e come funziona, giusto o sbagliato, è in realtà un lavoro futuro molto interessante. "
Proprio come i GAN migliorano nel tempo, quindi Strobelt pensa che si apriranno le applicazioni per GAN Paint Studio. "L'ovvia prima idea sarebbe un editor di foto con questi pennelli e gomme semantiche", ha detto. "Questo potrebbe aiutarti a modificare le foto delle vacanze, ad esempio. Potrebbe anche consentire agli architetti di creare rapidamente variazioni sull'integrazione dei loro rendering degli edifici. [I progettisti di giochi potrebbero anche [usarlo] per modificare più rapidamente le mappe di livello. "
Se tale tecnologia potesse essere aggiunta agli effetti video, risulterebbe anche immensamente potente. Ciò consentirebbe agli oggetti di essere inseriti in colpi con il solo to
cco di un pulsante. Se un regista si rendesse conto di aver dimenticato di includere un elemento di sfondo cruciale per la trama in una scena completata, potrebbe essere rapidamente aggiunto – senza la necessità degli attuali e costosi processi di effetti visivi.
Strobelt è decisivo nel dire che non pensa che GAN Pain Studio sia veramente, autonomamente creativo . "No", ha detto, decisamente. "Lo vedo come uno strumento avanzato per aiutare gli umani che pensano di non essere creativi per sfidare questo pensiero."
Poi di nuovo, che cosa è la creatività? Come con molti altri aspetti della nostra vita, come i lavori che crediamo che solo gli umani possano fare , sembra che l'IA sia pronta a porre le grandi domande.
