Uno scienziato di dati Netflix ha insegnato un A.I. per riconoscere le scene di smooching nei film
Un senior data scientist di Netflix ha insegnato un algoritmo di intelligenza artificiale (AI) per poter riconoscere gli smooches. Amir Ziai ha sviluppato lo strumento, che è in grado di guardare film e riconoscere scene in cui i personaggi chiudono le labbra, come parte del suo lavoro per ottenere un certificato di laurea AI dalla Stanford University.
Ha selezionato scene di baci perché, ha detto a Digital Trends, possono essere difficili da rilevare utilizzando le tradizionali tecniche di elaborazione video. Questo perché le macchine si confondono facilmente e producono falsi positivi quando vedono altri scenari in cui due persone sono vicine l'una all'altra – come ad esempio scene parlanti o in cui i personaggi camminano nelle immediate vicinanze.
"La formazione è stata fatta utilizzando un database di film di Hollywood che abbracciano più decenni e generi", ha detto Ziai. "Ho annotato i segmenti baciati e non baciati in 100 di questi film, e ho usato quei segmenti per addestrare una rete neurale multimodale che utilizza sia funzionalità audio che visive da segmenti di 1 secondo. La principale sfida con la formazione di questi modelli è duplice. Prima di tutto, dovevo assicurarmi di aver annotato una serie rappresentativa di esempi di formazione che ti aiutassero a generalizzare a una serie diversificata di film. In secondo luogo, la formazione di modelli di deep learning sul video può richiedere molte risorse. "
Ciò nonostante, ha tirato fuori l'impresa, e lo strumento risultante risulta essere straordinariamente preciso. Il sistema utilizza un processo a due fasi. Innanzitutto, utilizza un classificatore binario per prevedere se il bacio è o non sta avvenendo utilizzando le funzioni estratte da fotogrammi fissi e onde audio. Il secondo componente aggrega quindi le etichette binarie per "segmenti non contigui contigui" in un insieme di scene di baci. Il risultato finale raggiunge un punteggio F1 di validazione di 0,95 su un database diversificato di film.
Va notato che Ziai non è l'unica persona interessata a far riconoscere ai baci l'intelligenza artificiale. Recentemente, Google ha presentato una nuova funzionalità per il suo strumento Photobooth che richiede agli smartphone Pixel di scattare automaticamente le foto quando riconoscono che i soggetti in una cornice si baciano.
"Sistema come il rilevatore di baci può essere usato per aggiungere automaticamente i metadati ai film", ha detto Ziai. "Questi metadati possono essere utilizzati per cercare e recuperare frammenti rilevanti. Ad esempio, un editor video può utilizzare tali metadati per trovare rapidamente segmenti rilevanti e accelerare il processo di modifica di un film. "
Un documento che descrive il lavoro, intitolato Detecting Kissing Scenes in un database di Hollywood Films, è disponibile per la lettura sul server di preprint arXiv .
