Guarda Meta che mostra il monitoraggio VR di tutto il corpo con un solo visore Quest
Meta Reality Labs sta facendo grandi passi avanti nel rendering di avatar con gli ultimi progressi che combinano l’apprendimento automatico (ML) con i dati dei sensori dei visori Quest VR per mostrare tutto il tuo corpo, inclusi braccia, gambe, busto e testa. Il risultato è una rappresentazione molto realistica e accurata delle pose e dei movimenti di una persona che indossa un visore Quest 2.
Questo è abbastanza sorprendente poiché solo le posizioni e gli orientamenti del visore Quest VR e dei suoi due controller sono stati utilizzati per stimare il movimento e la posizione delle gambe. Non ci sono bande di tracciamento posizionate sulle gambe e nessuna telecamera esterna utilizzata per questo straordinario sistema. Alexander Winkler , scienziato del Meta Research, ha condiviso diversi video su Twitter insieme a collegamenti all’articolo scientifico su arXiv e un video di YouTube con maggiori dettagli.
In senso scientifico, questo è noto come rilevamento del movimento da sensori sparsi e ML è particolarmente abile nell’estrarre informazioni significative da pochissimo, se ci sono abbastanza dipendenze tra ciò che è noto e ciò che è sconosciuto. Dal momento che facciamo oscillare le braccia per mantenere l’equilibrio quando camminiamo e corriamo, il movimento delle braccia è un buon indicatore di ciò che le gambe di solito fanno. In combinazione con l’inclinazione e la direzione della testa, il sistema ML può prevedere la maggior parte dei movimenti umani in modo molto accurato.
Gli approcci più tradizionali per il tracciamento degli arti si basano su hardware aggiuntivo, come indicatori riflettenti posizionati sulle gambe e sul busto identificati da telecamere esterne o bande con segnali wireless indossati in vari punti delle gambe per trasmettere dati di posizione e movimento.
Sebbene questi metodi funzionino, quelli sono in genere venduti come accessori che costano di più e non sono ben supportati nella maggior parte delle app e dei giochi. Se Meta può ottenere risultati così buoni con un visore Quest 2, gli sviluppatori saranno più propensi a costruire il rilevamento del corpo nei loro giochi e app.
Nonostante questi significativi progressi, Meta Reality Labs ammette che è necessario fare più lavoro. Se ti muovi abbastanza velocemente, il modello ML non riesce a identificare correttamente la tua posa. Le posizioni insolite sono difficili da valutare per il computer e se l’ambiente virtuale presenta ostacoli che non esistono nella realtà, il movimento non corrisponderà. L’effetto complessivo sembra essere molto buono, tuttavia, e sarebbe un bel miglioramento poter vedere un corpo intero invece di un busto fluttuante quando si chatta con gli amici in VR.
Si spera che questa tecnologia sia pronta per il lancio presto. Con l’annuncio dell’auricolare Quest Pro di Meta previsto tra poche settimane, i tempi per gli avatar a corpo intero sembrano perfetti. Meta Quest Pro è in grado di monitorare i movimenti oculari e le espressioni facciali, fornendo un migliore senso di presenza ai tuoi amici, familiari e colleghi che potrebbe essere notevolmente migliorato nel prossimo futuro.
