Fai leva, apri lo Snapdragon 8 e vedi che è pieno dei migliori documenti per le riunioni

“Oltre all’ottimizzazione delle foto e agli assistenti vocali, cos’altro ha l’intelligenza artificiale dei telefoni cellulari?”

Quando la nuova generazione di piattaforma mobile Snapdragon 8 è stata rilasciata quest’anno, Qualcomm ha nuovamente tradotto e tradotto, che cos’è un grande buco nel cervello——

Lascia che il cellulare impari ad “autorizzare” e riconoscere attraverso la voce possibili malattie dell’utente, come depressione e asma;

Lascia che il telefono cellulare realizzi “anti-peeping” e realizzi la schermata di blocco automatico riconoscendo la vista di utenti sconosciuti;

Lascia che i giochi per dispositivi mobili ottengano una risoluzione super e porta la qualità dell’immagine che era in grado di eseguire solo sul lato PC sul telefono cellulare per provare…

Ancora più importante, Snapdragon 8 ha la capacità di eseguire queste funzioni AI contemporaneamente !

Qualcomm afferma che il motore AI di settima generazione dello Snapdragon 8 ha un aumento delle prestazioni fino a 4 volte rispetto alla generazione precedente .

Ciò significa che quando giochiamo sui telefoni cellulari, non è un problema “aprire” più applicazioni AI contemporaneamente. Ancora più importante, non è solo un semplice miglioramento delle prestazioni dell’IA, ma anche un’esperienza applicativa fluida per gli utenti.

Oggi, quando gli aggiornamenti dei processi hardware sono così difficili, come ha fatto Qualcomm a “rivelare” così tanti nuovi trucchi nelle prestazioni e nell’applicazione del motore AI di settima generazione?

Abbiamo esaminato alcuni documenti di ricerca e documenti tecnici pubblicati da Qualcomm e abbiamo trovato alcuni “indizi”:

Nel documento dello strumento open source AIMET rilasciato da Qualcomm, sono presenti informazioni su “come comprimere il modello di super risoluzione AI”;

In un blog tecnico relativo all’”Anti-peeping”, ho introdotto come utilizzare la tecnologia di rilevamento dei bersagli con la premessa della protezione della privacy…

Questi documenti e i principali documenti per conferenze dietro i blog tecnici provengono tutti da un’organizzazione: Qualcomm AI Research Institute .

Si può dire che Qualcomm ha “nascosto” molti documenti AI pubblicati dall’istituto di ricerca nel motore AI di 7a generazione.

Top meeting paper “Nascondere” l’IA mobile

Diamo un’occhiata al miglioramento dell’algoritmo della fotocamera del motore AI di settima generazione .

Mirando a questo punto di riconoscimento intelligente, Qualcomm ha aumentato i punti di riconoscimento delle caratteristiche facciali a 300 quest’anno, in grado di catturare cambiamenti di espressione più sottili.

Ma allo stesso tempo, Qualcomm ha aumentato la velocità di rilevamento dei volti del 300% . Come hai fatto?

In uno studio pubblicato da Qualcomm su CVPR, abbiamo trovato la risposta.

In questo articolo, Qualcomm ha proposto un nuovo livello di convoluzione chiamato Skip-Convolutions (salta convoluzione), che può sottrarre due immagini prima e dopo e convolure solo la parte modificata.

Sì, proprio come gli occhi umani, è più facile notare la “parte in movimento”.

Ciò consente a Snapdragon 8 di concentrarsi maggiormente sull’oggetto target stesso durante l’esecuzione di algoritmi di rilevamento del flusso video in tempo reale come il rilevamento del target e il riconoscimento delle immagini e allo stesso tempo utilizzare la potenza di calcolo in eccesso per migliorare la precisione.

Potresti chiedere, qual è l’uso del riconoscimento facciale con tali dettagli per scattare foto?

Inoltre, questa volta Qualcomm e Leica hanno lanciato insieme il filtro Leica Leitz , utilizzando un motore intelligente basato sull’intelligenza artificiale, che include algoritmi come il rilevamento dei volti, consentendo agli utenti di scattare in modo più intelligente senza pensare foto in stile artistico.

Non solo il rilevamento dei volti, ma le funzioni di scatto intelligenti di Qualcomm includono anche la super-risoluzione, la riduzione del rumore multi-frame, la compensazione del movimento locale…

Tuttavia, il flusso video nelle riprese ad alta risoluzione è solitamente in tempo reale. In che modo il motore AI elabora in modo intelligente una quantità così grande di dati?

È anche un documento CVPR Qualcomm ha proposto una rete neurale composta da più classificatori in cascata, che possono modificare il numero di neuroni utilizzati nel modello in base alla complessità del fotogramma video e controllare da sé la quantità di calcolo.

Di fronte al processo “grande volume e complesso” dell’elaborazione video intelligente, l’intelligenza artificiale ora può tenerlo.

Oltre alla fotografia intelligente, questa volta anche la tecnologia vocale di Qualcomm è un punto luminoso.

Come accennato all’inizio, il motore AI di settima generazione supporta l’uso dei telefoni cellulari per accelerare l’analisi dei modelli vocali dell’utente per determinare il rischio di condizioni di salute come asma e depressione.

Quindi, come distingue esattamente la voce dell’utente senza coinvolgere la raccolta dei dati?

Nello specifico, Qualcomm ha proposto un metodo di apprendimento federato sul telefono cellulare, che non solo può utilizzare il modello di formazione vocale degli utenti di telefoni cellulari, ma garantisce anche che la privacy dei dati vocali non venga trapelata.

Molte di queste funzioni AI possono essere trovate nei documenti pubblicati dal Qualcomm AI Research Institute.

Gli indizi che si possono trovare anche sono il supporto teorico che AI ​​ha citato all’inizio per migliorare le prestazioni dei telefoni cellulari. Questo deve menzionare una domanda:

Con così tanti modelli di intelligenza artificiale in esecuzione contemporaneamente, in che modo Qualcomm migliora le prestazioni di elaborazione dell’hardware?

Qui dobbiamo menzionare la quantificazione di una direzione di ricerca chiave di Qualcomm negli ultimi anni .

A giudicare dall’ultima roadmap tecnologica rilasciata da Qualcomm, la quantificazione dei modelli è sempre stata una delle tecnologie fondamentali che AI ​​Research Institute ha studiato negli ultimi anni, con lo scopo di “snellire” i modelli di intelligenza artificiale.

A causa della potenza limitata, della potenza di calcolo, della memoria e delle capacità di dissipazione del calore, il modello AI utilizzato dai telefoni cellulari è molto diverso dal modello AI sui PC.

Sul PC, la GPU ha centinaia di watt di potenza ad ogni turno e il calcolo del modello AI può utilizzare numeri in virgola mobile a 16 o 32 bit (FP16, FP32). Il SoC del telefono cellulare ha solo pochi watt di potenza ed è difficile memorizzare modelli AI di grandi volumi.

A questo punto, è necessario ridurre il modello FP32 a un numero intero a 8 bit (INT8) o addirittura a un numero intero a 4 bit (INT4), assicurandosi che l’accuratezza del modello non subisca troppe perdite.

Prendendo come esempio il modello della stuoia AI, di solito possiamo ottenere una stuoia AI molto accurata con la potenza di calcolo di un processore di computer, ma al contrario, se vogliamo usare un telefono cellulare per ottenere una stuoia AI “quasi effetto”, dobbiamo devo usarlo Per il metodo di quantificazione del modello.

Al fine di consentire l’installazione di più modelli di intelligenza artificiale sui telefoni cellulari, Qualcomm ha svolto molte ricerche quantitative.I documenti pubblicati alla conferenza principale includono la quantizzazione senza dati DFQ, il meccanismo di arrotondamento AdaRound e la tecnologia di eliminazione e quantizzazione congiunta Bayesian Bits ( bit bayesiani). )Aspetta.

Tra questi, DFQ è una tecnologia di quantizzazione priva di dati che può ridurre il tempo di addestramento delle attività di intelligenza artificiale e migliorare le prestazioni di accuratezza della quantizzazione.Su MobileNet, il modello di intelligenza artificiale più comune sui telefoni cellulari, DFQ ha ottenuto le migliori prestazioni rispetto a tutti gli altri metodi:

AdaRound può ridurre il peso delle reti complesse Resnet18 e Resnet 50 a 4 bit, il che riduce notevolmente lo spazio di archiviazione del modello, perdendo solo meno dell’1% di precisione:

Come nuova operazione di quantizzazione, i bit bayesiani possono non solo raddoppiare la larghezza di bit, ma anche quantizzare l’errore residuo tra il valore di piena precisione e il precedente valore arrotondato a ogni nuova larghezza di bit, in modo da ottenere precisione ed efficienza. -spento tra.

Queste tecnologie non solo consentono a più modelli di intelligenza artificiale di funzionare su telefoni cellulari con un consumo energetico inferiore , come la super-risoluzione AI di gioco (simile a DLSS) che può essere eseguita solo su computer, ora può essere eseguita su Snapdragon 8. ；

Anche alcuni di questi modelli di intelligenza artificiale possono “funzionare contemporaneamente”, come il rilevamento dei gesti e il riconoscimento facciale:

In effetti, la tesi è solo il primo passo.

Se desideri applicare rapidamente le funzionalità di intelligenza artificiale a più applicazioni, sono necessarie anche più piattaforme e strumenti open source.

Libera più funzionalità di intelligenza artificiale per l’applicazione

A questo proposito, Qualcomm mantiene una mente aperta.

I metodi e i modelli per costruire in modo efficiente applicazioni AI in questi documenti, Qualcomm AI Research Institute attraverso la cooperazione, l’open source e altri metodi, li ha condivisi con più comunità di sviluppatori e partner, in modo che possiamo sperimentare di più su Snapdragon 8. Funzioni e applicazioni interessanti.

Da un lato, Qualcomm ha collaborato con Google per condividere con gli sviluppatori la capacità di sviluppare rapidamente più applicazioni AI.

Qualcomm è dotata del servizio Vertex AI NAS di Google su Snapdragon 8 , che viene ancora aggiornato mensilmente, il che significa che le applicazioni AI sviluppate dagli sviluppatori sul motore AI di settima generazione possono aggiornare rapidamente le prestazioni del modello.

Utilizzando il NAS, gli sviluppatori possono utilizzare automaticamente l’intelligenza artificiale per generare modelli appropriati, inclusi l’algoritmo della fotocamera intelligente, la traduzione vocale e la super risoluzione annunciata da Qualcomm durante la riunione principale. Possono essere tutti inclusi nella “gamma di screening” dell’intelligenza artificiale e sviluppati automaticamente per lo sviluppo Abbina il modello migliore.

Qui vengono utilizzati gli algoritmi di compensazione del movimento e di interpolazione dei fotogrammi di Qualcomm. E simile a queste tecnologie AI, gli sviluppatori possono implementarlo anche tramite NAS e può adattarsi meglio a Snapdragon 8, senza il problema di “sintonizzazione inefficace”.

Immagina che quando giocherai su un telefono cellulare dotato di Snapdragon 8 in futuro, sentirai che l’immagine è più fluida, ma non perderà più potenza (riferendosi a un maggiore consumo di energia):

Allo stesso tempo, il mantenimento del modello AI è diventato più semplice. Secondo Google, rispetto ad altre piattaforme, il numero di righe di codice necessarie per addestrare un modello per Vertex AI NAS può essere ridotto di quasi l’80%.

D’altra parte, Qualcomm ha anche reso open source i propri strumenti che sono stati studiati e quantificati nel corso degli anni.

L’anno scorso, Qualcomm ha reso open source uno strumento di “ miglioramento dell’efficienza” del modello chiamato AIMET (AI Model Efficiency Toolkit).

Include un gran numero di algoritmi di compressione e quantizzazione come la potatura della rete neurale e la decomposizione del valore singolare (SVD), molti dei quali sono i risultati dei principali documenti di conferenze pubblicati dal Qualcomm AI Research Institute. Dopo che gli sviluppatori hanno utilizzato gli strumenti AIMET, possono utilizzare direttamente questi algoritmi per migliorare i loro modelli di intelligenza artificiale e farli funzionare in modo più fluido sui telefoni cellulari.

Le capacità quantitative di Qualcomm non sono solo open source per gli sviluppatori ordinari, ma consentono anche l’implementazione su Snapdragon 8 di più applicazioni di intelligenza artificiale delle principali aziende di intelligenza artificiale.

Sul nuovo Snapdragon 8, hanno collaborato con Hugging Face, una nota azienda nel campo della PNL, in modo che l’assistente intelligente sul telefono possa aiutare gli utenti ad analizzare le notifiche e consigliare quali dare priorità, in modo che gli utenti possano vedere le più importanti notifiche a colpo d’occhio.

Quando si esegue il proprio modello di analisi del sentiment sul motore AI di Qualcomm, può raggiungere una velocità 30 volte superiore rispetto alla normale velocità della CPU .

È proprio la precipitazione della ricerca tecnica e l’atteggiamento aperto mantenuto nella tecnologia che Qualcomm continua a rinfrescare i vari “nuovi buchi cerebrali” dell’intelligenza artificiale nel settore della telefonia mobile:

Dal video precedente “eliminazione intelligente”, muto per riunioni intelligenti, allo schermo per la privacy di quest’anno, super risoluzione del telefono cellulare…

Esistono più applicazioni di intelligenza artificiale implementate da documenti, piattaforme e strumenti open source, tutti anch’essi supportati da questo motore di intelligenza artificiale.

Il Qualcomm AI Research Institute, che si è nascosto dietro queste ricerche, è riemerso ancora una volta con l’apparizione del motore AI di settima generazione.

Qualcomm AI “soft and hard”

La maggior parte delle volte, la nostra impressione su Qualcomm AI sembra rimanere sulle “prestazioni hardware” del motore AI.

Dopotutto, dal lancio del primo progetto AI nel 2007, Qualcomm ha migliorato le capacità di elaborazione per i modelli AI in termini di prestazioni hardware.

Tuttavia, anche la ricerca di Qualcomm sugli algoritmi di intelligenza artificiale “ha già pianificato”.

Nel 2018, Qualcomm ha fondato l’AI Research Institute, guidato da Max Welling , noto teorico nel campo dell’AI , ed è uno studente di Hinton, il padre del deep learning.

Secondo statistiche incomplete, da quando Qualcomm ha istituito l’AI Research Institute, decine di articoli sono stati pubblicati nelle principali conferenze accademiche di AI come NeurIPS, ICLR e CVPR.

Tra questi, almeno 4 documenti di compressione modello sono stati implementati sul lato AI dei telefoni cellulari e ci sono molti documenti relativi alla visione artificiale, al riconoscimento vocale e all’informatica sulla privacy.

Si può dire che il suddetto motore AI di settima generazione sia solo un microcosmo dei risultati della ricerca di Qualcomm sugli algoritmi AI negli ultimi anni.

Attraverso i risultati della ricerca di Qualcomm AI, Qualcomm ha anche esteso con successo il modello AI a molti scenari applicativi tecnologici all’avanguardia.

In termini di guida autonoma , Qualcomm ha lanciato la Snapdragon Automotive Digital Platform, che “contiene” una soluzione completa dai chip agli algoritmi di intelligenza artificiale. Attualmente, ha raggiunto la cooperazione con più di 25 case automobilistiche e il numero di auto connesse che utilizzano le loro soluzioni sono state raggiunte 200 milioni di veicoli.

Tra questi, il sistema di guida assistita di prossima generazione di BMW e il sistema di guida autonoma adotteranno la soluzione di guida autonoma di Qualcomm.

Su XR , Qualcomm ha rilasciato la piattaforma di sviluppo Snapdragon Spaces XR per lo sviluppo di dispositivi e applicazioni come gli occhiali AR montati sulla testa.

Grazie alla collaborazione con Wanna Kicks, Snapdragon 8 porta anche le funzionalità del motore AI di settima generazione all’app di prova AR.

Sui droni , Qualcomm ha rilasciato quest’anno la piattaforma Flight RB5 5G. Molte di queste funzioni, come l’evitamento degli ostacoli a 360°, la fotografia dei droni e l’anti-shake, possono essere implementate tramite il modello AI sulla piattaforma. Tra questi, il primo UAV a raggiungere Marte, il “Gizwit”, è dotato di processori e relative tecnologie fornite da Qualcomm.

Guardando indietro, non è difficile scoprire che questa volta Qualcomm non enfatizza più il miglioramento della potenza di calcolo dell’hardware (TOPS) nelle prestazioni dell’IA, ma integra software e hardware nel suo insieme e ottiene i dati di un miglioramento di 4 volte nelle prestazioni dell’IA, e rafforza ulteriormente l’esperienza dell’applicazione AI. Atterraggio a tutto tondo.

Ciò non solo dimostra che Qualcomm presta maggiore attenzione all’effettiva esperienza degli utenti, ma mostra anche la fiducia di Qualcomm nella propria forza del software, perché l’hardware non è più una manifestazione completa delle capacità di intelligenza artificiale di Qualcomm.

Si può dire che l’aggiornamento del motore AI di settima generazione di Snapdragon 8 segna l’inizio dell’integrazione hardware e software AI di Qualcomm .

Recentemente, Qualcomm ha presentato diverse nuove ricerche sui codec, che sono state pubblicate rispettivamente su ICCV 2021 e ICLR 2021.

In questi documenti, Qualcomm ha utilizzato anche algoritmi di intelligenza artificiale per mostrare nuove idee per l’ottimizzazione dei codec.

In uno studio che utilizza il principio GAN, l’ultimo algoritmo codec di Qualcomm rende l’immagine non solo più chiara, ma anche più piccola per fotogramma, cosa che può essere eseguita con solo 14,5 KB:

Al contrario, dopo che l’algoritmo del codec originale è stato compresso a 16,4 KB per fotogramma, la foresta diventerà estremamente sfocata:

In un altro documento che utilizza l’idea dell’interpolazione dei fotogrammi e del codec neurale, Qualcomm ha scelto di combinare la compressione dei fotogrammi P basata sulla rete neurale e la compensazione dell’interpolazione dei fotogrammi e utilizzare l’intelligenza artificiale per prevedere la compensazione del movimento che deve essere eseguita dopo l’interpolazione dei fotogrammi.

Dopo il test, questo algoritmo è migliore del precedente record SOTA di Google su CVPR 2020 ed è anche migliore delle attuali prestazioni di compressione del codec open source basato sullo standard H.265.

Non è il primo tentativo di Qualcomm di applicare modelli di intelligenza artificiale a più campi, l’applicazione dei codec video è una nuova direzione.

Se questi modelli possono essere implementati con successo sulla piattaforma o anche sull’applicazione, possiamo davvero essere liberi quando guardiamo i video sul dispositivo.

Man mano che il programma “soft and hard integration” continua, potremmo effettivamente vedere questi ultimi risultati dell’IA applicati agli smartphone in futuro.

Combinando i “muscoli in mostra” di Qualcomm in PC, automotive, XR e altri campi…

È prevedibile che il Qualcomm che conosci e lo Snapdragon che conosci non si fermeranno sicuramente al telefono cellulare e le sue capacità di intelligenza artificiale non si fermeranno al telefono cellulare.

#Benvenuto a seguire l’account WeChat ufficiale di Aifaner: Aifaner (ID WeChat: ifanr), i contenuti più interessanti ti verranno forniti il ​​prima possibile.

Ai Faner | Link originale · Visualizza commenti · Sina Weibo