Il chip auto-sviluppato sullo schermo pieghevole Mi MIX è il futuro della fotografia mobile?

"I chip dei processori sono i vertici della tecnologia nel settore della telefonia mobile e sono in cima alla piramide. Se vuoi diventare una grande azienda in questo settore, devi avere autonomia nelle tecnologie di base in modo che l'azienda possa andare lontano."

Questo è stato il discorso di Lei Jun alla conferenza stampa quando Xiaomi ha annunciato il suo ingresso nel campo dei chip e ha rilasciato il primo chip prodotto in serie "Surge S1".

Tuttavia, dopo l'aumento dell'S1, il chip S2 è stato difficile da produrre e il chip auto-sviluppato di Xiaomi è diventato gradualmente low-key ed è scomparso dalla vista del pubblico. Non è stato fino ad agosto dello scorso anno che Lei Jun ha rivelato che il chip in aumento era ancora in fase di sviluppo. Credo che in questo momento Xiaomi MIX FOLD abbia già completato la produzione di prova e avviato la produzione in serie, così come il chip "Surge C1" integrato.

Rispetto al Surging S1 e alla distocia S2, il Surging C1 è solo un ISP. Le sue funzioni sono molto più semplici del SoC e il design del chip non è così complicato. È più adatto per il "boom" di un nuovo inizio.

Allo stesso tempo, Surging C1 auto-sviluppato è un ISP (processore di immagini) indipendente all'interno di MIX FOLD e può essere considerato l'unico prodotto dotato di un ISP indipendente nell'attuale macchina di punta.

Nella pianificazione della linea di prodotti, MIX FOLD non è un prodotto orientato alla massa come la serie Mi 11. Pertanto, il chip C1 in aumento, o l'ISP indipendente nel telefono cellulare, non si è ancora spostato alle masse. È ancora un piccolo -scale tentativo.

Ciò non esclude l'emergere di ISP indipendenti sui flagship Xiaomi di prossima generazione (nella seconda metà dell'anno?), O potrebbe innescare un "effetto farfalla", diventando una caratteristica standard dei flagship nazionali e diventando una tendenza nell'imaging mobile. È possibile?

Che ruolo gioca l'ISP nell'imaging?

In poche parole, l'ISP è responsabile dell'elaborazione delle immagini raccolte dal sensore.

Indipendentemente da smartphone, fotocamere mirrorless e reflex digitali, gli ISP svolgono quasi gli stessi ruoli e i processi sono simili. Tutti eseguono operazioni di trasformazione Bayer, de-mosaico, riduzione del rumore e nitidezza sui "dati grezzi" raccolti dal sensore di immagine . Ma per quanto riguarda gli smartphone, l'ISP includerà anche il processo di "fotografia computazionale", con diversi algoritmi e diverse regolazioni, e alla fine produrrà foto diverse.

La configurazione del SoC con ISP indipendente è in realtà simile a una fotocamera mirrorless professionale. Prendi il processore di immagini BIONZ X di Sony come esempio (serie α7 royal). Comprende chip SoC e ISP e non è confezionato insieme. Il vantaggio è che Sony può aumentare il numero di chip ISP in base ai requisiti di prestazioni di CMOS (α7RIII BIONZ) . X è dotato di doppio ISP), lo svantaggio è che il grado di integrazione non è elevato.

Prima di MIX FOLD, gli ISP della maggior parte degli smartphone erano confezionati in SoC e ogni anno venivano aggiornati con iterazioni di aggiornamento SoC.

Ad esempio, ora il chip di punta di Qualcomm, Snapdragon 888, ha tre chip ISP integrati, con una capacità di elaborazione dei pixel di 2,7 miliardi di pixel al secondo, e può catturare tre foto da 28 megapixel o tre video HDR 4K contemporaneamente. Rispetto alla precedente generazione di Snapdragon 865, c'è un miglioramento del 35%.

MediaTek nell'altro campo ha anche migliorato notevolmente le prestazioni dell'ISP integrato nell'ultimo SoC Dimensity 1200. Dagli 80 milioni di pixel della generazione precedente Dimensity 1000, è stato aggiornato al livello di supportare 200 milioni di pixel in uno go, e ha anche aggiunto una serie di nuove funzioni basate su algoritmi AI.

La potenza di elaborazione dell'ISP non deve solo corrispondere alle prestazioni del sensore, ma anche essere associata all'algoritmo della "fotografia computazionale". Determinerà direttamente la tendenza dell'immagine di uno smartphone, se il colore è ricco o meno, quanto evidenzia vengono mantenute e la scelta delle parti scure. Quante e quante informazioni sul gradiente vengono conservate nell'algoritmo HDR, ecc.

Da ciò si può vedere che quando i produttori di chip upstream progettano SoC di nuova generazione, il miglioramento delle prestazioni dell'ISP sarà una direzione importante, che è strettamente correlata all'importanza dell'imaging dei telefoni cellulari.

Dal punto di vista della capacità di controllare solo i sensori ad alto numero di pixel, le prestazioni dell'ISP integrato nel SoC mainstream attuale sono ancora ricche ed è sufficiente per elaborare le attuali foto più alte di 100 milioni di pixel in una sola volta.

Inoltre, il sensore pixel ultra alto di cui stiamo parlando ora funziona nelle modalità "quattro in uno" e "nove in uno". Una volta convertita, una foto è in realtà di 20 milioni di pixel. Anche se includi un processo di calcolo diverso, l'ISP di SoC non trascinerà ancora verso il basso la "fotografia computazionale".

Perché portare un ISP indipendente?

Poiché l'ISP nel SoC ha una tecnologia matura, algoritmi maturi e prestazioni eccellenti, perché è dotato di un chip ISP indipendente?

Per Xiaomi questo "piccolo chip" può essere considerato come un nuovo inizio. Dal momento che non basta lanciare un SoC indipendente, è meglio deporre l'onere, partire dal "piccolo", partire dall'ISP, e piano piano accumulare esperienza e da discussioni a lungo termine, è una buona scelta. Affermare coraggiosamente che molti "piccoli chip" come l'ISP possono essere utilizzati nella successiva costruzione di automobili, che è anche considerato un layout avanzato.

Come accennato in precedenza, l'ISP non è solo per la "fotografia computazionale", ma la funzione principale è quella di elaborare i dati grezzi raccolti dal sensore.Questo processo di elaborazione non è diverso da quello di una fotocamera tradizionale. Alla conferenza stampa, per la funzione del crescente ISP auto-sviluppato C1, i vantaggi menzionati da Xiaomi si sono concentrati principalmente sull'elaborazione 3A, ovvero la messa a fuoco (AF), l'algoritmo di bilanciamento del bianco (AWB) e la strategia di esposizione (AE). La maneggevolezza è migliore.

In effetti, l'elaborazione 3A è solo la "punta dell'iceberg" per i dati raccolti dal sensore. A rigor di termini, l'ISP elaborerà più di una dozzina di dati grezzi e l'elaborazione 3A può anche essere suddivisa in "senso ampio" e "senso stretto".

In senso stretto, è quello che ha detto Xiaomi alla conferenza stampa. In senso lato, l'AF può essere esteso alla messa a fuoco automatica, al controllo del motore della messa a fuoco automatica e alla selezione del punto di messa a fuoco automatica. AE coinvolge di più, ISO automatico, filtri ND automatici, tapparelle automatiche, ecc., AWB comporterà anche vari cambi di tonalità.

In generale, l'effetto dell'elaborazione finale delle immagini è fondamentalmente causato dalle diverse strategie e compromessi di ciascuna fase dell'ISP.

Dotata di un ISP indipendente serve fondamentalmente a migliorare l'effetto di imaging finale.Negli ultimi anni, Xiaomi ha continuato a esercitare sforzi sulle immagini e si è accumulata nella strategia di elaborazione delle immagini da parte dell'ISP. In combinazione con l'ISP indipendente Surging C1, voglio ancora comprendere ulteriormente il processo e la strategia dell'ISP nell'elaborazione dei dati grezzi e può anche essere considerato come spianare la strada ai successivi telefoni cellulari Xiaomi per continuare a migliorare la potenza dell'immagine.

Gli ISP indipendenti diventeranno una tendenza di "immagini in movimento" in futuro?

Il Mi 11 Ultra utilizza una suola che è vicino a un pollice.Se non c'è "svolta ottica" nel follow-up, questo è quasi un limite fisico. E il numero attuale di pixel CMOS è anche nello stato di "corsa agli armamenti", presto dovremmo vedere gli smartphone entrare nella soglia dei 200 milioni di pixel.

Il miglioramento continuo del potere dell'immagine è già una tendenza importante nel settore degli smartphone e ha anche portato alla "omogeneizzazione". Al fine di creare esperienze di immagine diverse, molti produttori investiranno risorse per sviluppare tecnologie diverse e alcuni collaboreranno persino con produttori di immagini tradizionali per migliorare il loro stile di immagine.

Ma per le immagini in movimento, fintanto che la legge ferrea dell'ottica fisica è ancora presente, sono gli aspetti tradizionali della qualità del sensore, della capacità di elaborazione dell'ISP e della qualità dell'obiettivo che influenzano l'immagine finale, gli altri sono solo la ciliegina sulla torta.

Da allora, i produttori di telefoni cellulari personalizzeranno il CMOS (sensore) al fine di ottenere una migliore base di imaging, perfezionare l'algoritmo per rendere l'immagine finale più naturale e lavorare sodo sulla collocazione dell'obiettivo per adattarsi a più scene.

Per quanto riguarda gli ISP indipendenti, vogliono diventare una tendenza importante simile alla situazione di cui sopra. Guardandola ora, è troppo presto. Per essere precisi, dovrebbe essere una "direzione generale" in futuro.

Da un lato, l'ISP integrato nell'attuale SoC non sarà un ostacolo, né sarà la tavola di legno più corta sul barilotto dell'immagine in movimento. D'altra parte, con un ISP indipendente, c'è una soglia non bassa. Al momento, i produttori di chip upstream come Qualcomm e MediaTek non hanno ancora lanciato ISP indipendenti per smartphone. Se vogliono essere dotati di ISP indipendenti, potrebbero dover fare affidamento sull'autoproduzione. Attualmente, non ci sono molti produttori di telefoni cellulari che possono produrre i propri chip.

Inoltre, gli attuali ISP indipendenti non hanno ancora mostrato i dovuti vantaggi: dopo aver sperimentato le parole originali di MIX FOLD Zhijian, le telecamere MIX FOLD non fanno eccezione. In altre parole, che si tratti di una "lente liquida" o di un ISP indipendente, è più come disporre prodotti futuri, accumulando piccoli flussi in un fiume.

#Benvenuto a seguire l'account WeChat ufficiale di Aifaner: Aifaner (ID WeChat: ifanr), ti verranno forniti contenuti più interessanti il ​​prima possibile.

Ai Faner | Link originale · Visualizza commenti · Sina Weibo