Come funziona ChatGPT?
Hai sentito parlare di ChatGPT in questi mesi, ma sai come funziona?
ChatGPT ha funzionato come per magia e comunica con gli utenti con un unico campo di immissione. È simile a Google in cui gli utenti fanno una domanda e ChatGPT fornisce la risposta. L’unica differenza è che ChatGPT fornisce una risposta basata sull’intenzione e sul contesto dell’utente. Ad esempio, non puoi chiedere a Google di scrivere codice per te, tuttavia puoi farlo con ChatGPT. Quindi, come fa ChatGPT a farlo? Questo articolo esaminerà le risposte.
Fasi principali del funzionamento di ChatGPT
Quando chiedi a Google qualcosa, passa attraverso il suo database e fornisce la migliore risposta possibile. Google ha due fasi: la fase di spidering e raccolta dati e la fase di interazione con l’utente.
Anche ChatGPT funziona in modo simile. La fase di raccolta dei dati è nota come pre-addestramento e la fase di interazione con l’utente è chiamata inferenza.
Pre-formazione
Il pre-training di AI utilizza due approcci: supervisionato e non supervisionato. Per la maggior parte delle IA come ChatGPT, viene utilizzato un metodo supervisionato. L’addestramento supervisionato è il luogo in cui un modello di intelligenza artificiale viene addestrato su un set di dati etichettato. Ad esempio, gli utenti possono addestrare un’intelligenza artificiale sulle conversazioni del servizio clienti. L’intelligenza artificiale può essere addestrata per fornire risposte basate sull’input. In questo approccio, il modello AI viene addestrato per apprendere la funzione di mappatura completa e mappare accuratamente gli output. Questo approccio, tuttavia, ha limiti di scala. Se tutti gli input e gli output sono previsti, la formazione richiederebbe molto tempo.
ChatGPT, tuttavia, ha pochissime limitazioni. Può fare qualsiasi cosa, dallo spiegare la fisica quantistica, scrivere il tuo curriculum, scrivere codice e praticamente qualsiasi cosa sotto il sole. Dal momento che non c’è modo per l’IA di anticipare tutte le domande, è ovvio che la pre-formazione per ChatGPT non è supervisionata. Non supervisionato è dove il modello viene addestrato per apprendere i modelli e la struttura sottostanti senza un compito specifico in mente.
Architettura del trasformatore
L’architettura del trasformatore viene utilizzata per l’elaborazione dei dati in linguaggio naturale. È una sorta di rete neurale che simula il modo in cui funziona il cervello. L’architettura del trasformatore utilizza l’auto-attenzione ed elabora sequenze di parole. Questo è simile al modo in cui un essere umano potrebbe guardare una frase o un paragrafo per capire il contesto.
Il trasformatore è costituito da diversi strati e sottostrati. Questi livelli aiutano il trasformatore a comprendere le relazioni tra le parole.
Set di dati di formazione ChatGPT
Il set di dati di addestramento di ChatGPT è enorme. Si basa sull’architettura del trasformatore generativo pre-addestrato 3 (GPT-3). GPT-3 utilizza un set di dati chiamato WebText2 che ha una libreria di oltre 45 TB di testo. Ciò ha consentito a ChatGPT di apprendere relazioni e schemi e di decifrare il contesto in modo più accurato. Questo è uno dei motivi principali per cui è così efficace e popolare.
