La nuova AI di Facebook traduce tra 100 lingue

Facebook ha presentato un nuovo modello di intelligenza artificiale open source che ha la capacità di tradurre tra 100 lingue diverse. Il suo modello AI non ha nemmeno bisogno di convertire il testo esistente in inglese, consentendo una traduzione più efficiente e accurata.

Presentazione di un nuovo modo di tradurre il testo

In un post sul blog About Facebook , la piattaforma ha dettagliato il suo nuovo modello di traduzione automatica multilingue (MMT), noto anche come M2M-100. Abbastanza impressionante, questo modello di apprendimento automatico open source "può tradurre tra qualsiasi coppia di 100 lingue senza fare affidamento sui dati in inglese".

Anche se questo è ancora un progetto di ricerca, mostra molte promesse. Angela Fan, assistente di ricerca presso Facebook, ha notato che i modelli di traduzione automatica "tipici" utilizzano modelli diversi per ogni lingua, rendendoli incredibilmente inefficienti per piattaforme di grandi dimensioni come Facebook.

Anche i modelli avanzati non lo tagliano, poiché usano l'inglese come intermediario tra le lingue. Ciò significa che il sistema deve prima tradurre il testo di origine in inglese, quindi tradurlo nella lingua di destinazione.

I modelli dipendenti dall'inglese non producono le migliori traduzioni. Fan nota che togliendo l'inglese dalla foto, il sistema MMT di Facebook può produrre traduzioni più accurate, affermando:

Quando si traduce, ad esempio, dal cinese al francese, la maggior parte dei modelli multilingue incentrati sull'inglese si esercita sul cinese all'inglese e dall'inglese al francese, perché i dati di formazione in inglese sono i più ampiamente disponibili. Il nostro modello si allena direttamente sui dati dal cinese al francese per preservare meglio il significato.

Quindi, invece di usare l'inglese come ponte, il modello MMT di Facebook può tradurre avanti e indietro tra 100 lingue diverse. Secondo Fan, Facebook ha costruito "il set di dati MMT molti-a-molti più diversificato fino ad oggi", che consiste di 7,5 miliardi di coppie di frasi per 100 lingue.

Per realizzare questa impresa, il team di ricerca ha estratto i dati di traduzione linguistica sul Web, concentrandosi prima sulle lingue "con il maggior numero di richieste di traduzione". I ricercatori hanno quindi classificato quelle lingue in 14 gruppi in base a caratteristiche condivise.

Da qui, i ricercatori hanno stabilito le lingue ponte per ogni gruppo e hanno estratto i dati di addestramento per tutte le possibili combinazioni. Ciò ha portato a 7,5 miliardi di frasi parallele in 2.200 direzioni.

E per quanto riguarda le lingue che non sono così diffuse, Facebook ha utilizzato qualcosa chiamato traduzione inversa per creare traduzioni sintetiche.

L'intero processo sta portando il team di Facebook AI più vicino al loro obiettivo di creare un "modello unico che supporti tutte le lingue, i dialetti e le modalità".

Facebook si avvicina sempre di più a fornire traduzioni migliori

Facebook esegue già 20 miliardi di traduzioni ogni giorno sul suo feed di notizie e l'IA di Facebook renderà il processo più efficiente. Sebbene il nuovo modello di traduzione non sia stato ancora implementato, tornerà sicuramente utile per gli utenti internazionali di Facebook che necessitano di traduzioni specifiche.