Il modello di intelligenza artificiale di Microsoft supera gli umani nella comprensione del linguaggio naturale

Microsoft martedì Annunciato che il loro modello di intelligenza artificiale ha superato gli umani nella comprensione del linguaggio naturale (NLU) con i benchmark SuperGLUE.

Secondo Microsoft, Natural Language Understanding (NLU) è uno degli obiettivi più antichi nell’intelligenza artificiale (intelligenza artificiale) e SuperGLUE è attualmente tra i benchmark più impegnativi per la valutazione dei modelli NLU.

Il benchmark SuperGLUE consiste in un’ampia gamma di attività NLU, tra cui risposta alle domande, inferenza del linguaggio naturale, risoluzione di co-riferimento, disambiguazione del senso delle parole e altro ancora. Il gigante della tecnologia di Redmond ha preso come esempio il compito di ragionamento causale.

Data la premessa “il bambino è diventato immune alla malattia” e la domanda “qual è la causa di ciò?”, al modello viene chiesto di scegliere una risposta tra due candidati plausibili: 1) “evitato l’esposizione alla malattia” e 2) “Ha ricevuto il vaccino per la malattia”.

Mentre è facile per un essere umano scegliere la risposta corretta, è difficile per un modello di intelligenza artificiale. Per ottenere la risposta corretta, il modello deve comprendere la relazione causale tra la premessa e quelle opzioni plausibili.

Per gestire meglio i benchmark, Microsoft ha aggiornato il modello DeBERTa (Enhanced BERT with Attention Unraveled Decoding) addestrando una versione più grande composta da 48 livelli di Transformer con 1,5 miliardi di parametri.

DeBERTa è un modello di linguaggio neurale basato su Transformer, precedentemente addestrato su grandi quantità di corpus di testo grezzo utilizzando l’apprendimento auto-supervisionato. Come altri PLM, DeBERTa ha lo scopo di apprendere rappresentazioni linguistiche universali che possono essere adattate a varie attività NLU a valle.

Il modello AI DeBERTa ora ottiene 89,9 in SuperGLUE per la prima volta in termini di punteggio macro-medio, mentre il modello aggregato con 3,2 miliardi di parametri ottiene 90,3 battendo la linea di base umana con un margine decente (90, 3 vs 89,8). Il modello è anche in cima alla classifica dei benchmark GLUE con un punteggio macro medio di 90,8.

Questa non è la prima volta che un modello di intelligenza artificiale supera le linee di base umane. Il modello da 11 miliardi di parametri di Google “T5 + Meena” ha superato la linea di base umana con un punteggio di 90,2 il 5 gennaio, che è stato superato dal modello DeBERTa di Microsoft il 6 gennaio.

Microsoft sta integrando DeBERTa nella prossima versione del modello di rappresentazione del linguaggio naturale di Microsoft Turing (Turing NLRv4). Il modello sarà addestrato su larga scala per supportare prodotti come Bing, Office, Dynamics e Azure Cognitive Services, guidando un’ampia gamma di scenari che coinvolgono interazioni uomo-macchina e uomo-uomo attraverso il linguaggio naturale (come chatbot, raccomandazione, risposta alle domande). , ricerca, assistenza personale, automazione dell’assistenza clienti, generazione di contenuti e altro) a beneficio di centinaia di milioni di utenti tramite Microsoft IA su larga scala iniziativa.

Secondo Microsoft, rispetto al modello T5 di Google, che consiste di 11 miliardi di parametri, il DeBERTa di 1,5 miliardi di parametri è molto più efficiente dal punto di vista energetico da addestrare e mantenere ed è più facile da comprimere e distribuire in applicazioni a configurazione multipla.

“Il fatto che DeBERTa superi le prestazioni umane in SuperGLUE segna un’importante pietra miliare verso l’IA generale. Nonostante i suoi risultati promettenti in SuperGLUE, il modello non sta affatto raggiungendo l’intelligenza a livello umano di NLU. Gli esseri umani sono estremamente bravi a sfruttare le conoscenze apprese da diversi compiti per risolvere un nuovo compito con poca o nessuna dimostrazione specifica del compito. Questo è noto come generalizzazione compositiva, la capacità di generalizzare a nuove composizioni (nuovi compiti) di componenti familiari (sottoattività o abilità di base per la risoluzione dei problemi). In futuro, vale la pena esplorare come fare in modo che DeBERTa incorpori strutture di composizione in un modo più esplicito, che potrebbe consentire di combinare il calcolo del linguaggio naturale neurale e simbolico in un modo simile a quello che facciamo noi umani “, ha aggiunto la società.

Microsoft ha rilasciato il modello DeBERTa da 1,5 miliardi di parametri e il codice sorgente per il pubblico.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *