AO_428

AO AUTOMAZIONE DOMANI Matteo Muffo, AI researcher di Indigo.ai L’ Parole e immagini, l’intelligenza artificiale si avvicina all’uomo catori dell’Università del North Carolina, progettando una nuova tecnica d’addestramento per dare a Gpt-3 (ovvero una AI che si basa esclusivamente sulle parole) anche la capacità di ‘vedere’ le cose, rafforzando così le sue possibilità di imparare. La sfida è quindi quella di combinare due diversi set di dati (testo e immagini) in un sistema unico per poter addestrare un nuovo modello da zero. Didascalie descrittive L’approccio scelto è quello di compilare una raccolta di immagini con didascalie molto più descrittive di quelle cui siamo abituati. Per esempio, prendiamo la foto di un gatto in cucina che mangia: solitamente, con tutta probabilità, verrebbe intitolata solo ‘gatto’; in- vece, un set che combina parole e immagini la chiamerebbe ‘un gatto in cucina che man- gia croccantini da una ciotola rossa’. In questo modo, grazie alla combinazione puntuale di linguaggio testuale e visivo, possiamo insegnare a un modello di intelligenza artificiale non solo come riconoscere gli oggetti, ma anche come si relazionano e agiscono l’uno sull’altro, attraverso l’uso di verbi e preposizioni. Un processo quasi banale sulla carta e per l’intelligenza umana, ma che nella realtà richiederebbe un’eternità (se fatto dalle per- sone): basti pensare che se la versione inglese di Wikipedia comprende quasi tre miliardi di parole, un set di dati visivi come, per esempio, potrebbe essere quello di Microsoft Common Objects in Context, meglio conosciuto come MS Coco, ne contiene appena sette milioni. Combinare le due classi di dati diventa chiaramente molto difficile e impegnativo in termini di tempo. I ricercatori americani, però, sono riusciti ad aggirare il problema con un metodo di apprendimento supervisionato capace di adattare i dati in MS Coco alle di- mensioni di Wikipedia. Con il risultato di aver creato un modello di linguaggio che supera quelli più all’avanguardia in alcuni dei test più difficili utilizzati per valutare la compren- sione del linguaggio AI. Dimostrando che se il modello oltre a imparare la parola gatto, la vede anche, sarà in grado di ragionare in maniera sempre più razionale ed efficace. Bert contro Gpt-3 I ricercatori hanno quindi utilizzato l’accoppiamento tra parole e immagini che hanno creato con MS Coco per addestrare il loro algoritmo e hanno riqualificato un modello di linguaggio open source sviluppato da Google, noto come Bert, che precede Gpt-3. Terminato il processo di aggiornamento, hanno sfidato il ‘nuovo Bert’ su sei diversi test di comprensione linguistica, tra cui SQuAD, Stanford Question Answering Dataset, che chiede ai modelli di rispondere a domande di comprensione della lettura su una serie di articoli, e Swag, che costringe gli algoritmi a dimostrare di aver compreso il significato delle parole e di non averle ‘semplicemente’ imparate a memoria. Un approccio così in- novativo apre scenari tutti da esplorare. Certo, il vecchio Bert non potrà mai battere Gpt-3, ma la consapevolezza di poter addestrare un sistema così potente con parole e immagini ci fa capire quanto la tecnologia corra veloce e come le innovazioni siano conquiste quoti- diane. Facendo un altro passo verso l’artificial general intelligence. intelligenza artificiale continua a crescere e migliorarsi, ma la capacità delle macchine di ragionare e pensare in maniera autonoma è ancora lontana. Lo dimostrano gli enormi limiti di Gpt-3, l’ultimo algoritmo di OpenAi e Microsoft, che è un modello senza prece- denti capace di immagazzinare centinaia di miliardi di parole: può interpretare e scrivere in maniera chiara qualunque cosa, ma crolla alla prova dei fatti quando si esce dal campo della parola scritta. Per metterlo in difficoltà basta chiedergli di che colore siano le pecore. Il sistema risponderà nere con la stesse fre- quenza con cui dirà bianche. Il motivo è sem- plice: ha imparato a dire ‘pecora nera’, perché questo colore ricorre sul web altrettante volte di ‘bianco’ in relazione alla parola ‘pe- cora’. Ma non ha capito il senso dell’espres- sione. Un errore banale che dimostra da un lato che le potenzialità sono enormi e quanto rapidamente evolva la tecnologia, ma dall’al- tro anche quanto sia importante lo sforzo da fare in fase di addestramento per sviluppare la ca- pacità dell’in- t e l l i g e n z a artificiale di ragi onare in modo ra- zionale. La so l uz i one al problema l’hanno sug- gerita i ricer- 96 MARZO 2021 AUTOMAZIONE OGGI 428