I limiti dell’AI: verificare le prestazioni di ChatGPT in campo ingegneristico
- Tweet
- Pin It
- Condividi per email
-
Con il rilascio di ChatGPT, ciò che solo pochi mesi fa sembrava fantascienza ora appare plausibile: l’AI è arrivata. Titoli accattivanti, visibili ovunque, dimostrano come l’AI sia in grado di sviluppare codici, insegnare lingue, comporre musica e creare arte. Sembra che l’intelligenza artificiale sia finalmente… intelligente. Tuttavia, secondo il CEO di OpenAI, Sam Altman, molte delle affermazioni sensazionalistiche che si vedono online sono delle esagerazioni, per far presa sul pubblico.
Per mettere alla prova l’AI si è deciso di sottoporre ChatGPT (versione del febbraio 2023) a problemi simili a quelli incontrati nel lavoro di application engineer. Si è scoperto che l’AI è uno strumento promettente, ma ha ancora molta strada da fare prima di poter competere con l’intelligenza umana. In questo articolo verranno presentati alcuni esperimenti e la mia valutazione sulle prestazioni di ChatGPT in varie richieste di tipo ingegneristico.
Risoluzione di problemi di carattere generale
È noto che ChatGPT sia un sistema eccellente per l’aggregazione e la sintesi delle informazioni, ciò spiega come i quesiti su problemi generici (anche utilizzando numeri di parte specifici) generino risposte brillanti. Chiedendo a ChatGPT di risolvere i quesiti più comuni (per esempio: “Perché non vedo l’uscita sul pin DOUT del componente ___?”), ChatGPT fornisce ottimi suggerimenti per la risoluzione di problemi generali, tra cui il controllo dei collegamenti, degli alimentatori e della portata del segnale di ingresso. Queste risposte non sono particolarmente entusiasmanti o innovative, ma sono incredibilmente utili, perché la maggior parte dei problemi di un prodotto si risolve con procedure di ricerca guasti standard. ChatGPT eccelle in questo tipo di risposte generiche.
Un’altra domanda che richiede una risposta di alto livello simile è: “Sto usando un dispositivo I2C e non ricevo alcuna risposta dal dispositivo slave. Ho 7 dispositivi connessi al dispositivo master, utilizzando pull-up da 10k alla massima velocità di trasferimento dei dati. Puoi aiutarmi a risolvere il problema?”. In questo caso, ChatGPT dimostra un’impressionante conoscenza implicita del dominio, anche se suggerisce procedure abbastanza standard per la risoluzione dei problemi I2C. Anche se il risultato in sé non è particolarmente originale, la capacità di GPT di aggregare rapidamente le conoscenze gli consente di generare risposte utili a domande generalizzate, anche in domini più piccoli che potrebbero richiedere un background approfondito. Ciò indica che questo tipo di AI può essere molto utile nel fornire primi passi e informazioni, anche in domini problematici altamente specifici.
Generazione di pseudo-verità
Man mano che si restringe l’ambito del problema emerge una condizione di malfunzionamento inquietante di ChatGPT: genera risposte che sembrano corrette ma, a un esame più approfondito, non lo sono. Per esempio, alla domanda sull’utilizzo di un componente come sostituzione “drop-in”, pin per pin, di un altro componente TQFN a 56 pin, ChatGPT afferma con sicurezza che i componenti hanno 5 pin. Inoltre, fornisce (tra gli altri errori) tensioni di alimentazione e limiti di corrente di uscita errati e afferma che i due componenti sono incompatibili. Ogni presunta “differenza” che ChatGPT riporta fra tale prodotti (in questo caso, MAX4936 e MAX4937) è falsa: i componenti sono quasi identici! Come dimostra questo prompt “pin-for-pin”, i prompt ad alta specificità rivelano rapidamente le origini algoritmiche di ChatGPT e mostrano i limiti dell’attendibilità delle informazioni generate dall’AI.
Supera i test indovinando
Nonostante la parvenza intelligente, ChatGPT è fondamentalmente una macchina basata sul calcolo delle probabilità. Come sottoinsieme di una classe di AI definita “modelli linguistici di grandi dimensioni” (Large Language Models, LLM), in una stringa di testo opera pronosticando la parola (o “token”) successiva più probabile dal punto di vista statistico. Anche quando afferma di farlo, non consulta una scheda tecnica, non cerca informazioni e non è nemmeno connessa a Internet! Pertanto, quello che sembra un “ragionamento” in realtà è un riconoscimento di schemi e un’estrapolazione, fornendo ciò che è più probabile che accada in base ai dati di addestramento. Questo spiega i suoi insuccessi nell’ambito di problemi ben definiti: l’estrapolazione statisticamente probabile diventa del tutto falsa quando è condizionata da domande specifiche.
Oltre a fornire informazioni potenzialmente sbagliate, la struttura degli LLM presenta aspetti pericolosi per quanto riguarda la credibilità e la capacità da parte nostra di usarli in modo sicuro. Il risultato probabilistico di ChatGPT è conforme a delle regolarità statistiche che sfidano l’euristica che usiamo per distinguere la realtà dalla finzione. Quando tale euristica fallisce, il modo migliore per verificare la presenza di errori è risolvere direttamente il problema… ma a questo punto, a cosa serve chiedere a un computer di fare il lavoro per noi?
Guadagnare la fiducia del pubblico
Questo paradosso suggerisce un probabile uso improprio dell’intelligenza artificiale: l’AI è utile solo nella misura in cui possiamo darle fiducia, ma visti gli incentivi, sembra inevitabile scendere a compromessi sulla fiducia per usarla in modo più ampio. Capire come l’AI imita l’intelligenza e dimostrare le sue dinamiche di insuccesso potrebbe spezzare l’illusione in modo tale da ridimensionare le nostre aspettative e prevenire errori così ingenui.
È stata posta la domanda a ChatGPT sul perché generasse delle risposte errate. Una parte della sua risposta riassume perfettamente il problema: i modelli linguistici di OpenAI, compreso GPT-3, sono addestrati su un ampio corpus di testi, che include molti errori e imprecisioni. I modelli utilizzano schemi statistici nei dati per prevedere la parola o la sequenza di parole successiva, quindi è possibile che i modelli generino informazioni errate.
Infine, si è posta la seguente domanda: “Posso fidarmi delle tue risposte?”. Come modello linguistico di AI, non ho sentimenti o intenzioni, quindi il concetto di fiducia, in realtà, su di me non si applica. Tuttavia, posso assicurarti che sono stato progettato per fornire risposte accurate e utili al meglio delle mie capacità, sulla base dei dati e degli algoritmi che sono stati utilizzati per addestrarmi. Mi sforzo di essere il più affidabile e imparziale possibile. Tuttavia, quando si utilizza qualsiasi fonte di informazione, compresi i modelli linguistici di AI come me, è sempre consigliabile esercitare il pensiero critico e verificare i fatti.
In effetti. L’AI ha l’enorme potere di trasformare il nostro mondo, ma dal momento che l’intelligenza artificiale generalizzata diventa più diffusa, accessibile e avanzata, è essenziale continuare la ricerca per comprenderne le capacità e i limiti. Nel tempo, affideremo senza dubbio ad AI come ChatGPT compiti più critici, e dovremo essere in grado di prendere decisioni informate e usare ChatGPT in modo responsabile.
di Alexander Goldstein, Central Applications Engineer, Analog Devices
Contenuti correlati
-
AI generativa per le presse Mecolpress per lo stampaggio a caldo
Mecolpress, punto di riferimento nel settore della produzione di presse per lo stampaggio a caldo di leghe metalliche, ha scelto Userbot.AI, l’agente di intelligenza artificiale generativa made in Italy, per agevolare il Service nelle attività di manutenzione...
-
Le previsioni di Unit 42: Il 2025 sarà l’anno della disruption
Sam Rubin di Unit 42 di Palo Alto Networks analizza e condivide le tendenze di cybersecurity del 2025: “Anno delle interruzioni delle attività”, è questo il termine che contraddistinguerà il 2025, che si presenta come un periodo...
-
SAS Hackathon 2024, un’italiana tra i vincitori
SAS ha annunciato la conclusione del SAS Hackathon 2024, l’evento globale dove data scientist, developer, data analyst, data lovers, tech expert, professionisti e professioniste di ogni settore si sfidano per creare soluzioni innovative a problemi umanitari e...
-
Soluzioni innovative per la supply chain con le soluzioni AI di Panasonic Connect
La nuova divisione europea di ricerca e sviluppo di Panasonic Connect collabora con clienti e partner per creare soluzioni innovative per la supply chain. Lavorando a stretto contatto con la controllata di Panasonic, Blue Yonder, la divisione...
-
Farnell ispira il settore con Top Tech Voices
Farnell ha lanciato una nuova serie di interviste, Top Tech Voices, che con la partecipazione di figure di spicco nel settore tecnologico mettono in evidenza le ultime tendenze tecnologiche con le concezioni più innovative. Nei sei episodi...
-
L’importanza della AI in Transizione 5.0 per il manifatturiero con ally Consulting
Il Piano Transizione 5.0 rappresenta una svolta cruciale per il sistema industriale italiano. A sostenerlo è Paolo Aversa, managing director di ally Consulting. Ancora in fase di definizione, questo piano potrebbe sostituire il precedente 4.0, con l’intento...
-
Infrastruttura cloud e AI generativa con SAP per Prysmian
In soli quattro mesi, Prysmian, azienda di punta a livello mondiale nella produzione, fornitura e progettazione di sistemi in cavo e accessori per le telecomunicazioni e l’energia, ha aggiornato e migrato l’intera infrastruttura IT del Gruppo sul...
-
Scopri tutto il potenziale di pylon vTools di Basler
In campo della visione artificiale, pylon vTools di Basler offre funzioni avanzate di elaborazione e analisi delle immagini, basate su algoritmi classici e di intelligenza artificiale. Grazie a un’interfaccia intuitiva, è possibile creare pipeline robuste per applicazioni...
-
Mercato automotive: previsioni per il 2025
Il settore dell’automotive è vicinissimo a una trasformazione epocale. Guidata da una convergenza di fattori – incessanti progressi tecnologici, mutevoli esigenze dei consumatori e crescente consapevolezza dell’impatto ambientale – il settore automotive del prossimo futuro, quello del...
-
Mitsubishi Electric presenta l’integrazione delle piattaforme Iconics ed EcoAdviser
Mitsubishi Electric ha presentato l’integrazione delle piattaforme Iconics ed EcoAdviser, soluzioni all’avanguardia progettate per rivoluzionare la gestione dell’energia grazie alle potenzialità dell’intelligenza artificiale. Questa combinazione ha lo scopo di aumentare l’efficienza operativa, promuovere la sostenibilità e permettere...
Scopri le novità scelte per te x
-
AI generativa per le presse Mecolpress per lo stampaggio a caldo
Mecolpress, punto di riferimento nel settore della produzione di presse per lo stampaggio a caldo di leghe...
-
Le previsioni di Unit 42: Il 2025 sarà l’anno della disruption
Sam Rubin di Unit 42 di Palo Alto Networks analizza e condivide le tendenze di cybersecurity del...
Notizie Tutti ▶
-
UE Digital Product Passport, non un ostacolo, ma un’opportunità
Mentre oggi molte aziende sono concentrate sullo scope 2, ovvero le emissioni indirette di CO2...
-
Schneider Electric ha contribuito al restauro della Cattedrale di Notre Dame
Schneider Electric ha contribuito, in forma di donazione, al restauro della Cattedrale di Notre...
-
Affrontare le sfide nell’era dell’AI: una ricerca di Hitachi Vantara
Una ricerca di Hitachi Vantara, azienda controllata di Hitachi, focalizzata sull’archiviazione dati, sulle infrastrutture e...
Prodotti Tutti ▶
-
Delta lancia la serie di motori MSI per un futuro industriale più sostenibile
Delta ha annunciato il lancio della serie di motori MSI nella regione Emea. Si tratta...
-
Gestione dell’energia nell’armadio di comando con EcoStruxure Panel Server di Schneider Electric
Schneider Electric presenta il suo gateway IoT della prossima generazione: “L’unità Panel Server PAS...
-
Protezione contro le sovratensioni per router in fibra ottica
A fronte di un’inarrestabile espansione delle reti in fibra ottica, per le connessioni Internet...