La nuova tecnologia di interazione basata sul riconoscimento delle scene

Mitsubishi Electric Corporation ha annunciato che l’azienda ha sviluppato una tecnologia che, per la prima volta nel mondo, è in grado di creare un’interazione intuitiva ed estremamente naturale con gli esseri umani basandosi sulla capacità di analizzare le scene e di tradurre i dati di rilevamento multimodale in un linguaggio naturale. Nella nuova tecnologia, Scene-Aware Interaction, è integrata la tecnologia compatta di intelligenza artificiale (IA) proprietaria di Mitsubishi Electric, denominata Maisart che consente di analizzare i dati di rilevamento multimodale per creare un’interazione estremamente naturale e intuitiva con gli esseri umani mediante la generazione di un linguaggio naturale basato sul contesto.

La tecnologia riconosce gli oggetti e gli eventi contestuali basandosi su dati di rilevamento multimodale, ad esempio immagini e video acquisiti per mezzo di telecamere, informazioni audio registrate con microfoni e informazioni di localizzazione misurate tramite LiDAR. Per dare priorità alle diverse categorie di dati, l’azienda ha sviluppato la tecnologia di fusione multimodale attenzionale (Attentional Multimodal Fusion), che è in grado di ponderare automaticamente i dati unimodali salienti per supportare la scelta delle parole appropriate per descrivere le scene con precisione. Per eseguire i test di benchmark basati su un set di test comune, la tecnologia di fusione multimodale attenzionale ha utilizzato dati audio e video e ha ottenuto un punteggio di valutazione della descrizione delle immagini basata sul consenso (CIDEr, Consensus-Based Image Description Evaluation) di 29 punti percentuali superiore rispetto a quello ottenuto con il solo utilizzo di informazioni visive. La combinazione realizzata da Mitsubishi Electric di fusione multimodale attenzionale e tecnologia di rilevamento delle scene con la generazione di un linguaggio naturale basato sul contesto, ha creato un potente sistema di interazione end-to-end di riconoscimento delle scene che permette un’interazione estremamente intuitiva con gli utenti nelle diverse situazioni.

La tecnologia Scene-Aware Interaction per il sistema di navigazione delle autovetture, un’applicazione mirata, fornisce ai conducenti una guida intuitiva del percorso. Ad esempio, invece di comunicare al conducente “svoltare a destra tra 50 m”, il sistema fornisce indicazioni basate sulle scene rilevate, ad esempio “svoltare a destra prima della buca delle lettere” oppure “seguire l’automobile grigia che svolta a destra”. Inoltre, il sistema genera avvisi vocali, ad esempio “un pedone attraversa la strada”, quando prevede che gli oggetti vicini possano intersecarsi con il percorso della vettura. Per questa funzionalità, il sistema analizza le scene e identifica i punti di riferimento visivi e distinguibili e gli elementi dinamici della scena, quindi utilizza gli oggetti e gli eventi riconosciuti per generare frasi intuitive per la guida.

I recenti progressi nel riconoscimento degli oggetti, nella descrizione dei video, nella generazione di linguaggio naturale e nelle tecnologie di dialogo vocale che si avvalgono delle reti neurali profonde, stanno permettendo alle macchine di comprendere meglio l’ambiente circostante e di interagire con gli esseri umani in modo più naturale e intuitivo. Si prevede che la tecnologia di interazione basata sul riconoscimento delle scene (Scene-Aware Interaction) sarà diffusamente applicata, ad esempio per le interfacce uomo-macchina, i sistemi di informazione e intrattenimento a bordo dei veicoli, l’interazione con i robot nei sistemi di costruzione e di automazione industriale, i sistemi di monitoraggio della salute e del benessere delle persone, i sistemi di sorveglianza che interpretano scene complesse per gli esseri umani e incoraggiano il distanziamento sociale, il supporto per funzionamento “touchless” delle attrezzature presenti nelle aree pubbliche, e molto altro ancora.

 

Contenuti correlati

• 
  Il valore nascosto dell’automazione

  L’introduzione di un AMR automatizza la gestione degli scarti nel co-packing, eliminando attività manuali ripetitive. Il risultato è un flusso più efficiente, maggiore continuità operativa e migliori condizioni di lavoro, senza modificare l’infrastruttura esistente Leggi l’articolo
• 
  Giorgio Fontana nominato vice presidente di Mitsubishi Electric filiale italiana

  Mitsubishi Electric ha annunciato la nomina di Giorgio Fontana a vice presidente della filiale italiana; la decisione si inserisce nel più ampio percorso di rafforzamento della struttura manageriale avviato dall’azienda, che pochi giorni fa aveva annunciato la...
• 
  SPS Italia, un ecosistema di contenuti e soluzioni per la fabbrica del futuro

  È iniziato il conto alla rovescia per la quattordicesima edizione di SPS Italia, che si sviluppa su sei padiglioni e propone una panoramica sulle tecnologie abilitanti per la fabbrica e sui trend che guidano la trasformazione della...
• 
  RS: l’Italia fa da pilota

  10.000 m² certificati Leed Gold: proseguono i lavori di completamento del Centro di Distribuzione a elevata innovazione di RS Italia, un impianto pilota che rivoluzionerà la logistica dell’intero Gruppo Leggi l’articolo
• 
  Logistica e intralogistica nell’era dell’incertezza

  Automazione, digitalizzazione e integrazione di sistemi stanno ridefinendo le supply chain industriali, che si stanno trasformando per affrontare le complesse sfide del mercato globale Leggi l’articolo
• 
  Hannover Messe: l’industria indica la strada verso un futuro competitivo

  Un totale di 110.000 visitatori provenienti da tutto il mondo ha partecipato alla principale fiera mondiale dedicata all’industria manifatturiera. Sebbene il numero di presenze sia stato inferiore a quello dell’anno precedente (2025: 123.000 visitatori) – anche a...
• 
  Rockwell Automation guida la modernizzazione del settore alimentare in Messico

  Rockwell Automation ha annunciato un’iniziativa congiunta per modernizzare processi chiave nel settore alimentare in Messico. Le aziende coinvolte nella collaborazione, Rockwell Automation, Zenit Automation e Golden Foods, hanno sviluppato un progetto di automazione che ottimizza il dosaggio delle...
• 
  Gli OSCAR dell’AUTOMAZIONE: Isole di elettrovalvole Serie 16V e 17V da Aignep

  Aignep, con sede a Bione (Brescia), da 50 anni produce componenti per fluidica e automazione pneumatica e si propone come fornitore unico per il settore, servendo distributori e utilizzatori finali. Esporta in oltre 100 Paesi tramite una...
• 
  Facilitare l’automazione

  Al crescere della complessità dell’automazione, i costruttori di macchine stanno riconsiderando il loro modo di implementare i sistemi di movimento: una nuova generazione di servotecnologie semplifica la progettazione, migliora la flessibilità e accresce la resilienza delle supply...
• 
  Transizione energetica e industria

  Come stanno affrontando le imprese il percorso verso una maggiore sostenibilità energetica, quali soluzioni stanno adottando o stanno sviluppando e quali competenze saranno necessarie per accompagnare questo cambiamento? Lo chiediamo ad alcune aziende del mondo dell’automazione Leggi...