La nuova tecnologia di interazione basata sul riconoscimento delle scene

Pubblicato il 22 settembre 2020

Mitsubishi Electric Corporation ha annunciato che l’azienda ha sviluppato una tecnologia che, per la prima volta nel mondo, è in grado di creare un’interazione intuitiva ed estremamente naturale con gli esseri umani basandosi sulla capacità di analizzare le scene e di tradurre i dati di rilevamento multimodale in un linguaggio naturale. Nella nuova tecnologia, Scene-Aware Interaction, è integrata la tecnologia compatta di intelligenza artificiale (IA) proprietaria di Mitsubishi Electric, denominata Maisart che consente di analizzare i dati di rilevamento multimodale per creare un’interazione estremamente naturale e intuitiva con gli esseri umani mediante la generazione di un linguaggio naturale basato sul contesto.

La tecnologia riconosce gli oggetti e gli eventi contestuali basandosi su dati di rilevamento multimodale, ad esempio immagini e video acquisiti per mezzo di telecamere, informazioni audio registrate con microfoni e informazioni di localizzazione misurate tramite LiDAR. Per dare priorità alle diverse categorie di dati, l’azienda ha sviluppato la tecnologia di fusione multimodale attenzionale (Attentional Multimodal Fusion), che è in grado di ponderare automaticamente i dati unimodali salienti per supportare la scelta delle parole appropriate per descrivere le scene con precisione. Per eseguire i test di benchmark basati su un set di test comune, la tecnologia di fusione multimodale attenzionale ha utilizzato dati audio e video e ha ottenuto un punteggio di valutazione della descrizione delle immagini basata sul consenso (CIDEr, Consensus-Based Image Description Evaluation) di 29 punti percentuali superiore rispetto a quello ottenuto con il solo utilizzo di informazioni visive. La combinazione realizzata da Mitsubishi Electric di fusione multimodale attenzionale e tecnologia di rilevamento delle scene con la generazione di un linguaggio naturale basato sul contesto, ha creato un potente sistema di interazione end-to-end di riconoscimento delle scene che permette un’interazione estremamente intuitiva con gli utenti nelle diverse situazioni.

La tecnologia Scene-Aware Interaction per il sistema di navigazione delle autovetture, un’applicazione mirata, fornisce ai conducenti una guida intuitiva del percorso. Ad esempio, invece di comunicare al conducente “svoltare a destra tra 50 m”, il sistema fornisce indicazioni basate sulle scene rilevate, ad esempio “svoltare a destra prima della buca delle lettere” oppure “seguire l’automobile grigia che svolta a destra”. Inoltre, il sistema genera avvisi vocali, ad esempio “un pedone attraversa la strada”, quando prevede che gli oggetti vicini possano intersecarsi con il percorso della vettura. Per questa funzionalità, il sistema analizza le scene e identifica i punti di riferimento visivi e distinguibili e gli elementi dinamici della scena, quindi utilizza gli oggetti e gli eventi riconosciuti per generare frasi intuitive per la guida.

I recenti progressi nel riconoscimento degli oggetti, nella descrizione dei video, nella generazione di linguaggio naturale e nelle tecnologie di dialogo vocale che si avvalgono delle reti neurali profonde, stanno permettendo alle macchine di comprendere meglio l’ambiente circostante e di interagire con gli esseri umani in modo più naturale e intuitivo. Si prevede che la tecnologia di interazione basata sul riconoscimento delle scene (Scene-Aware Interaction) sarà diffusamente applicata, ad esempio per le interfacce uomo-macchina, i sistemi di informazione e intrattenimento a bordo dei veicoli, l’interazione con i robot nei sistemi di costruzione e di automazione industriale, i sistemi di monitoraggio della salute e del benessere delle persone, i sistemi di sorveglianza che interpretano scene complesse per gli esseri umani e incoraggiano il distanziamento sociale, il supporto per funzionamento “touchless” delle attrezzature presenti nelle aree pubbliche, e molto altro ancora.

SICK partecipa all’edizione 2024 di SPS Italia con tante novità sulla sensoristica
Soluzioni personalizzate per un futuro su misura. Da qui parte SICK a SPS Italia, la fiera sulla tecnologia e l’innovazione diventata un punto di riferimento per il comparto manifatturiero italiano. Appuntamento a Fiere di Parma, dal 28 al...
Commend: comunicazioni efficienti a prova di “rumore” e “sicurezza”
Quando il rumore aumenta, le comunicazioni devono essere ancora più chiare. Lo sa bene Commend Italia, specialista in sistemi di comunicazione e sicurezza, che ha collaborato con il Gruppo Pittini, produttore europeo specializzato in acciai lunghi per l’edilizia...
Schneider Electric presenta EcoStruxure Secure Connect
Schneider Electric va incontro alle crescenti esigenze di cybersecurity in ambito industriale proponendo EcoStruxure Secure Connect. Nel settore dell’automazione industriale, stiamo assistendo a un aumento significativo di macchine installate e connesse, per le quali la cybersecurity rappresenta un requisito fondamentale. Da...
NSK partecipa allo sviluppo di una mano robotica altamente personalizzabile
NSK e il Centro Aerospaziale Tedesco (DLR, Deutsches Zentrum für Luft- und Raumfahrt) stanno sviluppando una mano robotica che aiuterà ad automatizzare attività manuali, in particolare nell’industria dei servizi. Il concetto ruota attorno a una mano robotica...
Il futuro prossimo dell’automazione
La sempre più rapida evoluzione dei mercati internazionali richiede una chiara identificazione delle principali tendenze che influenzeranno e plasmeranno l’automazione industriale nel 2024 e oltre. Omron condivide sei previsioni per il prossimo futuro. Leggi l’articolo
Hyper-light Carbon: il nuovo materiale con cui Prosilas migliora la stampa 3D
Gli sviluppi più interessanti nell’ambito dell’additive manufacturing riguardano i materiali, che sono gli elementi in grado di conferire caratteristiche uniche ai manufatti: robustezza, leggerezza, qualità superficiale… Con oltre 20 anni di esperienza nel settore della stampa 3D,...
ABB Italia vince il premio Assolombarda Awards nella categoria “Responsabilità e Cultura”
Lo scorso 14 marzo 2024, ABB Italia ha ottenuto il riconoscimento Assolombarda Awards nella categoria “Responsabilità e Cultura”. Questo premio celebra le aziende che si sono distinte per il loro impegno nell’ambito dell’education, con particolare attenzione alla...
La nuova teaching box di Mitsubishi Electric
Mitsubishi Electric presenta R86TB, una nuova teaching box ad alte prestazioni per i robot industriali e collaborativi MELFA, progettata per supportare gli utenti, i costruttori di macchine e i system integrator a configurare, programmare ed effettuare la...
SDProget Industrial Software celebra il successo del suo Kit Scuola
Da diversi anni, SDProget ha avviato con successo un programma volto a fornire licenze speciali dei suoi prodotti agli istituti tecnici secondari e alle università, con l’obiettivo di supportare la crescita professionale dei giovani. Il raggiungimento dei...
Tempo sereno ma con cautela
Il 2024 sarà per Leuze Italia un anno sereno grazie anche alla precedente adozione di strategie e politiche industriali e commerciali di grande attenzione che hanno dato buoni risultati Volgendo lo sguardo agli anni passati Leuze Italia...