La nuova tecnologia di interazione basata sul riconoscimento delle scene

Mitsubishi Electric Corporation ha annunciato che l’azienda ha sviluppato una tecnologia che, per la prima volta nel mondo, è in grado di creare un’interazione intuitiva ed estremamente naturale con gli esseri umani basandosi sulla capacità di analizzare le scene e di tradurre i dati di rilevamento multimodale in un linguaggio naturale. Nella nuova tecnologia, Scene-Aware Interaction, è integrata la tecnologia compatta di intelligenza artificiale (IA) proprietaria di Mitsubishi Electric, denominata Maisart che consente di analizzare i dati di rilevamento multimodale per creare un’interazione estremamente naturale e intuitiva con gli esseri umani mediante la generazione di un linguaggio naturale basato sul contesto.

La tecnologia riconosce gli oggetti e gli eventi contestuali basandosi su dati di rilevamento multimodale, ad esempio immagini e video acquisiti per mezzo di telecamere, informazioni audio registrate con microfoni e informazioni di localizzazione misurate tramite LiDAR. Per dare priorità alle diverse categorie di dati, l’azienda ha sviluppato la tecnologia di fusione multimodale attenzionale (Attentional Multimodal Fusion), che è in grado di ponderare automaticamente i dati unimodali salienti per supportare la scelta delle parole appropriate per descrivere le scene con precisione. Per eseguire i test di benchmark basati su un set di test comune, la tecnologia di fusione multimodale attenzionale ha utilizzato dati audio e video e ha ottenuto un punteggio di valutazione della descrizione delle immagini basata sul consenso (CIDEr, Consensus-Based Image Description Evaluation) di 29 punti percentuali superiore rispetto a quello ottenuto con il solo utilizzo di informazioni visive. La combinazione realizzata da Mitsubishi Electric di fusione multimodale attenzionale e tecnologia di rilevamento delle scene con la generazione di un linguaggio naturale basato sul contesto, ha creato un potente sistema di interazione end-to-end di riconoscimento delle scene che permette un’interazione estremamente intuitiva con gli utenti nelle diverse situazioni.

La tecnologia Scene-Aware Interaction per il sistema di navigazione delle autovetture, un’applicazione mirata, fornisce ai conducenti una guida intuitiva del percorso. Ad esempio, invece di comunicare al conducente “svoltare a destra tra 50 m”, il sistema fornisce indicazioni basate sulle scene rilevate, ad esempio “svoltare a destra prima della buca delle lettere” oppure “seguire l’automobile grigia che svolta a destra”. Inoltre, il sistema genera avvisi vocali, ad esempio “un pedone attraversa la strada”, quando prevede che gli oggetti vicini possano intersecarsi con il percorso della vettura. Per questa funzionalità, il sistema analizza le scene e identifica i punti di riferimento visivi e distinguibili e gli elementi dinamici della scena, quindi utilizza gli oggetti e gli eventi riconosciuti per generare frasi intuitive per la guida.

I recenti progressi nel riconoscimento degli oggetti, nella descrizione dei video, nella generazione di linguaggio naturale e nelle tecnologie di dialogo vocale che si avvalgono delle reti neurali profonde, stanno permettendo alle macchine di comprendere meglio l’ambiente circostante e di interagire con gli esseri umani in modo più naturale e intuitivo. Si prevede che la tecnologia di interazione basata sul riconoscimento delle scene (Scene-Aware Interaction) sarà diffusamente applicata, ad esempio per le interfacce uomo-macchina, i sistemi di informazione e intrattenimento a bordo dei veicoli, l’interazione con i robot nei sistemi di costruzione e di automazione industriale, i sistemi di monitoraggio della salute e del benessere delle persone, i sistemi di sorveglianza che interpretano scene complesse per gli esseri umani e incoraggiano il distanziamento sociale, il supporto per funzionamento “touchless” delle attrezzature presenti nelle aree pubbliche, e molto altro ancora.

 

Contenuti correlati

• 
  Robot Scara e sistemi di visione con Macco, Omron e Werfen nei laboratori clinici

  Per la fornitura di reagenti destinati ai laboratori di farmaco-tossicologia, Werfen ha implementato una nuova macchina automatica realizzata da Macco in collaborazione con Omron e Marini Pandolfi che utilizza robot Scara e sistemi di visione avanzati per...
• 
  Ingegneria in cloud e assistenti AI nella suite di progettazione B&R

  Alla fiera SPS di quest’anno a Norimberga, in Germania, B&R ha annunciato un importante aggiornamento della sua suite completa di software di progettazione e runtime. Con Automation Studio Code, B&R introduce un’esperienza di progettazione completamente nuova. La...
• 
  Additive manufacturing R-evolution al via con Energy Group e Stratasys

  Il mondo dello sport può trarre grandi benefici dall’additive manufacturing: prototipazione, customizzazione, soluzioni per l’agonismo, produzione di singole parti funzionali e persino di interi lotti. Come? Affidandosi alla giusta tecnologia ma anche ai materiali più adatti ad...
• 
  Agricoltura verticale? Possibile con l’automazione

  L’intero sistema dell’inglese IGS, che fornisce piattaforme in grado di creare climi ideali per piante e persone, è gestito da software e robot mobili Omron L’agricoltura verticale automatizzata si sta sviluppando rapidamente, tanto che il mercato globale...
• 
  Nuovo controller nella piattaforma di automazione Yaskawa in SPS

  In occasione di SPS Norimberga, Yaskawa continua l’espansione della sua piattaforma di automazione ‘iCube Control’, presentando il controller serie iC9226 in funzione. Il controller iC9226 funziona con il chip industriale Triton di Yaskawa e può controllare fino...
• 
  DigiKey amplia l’offerta con oltre 611 mila nuovi prodotti nel terzo trimestre 2024

  DigiKey, distributore commerciale che offre a livello globale una vasta selezione di componenti tecnici e prodotti di automazione a magazzino per spedizione immediata, annuncia l’ampliamento del suo portafoglio con l’introduzione di nuovi prodotti e nuovi partner fornitori...
• 
  Operazioni di magazzino senza errori in JAS grazie alle soluzioni RFID di Zebra

  Zebra Technologies Corporation, fornitore leader di soluzioni digitali che consentono alle aziende di collegare in modo intelligente dati, risorse e persone, ha annunciato che JAS Jet Air Service SPA sta utilizzando la tecnologia di identificazione a radiofrequenza (RFID)...
• 
  Centro Software alla A&T Automation & testing Nordest di Vicenza

  Centro Software, azienda di riferimento nel mercato italiano nello sviluppo di soluzioni ERP, partecipa alla Fiera A&T Automation&Testing Nordest di Vicenza, dal 6 all’8 novembre 2024 (Padiglione 6 | Stand C05-C07). La crescita di Centro Software nel...
• 
  Automazione e compliance alla normativa UE sugli imballaggi con Omron

  L’Europa si sta preparando per apportare cambiamenti radicali alla legislazione sugli imballaggi. Patricia Torres, esperta di sostenibilità di Omron Industrial Automation Europe, spiega in che modo l’automazione della tracciabilità digitalizzata può aiutare i produttori di beni di...
• 
  Azionamento ad asse singolo Keba a elevata dinamica e precisione

  Keba, azienda dalla vasta esperienza nel settore dell’automazione con sede a Linz, in Austria, amplia il proprio portafoglio di soluzioni di azionamento con i servoazionamenti monoasse della serie KeDrive D5, che si integrano perfettamente nella piattaforma di...