La nuova tecnologia di interazione basata sul riconoscimento delle scene

Pubblicato il 22 settembre 2020

Mitsubishi Electric Corporation ha annunciato che l’azienda ha sviluppato una tecnologia che, per la prima volta nel mondo, è in grado di creare un’interazione intuitiva ed estremamente naturale con gli esseri umani basandosi sulla capacità di analizzare le scene e di tradurre i dati di rilevamento multimodale in un linguaggio naturale. Nella nuova tecnologia, Scene-Aware Interaction, è integrata la tecnologia compatta di intelligenza artificiale (IA) proprietaria di Mitsubishi Electric, denominata Maisart che consente di analizzare i dati di rilevamento multimodale per creare un’interazione estremamente naturale e intuitiva con gli esseri umani mediante la generazione di un linguaggio naturale basato sul contesto.

La tecnologia riconosce gli oggetti e gli eventi contestuali basandosi su dati di rilevamento multimodale, ad esempio immagini e video acquisiti per mezzo di telecamere, informazioni audio registrate con microfoni e informazioni di localizzazione misurate tramite LiDAR. Per dare priorità alle diverse categorie di dati, l’azienda ha sviluppato la tecnologia di fusione multimodale attenzionale (Attentional Multimodal Fusion), che è in grado di ponderare automaticamente i dati unimodali salienti per supportare la scelta delle parole appropriate per descrivere le scene con precisione. Per eseguire i test di benchmark basati su un set di test comune, la tecnologia di fusione multimodale attenzionale ha utilizzato dati audio e video e ha ottenuto un punteggio di valutazione della descrizione delle immagini basata sul consenso (CIDEr, Consensus-Based Image Description Evaluation) di 29 punti percentuali superiore rispetto a quello ottenuto con il solo utilizzo di informazioni visive. La combinazione realizzata da Mitsubishi Electric di fusione multimodale attenzionale e tecnologia di rilevamento delle scene con la generazione di un linguaggio naturale basato sul contesto, ha creato un potente sistema di interazione end-to-end di riconoscimento delle scene che permette un’interazione estremamente intuitiva con gli utenti nelle diverse situazioni.

La tecnologia Scene-Aware Interaction per il sistema di navigazione delle autovetture, un’applicazione mirata, fornisce ai conducenti una guida intuitiva del percorso. Ad esempio, invece di comunicare al conducente “svoltare a destra tra 50 m”, il sistema fornisce indicazioni basate sulle scene rilevate, ad esempio “svoltare a destra prima della buca delle lettere” oppure “seguire l’automobile grigia che svolta a destra”. Inoltre, il sistema genera avvisi vocali, ad esempio “un pedone attraversa la strada”, quando prevede che gli oggetti vicini possano intersecarsi con il percorso della vettura. Per questa funzionalità, il sistema analizza le scene e identifica i punti di riferimento visivi e distinguibili e gli elementi dinamici della scena, quindi utilizza gli oggetti e gli eventi riconosciuti per generare frasi intuitive per la guida.

I recenti progressi nel riconoscimento degli oggetti, nella descrizione dei video, nella generazione di linguaggio naturale e nelle tecnologie di dialogo vocale che si avvalgono delle reti neurali profonde, stanno permettendo alle macchine di comprendere meglio l’ambiente circostante e di interagire con gli esseri umani in modo più naturale e intuitivo. Si prevede che la tecnologia di interazione basata sul riconoscimento delle scene (Scene-Aware Interaction) sarà diffusamente applicata, ad esempio per le interfacce uomo-macchina, i sistemi di informazione e intrattenimento a bordo dei veicoli, l’interazione con i robot nei sistemi di costruzione e di automazione industriale, i sistemi di monitoraggio della salute e del benessere delle persone, i sistemi di sorveglianza che interpretano scene complesse per gli esseri umani e incoraggiano il distanziamento sociale, il supporto per funzionamento “touchless” delle attrezzature presenti nelle aree pubbliche, e molto altro ancora.

Droni, automazione e intelligenza artificiale: Inspire sviluppa la piattaforma per il monitoraggio degli incendi
Nelle attività di spegnimento di un incendio boschivo, la Protezione civile e i Vigili del fuoco si trovano frequentemente a dover affrontare la riaccensione di fuochi da punti caldi considerati già spenti, soprattutto durante la notte quando...
Andrea Bianchi riconfermato alla presidenza di Anie Automazione per il biennio 2024-2026
Riconfermato alla presidenza di Anie Automazione Andrea Bianchi, amministratore delegato di Heidenhain Italiana dal 2002. Sarà in carica per il biennio 2024-2026: l’elezione, all’unanimità, è avvenuta lo scorso 13 giugno in occasione dell’assemblea dei soci dell’associazione. Riconfermati al suo fianco i...
Digital watermarking e visione artificiale con Digimarc e Omron
Digimarc Corporation, riferimento mondiale per il settore delle tecnologie di filigrana digitale, e Omron, azienda di primo piano nelle soluzioni di automazione industriale, hanno presentato la loro partnership strategica volta a portare le soluzioni di automazione industriale...
In attesa delle fiere di fine anno…
Si è svolta la conferenza stampa della manifestazione SPS 2024 di Norimberga in una location emozionante dove lo sguardo abbracciava tutta la città di Milano come a voler sottolineare l’importanza e la grandezza dell’evento, il desiderio di...
Quanto serve l’automazione nella lavorazione CNC?
Le macchine CNC hanno vari livelli di automazione e questo può solo migliorare i processi di lavorazione e la qualità dei componenti di produzione: questa l’opinione di Tezmaksan Robot Technologies Le prime macchine CNC furono introdotte nel...
Green & smart: il binomio del futuro
Sostenibilità e innovazione: questi i due temi chiave del manifatturiero 5.0, dove Schneider Electric è in grado di fornire un supporto a 360 gradi, dall’energia, all’automazione, alla digitalizzazione In un contesto economico in rapida evoluzione, il settore...
Controllo remoto di mobile robot mediante VR, Reply vince l’AIRA Challenge
Roboverse Reply, specializzata nell’integrazione di robotica, Reality Capture e Mixed Replity, ha vinto per la seconda volta consecutiva l’Advanced Industrial Robotic Applications (AIRA) Challenge. Il concorso invitava esperti di fama mondiale a sviluppare soluzioni innovative per consentire...
Sistemi di presa in carbonio CVGC Coval alla seconda generazione
Nel 2019, Coval ha lanciato il suo primo sistema di presa in carbonio CVGC, progettato per i robot collaborativi, quando il mercato stava appena iniziando ad esistere. Oggi, in un mercato in continua espansione, l’azienda lancia la...
VDMA Robotics+Automation: la crescita rallenta in casa, positivo l’export
In Germania la robotica e l’automazione saranno trainate principalmente dalla domanda estera, mentre l’economia interna rimane debole: nel 2024 si prevede per il settore un aumento complessivo delle vendite del 2%, arrivando a quota 16,5 miliardi di...
Vincenzo Tinti vince il Trofeo Smart Project di Omron
Vincenzo Tinti dell’IIS Castelli di Brescia è il vincitore della fase finale del Trofeo Smart Project Omron, che giunto alla sua diciassettesima edizione continua nella sua missione di avvicinare le scuole tecniche e professionali al mondo dell’automazione...