La comunicazione gestuale è uno dei paradigmi di interazione uomo-macchina cui gli sviluppatori di sistemi embedded stanno guardando con grande attenzione per superare le problematiche di interfaccia che emergono come conseguenza della riduzione delle dimensioni e del contestuale aumento della complessità delle applicazioni. Interagire con i sistemi embedded diventa sempre più complesso, in quanto la crescente riduzione delle dimensioni dei sistemi porta alla indisponibilità delle interfacce tradizionali, in particolare la tastiera e il display. Vari paradigmi di interfaccia naturale sono stati esplorati e messi a punto in questi ultimi anni per conferire ai sistemi embedded un livello di interfaccia tendenzialmente naturale per l'interazione con i sistemi e che allo stesso tempo risultasse efficace. La tecnologia video e quella touch hanno rappresentato fino ad ora l'unica soluzione non invasiva (quasi) alla base delle interfacce uomo-macchina di natura gestuale. Una soluzione attualmente abbastanza diffusa è quella rappresentata da Kinect di Microsoft, una soluzione di interfaccia gestuale introdotta per i videogiochi alcuni anni fa, in alternativa a quelle che richiedevano di indossare vari tipi di dispositivi sensoriali. Kinect, dotato di telecamera Rgb e doppio sensore di profondità a raggi infrarossi, basa il principio di cattura dei gesti sulla tecnologia della visione (telecamera Rgb con risoluzione di 640 × 480 pixel e telecamera a infrarossi con risoluzione di 320 × 240 pixel). Tale soluzione, indubbiamente innovativa, in quanto ha liberato l'utilizzatore dalla necessità di impugnare dei controller per comunicare con il videogioco, applicata ai computer in generale e ai sistemi embedded in particolare, offre solo il vantaggio della non invasività, ma è intrinsecamente insufficente per soddisfare i requisiti dell'embedding (ridotte dimensioni, basso consumo, tolleranza al rumore e alle interferenze e, soprattutto, basso costo).
Comunicazione gestuale non invasiva
Il problema fondamentale che i nuovi paradigmi di comunicazione e interazione tra uomo e macchina intendono risolvere è il contatto fisico, ovvero l'invasività dell'interfaccia che nella forma più evidente si manifesta sotto forma di contatto fisico (per esempio come avviene con la tastiera, anche se questa non è meccanica ma touch). La soluzione vocale è sicuramente molto efficace nell'eliminare il problema del contatto fisico nella comunicazione verso la macchina, ma non è esaustiva ed è poco pratica quando viene utilizzata per conferire comando o per comunicare quanto normalmente viene fatto con in gesti. La comunicazione gestuale non è sostitutiva della comunicazione vocale, ma è una sua importante parte integrante. La cattura del gesto attualmente fa ricorso a tecnologie sensoriali allo stato dell'arte come i touchscreen (multitouch), che però implicano il contatto fisico tra l'uomo e la macchina, e quindi le conseguenti limitazioni dimensionali e funzionali. Per superare queste limitazioni e ottenere soluzioni senza contatto (non invasive) i produttori di componenti microelettronici stanno proponendo soluzioni innovative di sensing gestuale senza contatto che sfruttano vari principi fisici e tecnologie elettroniche sempre più allo stato dell'arte. Il gesto ovviamente non attiene solo alle mani, ma a tutto il corpo. Gli occhi per esempio possono essere utilizzati per comandare azioni da eseguire da parte della macchina. Per esempio nello smartphone Galaxy S4 di Samsung sono state implementate una serie di funionali comandate da gesti che non sono delle dita, ma di parti del corpo come la testa e gli occhi. La videcamera è un dispositivo primario per la cattura non invasiva dei gesti in quanto nativo dei sistemi embedded come gli smartphone. Non è comunque una soluzione ottimale dal punto di vista della complessità dell'elaborazione (il video processing è un'attività computazionalmente intensiva che impegna in maniera rilevante le risorse di elaborazione del sistema). Altre soluzioni di cattura non invasiva dei gesti vengono dunque proposte dai produttori di componenti microelettronici per consentire ai costruttori di sistemi embedded di soddisfare in maniera sempre più efficace i requisiti implementativi dei sistemi.
L'alternativa al video e al touch
La soluzione visuale, pur essendo efficace, ha evidenziato le limitazioni che, anche in altri contesti applicativi, la visione comporta. Anche il riconoscimento dei gesti basato sul touch dei display, anch'esso efficace, di fatto implica problemi di usabilità (dimensioni e fisiologia). Diverse tecnologie di cattura e riconoscimento dei gesti sono state messe a punto recentemente e rese disponibili sotto forma di circuiti integrati, intese a superare queste limitazioni dei sistemi visuali e touch. Microchip ha recentemente introdotto un chip per la cattura e il riconoscimento di gesti in uno spazio 3D. L'MGC3130 è un system-on-chip che utilizza il campo elettrico di prossimità in dimensioni spaziale per catturare con elevata precisione il movimenti della mano e delle dita per interagire in tempo reale con un sistema embedded. Grazie all'utilizzo del campo elettrico vengono evitati tipici problemi di altre tecnologie come le interferenze elettromagnetiche, l'interferenza della luce, l'interferenza del suono oppure i punti ciechi. MG3130 non è un semplce sensore 3D, ma un sistema completo che fornisce a livello di interfaccia il riconoscimento del gesto. Ciò grazie alla disponibilità on-chip di un processore digitale di segnale e di una memoria che detiene i modelli di riferimento dei gesti. Il digital signal processor esegue in tempo reale complessi algoritmi di riconoscimento dei gesti e rende disponibile in uscita queste informazioni in forma compatta. Il chip è anche programmabile, cioè la memoria dei gesti riconoscibili può essere riprogrammata con nuovi gesti. In tal modo il dispositivo può essere adattato ad appplicazioni ove il modello di riconoscimento dei gesti non è standard. Leap Motion ha sviluppato un controller capace di rilevare e di tracciare i movimenti della mano, delle dita e di strumenti che hanno la forma delle dita in un contesto di prossimità ad elevata precisione e frequenza di campionamento, completamente privo di contatto. Il software di cui dispone analizza gli oggetti rilevati dal sistema di sensing del controller e riconosce la mano e le sue componenti funzionali in termini di posizione, natura del gesto, e movimento. A tale scopo genera un campo 3D di cattura del gesto a forma di piramide rovesciata centrata su dispositivo stesso. Il campo coperto dal controller si estende da 25 a 600 millimetri al di sopra del dispositivo. HP ha integrato questa tecnologia 3D motion in un notebook, ENVU17 Leap Motion Special Edition, insieme alla Airspace application patform, dimostrando in tal modo l'effettiva integrabilità di questa tecnologia in sistemi portatili senza impatto sulle dimensioni. Il sensore misura appena 3,5 mm, quindi adeguato all'integrazione in sistemi embedded molto più piccoli di un notebook. Un'altra soluzione viene da TalmicLabs e si basa sulla rilevazione del segnale bioelettrico dei muscoli della mano che comandano i gesti (mioelettrico), da cui il nome Myo, e sul segnale rilevato da un dispositivo Mems a 9 assi (accelerometro, giroscopio e magnetometro), tutto integrato in un braccialetto delle dimensioni di un orologio.
Dai laboratori di ricerca all'industria il passo è breve
Nei laboratori di ricerca sono state sviluppate metodologie e tecnologie di cattura e riconoscimento dei gesti particolarmente efficaci per le applicazioni embedded. Queste sfruttano vari principi fisici che risultano vantaggiosi relativamente ai requisiti applicativi dei sistemi embedded. I ricercatori della Berckley Engineering e UC Davis hanno sviluppato un chip di piccolissime dimensioni che si basa sugli ultrasuoni per la cattura di gesti in uno spazio tridimensionale. La tecnologia, cui è stato dato il nome Chirp, consente l'integrazione in dispositivi indossabili e ad elevato livello di embedding. Questa tecnologia, nata nei laboratori di ricerca dell'Università di Berkley, è stata portata a livello commerciale dalla Chirp Microsystem che ha industrializzato questa soluzione sotto forma di chip integrabile nei sistemi embedded. Data la natura degli ultrasuoni, questo dispositivo di cattura 3D dei gesti, oltre ad essere non invasivo, consente anche l'operatività in condizioni particolari come il buio. Date le dimensioni, e la non necessità di dispositivi atti a creare il campo entro cui deve essere immersa la mano per consentire il riconoscimento dei gesti, questa è senza dubbio una delle soluzioni ideali per creare in sistemi ultra embedded, come i computer da polso o da testa, un livello di interfaccia gestuale efficace. Presso i laboratori dell'Università di Washington i ricercatori hanno sviluppato una tecnologia di riconoscimento dei gesti basata sul campo Wi-Fi. Questa soluzione ha il vantaggio di non richiedere la presenza di attuatori e di sensori in quanto si basa su un campo elettromagnetico preesistente (quello Wi-Fi) e sul fatto che i rivelatori di variazione del campo magnetico possono far parte degli stessi dispositivi Wi-Fi che emettono il campo elettromagnetico ai fini della connettività wireless. La tecnologia è stata denominata WiSee ed è stata presentata alla conferenza internazionale sul Mobile Computing e Networking. Il principio su cui si basa è abbastanza semplice, anche se di fatto richiede algoritmi di elaborazione del segnale Rf abbastanza sofisticati. Si tratta di identificare le variazioni di spettro frequenziale che si manifestano quando nel campo Rf si muovono oggetti o persone. Queste variazioni che in condizioni normali sarebbero rumore nella comunicazione Wi-Fi, diventano informazioni in questa modalità applicativa. I risultati sperimentali hanno dimostrato una precisione del 94% nel riconoscimento e nella classificazione di nove tipi di gesti. Il campo Rf è sicuramente una limitazione in quanto non sempre è disponibile, ma offre il vantaggio di essere fruibile anche in ambienti diversi da quelli in cui c'è il dispositivo ricetrasmittente.
