Al giorno d’oggi, l’intelligenza artificiale in ambito edge è troppo lenta e consuma troppa energia. Ecco perché i microcontrollori a 32 bit necessitano di un importante aggiornamento AI
Le ultime conquiste dell’intelligenza artificiale (AI), supportata da sistemi di cloud computing su larga scala, continuano a stupire sia i consumatori sia gli informatici. L’AI può svolgere numerose funzioni, per es. redigere un rapporto aziendale, organizzare un servizio fotografico per un negozio di moda, e persino scoprire nuove molecole. Questo è ormai un fatto accettato, mentre nel 2020 sarebbe stato considerato un evento fantascientifico.
Il potenziale di capacità computazionali trasformative è altrettanto rilevante per i produttori di dispositivi integrati quanto per i consumatori che utilizzano servizi di intelligenza artificiale cloud al giorno d’oggi. Immaginiamo dispositivi che possono rispondere immediatamente alla voce, prevedere quando le macchine necessitano di manutenzione prima che si guastino, o analizzare istantaneamente un ambiente, il tutto senza inviare dati al cloud.
La competizione per conquistare i consumatori sarà vinta da quei produttori che sapranno adattarsi e sfruttare le tecnologie di intelligenza artificiale in rapida evoluzione, offrendo esperienze utente innovative e coinvolgenti nelle applicazioni di AI edge, come i dispositivi portatili e indossabili.
Ma per realizzare le ambiziose visioni dell’intelligenza artificiale attualmente perseguite dai leader dell’industria dei dispositivi di consumo, il mondo embedded dovrà vincere una sfida importante: ridurre il consumo energetico e i costi e adattare le dimensioni dell’hardware e del software AI alle risorse estremamente limitate.
Alcuni tipi di microcontrollori (MCU) sembrano destinati a essere il cuore pulsante di qualsiasi dispositivo embedded nell’entusiasmante nuova era dell’intelligenza artificiale edge. Ma l’industria degli MCU deve prima radicalmente riprogettare l’architettura dei propri prodotti per fornire le prestazioni richieste dai nuovi dispositivi abilitati all’AI, mantenendo i rigidi limiti di potenza delle batterie dei prodotti di domani.
Perché l’intelligenza artificiale è fondamentale per l’edge?
La quantità di dati generati dai dispositivi edge sta crescendo esponenzialmente, rendendo sempre più urgente la necessità di elaborare l’AI direttamente sul dispositivo. Si prevede che la datasfera globale, che comprende tutti i dati creati nel mondo, aumenterà vertiginosamente, raggiungendo i 150 zettabyte (ZB) entro il 2025, quadruplicandosi (e oltre) per raggiungere quasi 600 ZB entro il 2030. Con miliardi di dispositivi (dai dispositivi indossabili ai sensori IoT industriali) connessi online, l’enorme volume di dati travolgerà le infrastrutture cloud tradizionali.
Più dati vengono prodotti, più essenziale sarà il ruolo svolto dall’intelligenza artificiale e dall’apprendimento automatico (ML) nell’interpretazione dei dati per produrre informazioni significative e, di conseguenza, più dati verranno generati sulla base di tali informazioni. Per non parlare del fatto che un sottoinsieme di dati provenienti dall’edge viene utilizzato per addestrare modelli di generazione dei dati migliorati. Questo ciclo di feedback basato sui dati è un fattore determinante nell’espansione esponenziale della datasfera.
Questo enorme volume di dati prodotti e analizzati ai margini della rete sta ora innescando un cambiamento nel modo in cui i sistemi embedded elaborano i dati, richiedendo l’elaborazione locale all’edge.
Quattro motivi per cui l’inferenza AI all’edge è importante
I sistemi di intelligenza artificiale aziendali e quelli basati su smartphone solitamente eseguono numerosi processi AI nel cloud. Ma per i dispositivi embedded che hanno risorse limitate, l’elaborazione locale offre quattro grandi vantaggi:
- Latenza ridotta per una risposta in tempo reale: applicazioni come la manutenzione predittiva o il monitoraggio dello stato di salute non possono permettersi il ritardo tipico dell’elaborazione cloud. Ad esempio, un dispositivo sanitario che rileva ritmi cardiaci anomali necessita di un intervento immediato, che può essere reso possibile tramite l’elaborazione locale.
- Efficienza della larghezza di banda: la trasmissione costante di grandi volumi di dati al cloud metterebbe a dura prova le reti e diventerebbe insostenibilmente costosa, soprattutto con l’aumento del volume dei dati. L’elaborazione locale riduce la domanda di larghezza di banda gestendo i dati direttamente sul dispositivo.
- Privacy e sicurezza: alcune applicazioni, come il monitoraggio della salute o la sorveglianza, richiedono che i dati sensibili rimangano sul dispositivo. L’elaborazione locale con AI consente di elaborare i dati senza che questi debbano mai lasciare il dispositivo, rafforzando la privacy.
- Efficienza energetica: la comunicazione dei dati tra il dispositivo e il cloud consuma enormi risorse energetiche che porta allo scaricamento della batteria di un dispositivo edge. L’elaborazione all’edge conserva l’energia, consentendo ai dispositivi alimentati a batteria di funzionare molto più a lungo tra una ricarica e l’altra.
La combinazione di questi vantaggi spiega perché l’AI edge continua a essere adottata rapidamente in tutti i settori. Nell’elettronica di consumo, consente la traduzione linguistica in tempo reale sui dispositivi indossabili. Nell’IoT industriale, consente ai sensori di monitorare la salute dei macchinari, segnalando la necessità di manutenzione prima di un guasto. In ambito sanitario, i dispositivi indossabili monitorano i parametri vitali a livello locale, trasformando l’assistenza reattiva in informazioni proattive (vedere Figura 1).
Per alcune applicazioni ad alto rischio o in tempo reale, l’elaborazione AI locale non è solo un miglioramento, è una necessità. Applicazioni quali il monitoraggio sanitario, la manutenzione predittiva e i dispositivi interattivi per i consumatori non possono raggiungere tutte le loro potenzialità se utilizzano esclusivamente l’elaborazione cloud.
Ad esempio, i dispositivi sanitari indossabili che rilevano aritmie cardiache o improvvisi cambiamenti nei parametri vitali devono analizzare i dati all’istante per avvisare gli utenti in tempo reale di potenziali rischi per la salute. Qualsiasi ritardo nell’elaborazione nel cloud potrebbe fare la differenza tra un intervento tempestivo e un allarme mancato. Allo stesso modo, i sensori IoT industriali utilizzati per la manutenzione predittiva delle apparecchiature di fabbrica devono rilevare immediatamente le anomalie per evitare costosi fermi e danni alle apparecchiature. L’invio di dati al cloud comporterebbe un ritardo aggiuntivo che potrebbe compromettere questo approccio proattivo.
Nelle applicazioni consumer, gli occhiali per la realtà aumentata (AR) sono un altro esempio. Affinché questi dispositivi possano fornire informazioni continue e on-demand sull’ambiente circostante, come l’identificazione di punti di riferimento o la traduzione di testi in tempo reale, necessitano di potenza di elaborazione sul dispositivo, senza dipendere dal cloud, per garantire che le interazioni siano rapide e naturali.
Questi esempi sottolineano il motivo per cui l’intelligenza artificiale locale non è una caratteristica “nice-to-have”, ma una capacità essenziale per i dispositivi edge. L’elaborazione edge è l’unico modo per soddisfare le esigenze di una gestione dei dati in tempo reale, sicura ed energeticamente efficiente, dando il via a un cambiamento radicale nel modo di concepire l’elaborazione dei dati.
Cosa può fare l’AI edge: applicazioni chiave e tipi di modelli
Il desiderio di introdurre queste innovazioni nell’edge ha portato a un’impennata nello sviluppo di ottimizzazioni dei modelli di machine learning (ML). Tecniche come il model pruning, la compressione e la quantizzazione aiutano a ridurre le dimensioni e l’ingombro computazionale dei modelli di ML, preservandone l’accuratezza. I modelli dedicati vengono adattati per soddisfare le esigenze di specifiche applicazioni edge in diversi settori.
- Classificazione delle immagini, segmentazione e rilevamento degli oggetti: le reti neurali convoluzionali (CNN) eccellono nell’analisi dei dati visivi e sono quindi ideali per applicazioni come il riconoscimento facciale nei dispositivi per la smart home o il rilevamento di oggetti negli occhiali AR, nonché il riconoscimento di gesti e posture.
- AI generativa ed elaborazione del linguaggio naturale (NLP): i trasformatori, originariamente progettati per attività linguistiche su larga scala, vengono ora perfezionati in Small Language Models (SLM) specializzati e leggeri che possono essere eseguiti direttamente sui dispositivi edge. Questi SLM supportano comandi vocali, traduzioni in tempo reale e interfacce attivate vocalmente, offrendo agli utenti interazioni più intuitive e fluide con i loro dispositivi.
- Manutenzione predittiva e rilevamento delle anomalie: le reti neurali ricorrenti (RNN) e i modelli di memoria a lungo e breve termine (LSTM) eccellono nella gestione dei dati di serie temporali. I macchinari industriali e i veicoli sono dotati di sensori edge che monitorano i dati relativi a vibrazioni, temperatura e pressione. Questi modelli possono utilizzare questi dati per rilevare le anomalie e avvisare gli operatori delle esigenze di manutenzione prima che si verifichino guasti (vedere Figura 2).
Alcune funzionalità presenti nei dispositivi connessi al cloud sono fuori dalla portata dei dispositivi embedded, ma i produttori sono impazienti di implementarle. Questa impazienza è particolarmente pronunciata nel caso dei Large Language Models (LLM) come ChatGPT. Gli LLM hanno suscitato interesse nel campo dell’elaborazione del linguaggio naturale grazie al potenziale per la creazione di nuove interfacce vocali intuitive all’edge: gli MCU nei dispositivi edge dovranno prima o poi essere in grado di supportare questa tecnologia.
Nel mondo consumer, i produttori vedono un ampio potenziale per l’AI in ambienti finora impensabili per l’elaborazione dei dati AI, come i dispositivi indossabili. Attualmente, i produttori stanno osservando il potenziale del mercato degli occhiali intelligenti, ad esempio, in cui l’implementazione AI potrebbe essere trasformativa. Possono offrire agli utenti vere “killer app”, come la traduzione del parlato o del testo in tempo reale, l’interpretazione vocale in un linguaggio naturale, funzioni di ricerca migliorate o assistenza AI context-aware in relazione agli oggetti presenti nel campo visivo.
La domanda è quindi: come possono i produttori di dispositivi embedded aumentare le prestazioni dei loro prodotti di nuova generazione per soddisfare le esigenze della futura tecnologia AI, senza aumentare anche il consumo energetico e i costi?
Cosa significa questo per la progettazione di MCU? adattarsi alle esigenze dell’AI edge
L’esperienza odierna dei produttori di dispositivi embedded edge dimostra che le capacità degli MCU non sono all’altezza dei requisiti neanche degli attuali modelli di ML, senza tener conto della loro futura evoluzione. Il potenziale di aggiungere valore, in particolare nei dispositivi audiovisivi indossabili, non viene sfruttato perché i sistemi on-chip (SoC) attualmente sul mercato consumano troppa energia, sono troppo grandi e non dispongono di risorse di elaborazione essenziali.
Ciò non significa che oggi non ci siano margini per implementare l’intelligenza artificiale sugli MCU edge: gli MCU ottimizzati per le funzionalità AI, tra cui i prodotti delle famiglie Ensemble e Balletto di Alif Semiconductor, stanno consentendo di fare passi da gigante nell’elaborazione della voce, delle immagini e dell’analisi del movimento, in particolare utilizzando le CNN (vedere Figura 3).
Ma c’è un’ampia gamma di nuove funzionalità che i nuovi modelli SLM basati su trasformatori e i modelli emergenti, tra cui le reti neurali grafiche (GNN) e le reti neurali spike (SNN), renderanno possibili e che attualmente sono al di là della portata degli attuali MCU orientati all’intelligenza artificiale.
La nuova generazione di MCU dovrà potenziare le capacità hardware in tre aree. in primo luogo, dovranno integrare una capacità di calcolo specializzata in reti neurali sotto forma di unità di elaborazione neurale (NPU). I futuri dispositivi integrati dovranno offrire prestazioni superiori a 1 TOPS, consumando al contempo così poca energia da poter essere impiegati in prodotti come gli auricolari con batterie molto piccole, garantendo comunque un utilizzo di un giorno intero tra una ricarica e l’altra.
In secondo luogo, i nuovi sistemi AI edge che utilizzano modelli come gli SLM avranno requisiti di memoria molto più elevati, sia on-chip che off-chip. Ciò suggerisce che i produttori di MCU dovranno introdurre interfacce più veloci e a basso consumo energetico tra l’MCU e le memorie esterne. Anche l’architettura degli MCU di domani dovrà evolversi per offrire pipeline sufficientemente veloci da supportare il funzionamento di memorie più grandi e veloci.
Infine, la tendenza già nota di integrare sempre più funzionalità negli MCU deve essere intensificata per consentire l’implementazione di sistemi abilitati all’intelligenza artificiale ricchi di sensori nel piccolo ingombro di un nodo edge.
Un nuovo futuro: l’informatica integrata nella vita quotidiana delle persone
L’opportunità per il mondo MCU non riguarda solo l’aumento della sua presenza in una o due nuove categorie di dispositivi edge: stiamo potenzialmente assistendo a un cambiamento radicale nella domanda di capacità di elaborazione, passando da hub basati su CPU e GPU a un mondo in cui la maggior parte delle persone interagisce con il dominio digitale tramite un MCU.
In questo nuovo ambiente di elaborazione più distribuito, le funzioni basate sull’intelligenza artificiale saranno implementate in modo fluido e con bassa latenza all’edge, in dispositivi come occhiali intelligenti o auricolari con audio migliorato. Offriranno un’esperienza utente più naturale in cui la tecnologia sarà integrata nel tessuto della vita dell’utente, anziché attirare costantemente la sua attenzione sullo smartphone o sul PC: un mondo in cui i dispositivi integrati saranno al centro della scena.
L’impatto potenziale è profondo: man mano che sempre più attività vengono delegate a dispositivi intelligenti integrati nell’ambiente e in grado di comunicare tra loro – che si tratti di monitoraggio della salute, ottimizzazione energetica, sicurezza o altre applicazioni – la nostra dipendenza dalle app per smartphone e dai servizi Internet basati su PC diminuirà. Questa intelligenza diffusa e decentralizzata sfida il monopolio attualmente detenuto dai dispositivi e dai servizi centralizzati. Ci consentirebbe di interagire con la tecnologia in modo più fluido, personalizzato e meno invasivo, migliorando la nostra qualità di vita personale e professionale.
E al centro di questo mondo ci sarà una nuova generazione di MCU basati su architetture ottimizzate per le nuove tecnologie AI e machine learning.
