Il monitoraggio surround diventerà una funzionalità comune in auto. Questa funzione fa parte del sistema di assistenza al parcheggio. Inizialmente facente parte di una nicchia di mercato pilotata da case automobilistiche asiatiche, è adesso diventato un optional offerto dalla maggior parte dei costruttori di automobili, con la conseguenza di una richiesta più elevata in termini di esperienza di guida e di soluzione di scalabilità. Renesas è un player importante per il supporto dei requisiti di vista Surround già nella loro fase iniziale. Oggi Renesas offre una nuova generazione di SoC per rispondere alle esigenze del mercato globale con un approccio scalabile e innovativo. Lo scopo del surround view monitoring è quello di visualizzare una vista panoramica delle immediate vicinanze della vettura. Questa rappresentazione a 360 gradi con prospettiva 2D dal cielo si chiama "bird view" o "vista dall'alto". I diversi punti di vista sono uniti grazie al corretto allineamento geometrico delle telecamere. La luminosità e il colore dei video delle differenti telecamere vengono modificati per l'armonizzazione della vista Surround. Tuttavia, visualizzare solo questa rappresentazione in genere non aiuta il guidatore durante il processo di parcheggio. Per facilitare questa manovra, ulteriori informazioni possono essere mostrate al conducente quali sovrapposizioni 2D o vista posteriore. Un approccio complementare è quello di migliorare la comprensione delle distanze da parte del conducente tramite una rappresentazione 3D dei dintorni della vettura. Lo scopo è quello di utilizzare le telecamere 2D intorno alla vettura per creare una rappresentazione 3D completa delle sue immediate vicinanze con una auto 3D generata come riferimento alla prospettiva del conducente. Questa dovrebbe riflettere una rappresentazione realistica delle distanze degli elementi vicini (pedoni, automobili e edifici). La sfera prospettica 3D dovrebbe cambiare dinamicamente secondo il movimento dell’auto. Il modello di auto deve essere adeguatamente integrato nella scena globale con la luce o la riflessione sul modello di auto. Questo livello di applicazione pilota quindi le prestazioni richieste in termini di grafica 3D e computer vision in una piattaforma embedded automotive. Renesas ha creato la famiglia SoC chiamata R-Car per consentire questo livello di applicazioni. La seconda generazione R-Car è stata ufficialmente rilasciata nel marzo 2013 e supporta una vasta gamma di applicazioni, quali connettività, entertainment e Adas. Questa famiglia fornisce prestazioni eccezionali con un consumo di energia ottimale e Api per ridurre gli sforzi di sviluppo da parte del cliente. Da questa famiglia, due dispositivi supportano applicazioni surround view: R-Car H2 e R-Car V2H.
Un’esperienza 3D coinvolgente
R-Car H2 è il primo dispositivo uscito a marzo 2013 tagliato su misura per integrare le soluzioni del cockpit con applicazioni 3D surround. Per questo utilizzo dobbiamo prima prendere in considerazione le prestazioni richieste al motore grafico 3D. Dovremmo porre particolare attenzione alle due parti della scena: la mappatura della struttura delle immagini delle telecamere 2D su una sfera 3D e la rappresentazione 3D della vettura. Il numero di poligoni della scena dipende dalla deformazione della sfera 3D e dagli effetti di rendering del modello di auto. Per un miglior rendering il motore grafico deve essere in grado di elaborare un significativo numero di poligoni in breve tempo. Inoltre, poiché l'applicazione può utilizzare diversi programmi shader per una scena, il motore grafico deve avere un potente motore shader. Tali requisiti di prestazione devono essere supportati da una elevata frequenza di Cpu, il che consentirà una veloce elaborazione dei dati. Tutti questi aspetti di prestazioni giustificano la decisione di Renesas di integrare un eccezionale motore grafico 3D nel dispositivo R-Car H2. In effetti, il suo motore grafico 3D offre prestazioni simili a quello presente nell’iPad Air.
Il percorso verso la realtà aumentata
Il rilevamento della scena in 3D è l'altro aspetto importante richiesto per fornire contenuti facili da interpretare. Ciò può essere ottenuto con due tecniche. La prima è la visione stereo simile a quella dell’occhio umano, anche se ha lo svantaggio di raddoppiare il costo della telecamera e lo sforzo di integrazione. L'altra opzione è quella di creare la SfM (Structure from Motion) della vettura, fornendo così la visione stereo nel tempo. Renesas ha implementato acceleratori hardware dedicati alla visione nella famiglia R-Car per alimentare questo algoritmo su quattro telecamere in tempo reale, incontrando sia le prestazioni che i requisiti di basso consumo energetico. L'algoritmo SfM produce una serie di vettori di flusso che rappresentano il movimento del veicolo e gli oggetti circostanti. Il compito successivo, non banale, è quello di ricavare l’egomotion della vettura calcolando il movimento essenziale dai vettori di flusso e dalla congruenza della maggioranza di questi. Da questa matrice fondamentale, i vettori di flusso possono essere ordinati ponendoli in corrispondenza a oggetti statici e dinamici nei dintorni. I vettori di flusso di oggetti statici forniscono direttamente la distanza dell'oggetto, inversamente proporzionale alla lunghezza del flusso. 1 (a) mostra un esempio di esecuzione su R-Car H2. I cerchi rappresentano i punti caratteristici statici che sono i risultati della struttura di calcolo. I colori corrispondono agli oggetti cluster che vengono poi reinseriti nel modello di deformazione. Questi possono poi essere utilizzati per adattare il modello 3D dell'ambiente in tempo reale come mostrato in 1 (b). Infine, una rappresentazione realistica dell'ambiente circostante la vettura viene creata sulla base di questo modello 3D mappato con la sfera 3D generata dal motore grafico.
Ethernet, un approccio flessibile
La famiglia R-Car comprende anche il dispositivo R-Car V2H, che fornisce un percorso video unico dall'acquisizione della telecamera sulla rete Ethernet verso l'interfaccia display. Questo approccio fornisce non solo i requisiti al resto del sistema (ad esempio la latenza totale, la quantità di memoria e l’intervento della Cpu), ma riduce anche drasticamente la complessità dello sviluppo software per il produttore del sistema. La 2 mostra questo speciale percorso video nel R-Car V2H. Non vi è accesso alla memoria esterna da parte delle quattro telecamere demultiplexate alla trasformazione geometrica del video e ciascun acceleratore hardware è dedicato a una telecamera. La riduzione dei costi di sistema è un aspetto principale che contribuisce a una sempre maggiore adozione della vista surround. Il cablaggio è una parte non trascurabile di tutto ciò. Lo scorso anno due approcci sono emersi al fine di ridurre gli attuali sistemi di visualizzazione Surround basati su Lvds. Uno utilizza Ethernet su doppino intrecciato non schermato, il secondo è un aggiornamento del sistema Lvds con cavi coassiali. Entrambi gli approcci portano a un costo del sistema simile. Tuttavia, la soluzione Ethernet aiuta non solo la riduzione dei costi del sistema, ma offre anche flessibilità per applicazioni future. Ad esempio, con la crescente adozione di sistemi di registrazione della guida, nuove funzionalità quali la registrazione video simultanea multi-canale potrebbero essere sostenute con un impatto molto limitato sui costi, in quanto sarebbe necessario solo l'interfacciamento verso SD card. L'altro vantaggio di Ethernet over Lvds sta nel metodo standardizzato per entrambi i livelli, Mac con AVnu Alliance e PHY con Open Alliance.
Latenza video ottimale
Uno degli aspetti principali richiedenti un'attenta progettazione è la latenza: nel trasporto, compresa la compressione e decompressione, così come nella catena di elaborazione. Infatti, la latenza complessiva dall’acquisizione della videocamera alla visualizzazione dovrebbe essere inferiore a 100 ms al fine di consentire la percezione in tempo reale al conducente. Attualmente, le telecamere funzionano con un frame-rate di 30 frames/sec. Utilizzando l'otturatore globale, le celle del sensore si caricano durante il tempo di esposizione e tutte allo stesso tempo. Poi l'imager inizia a emettere pixel per pixel. Di conseguenza, l'ultimo pixel viene inviato circa 1 fotogramma (33ms) dopo la cattura. Questo è il primo ritardo del frame, che non può essere ridotto. L'altro ritardo incomprimibile è dovuto al display, in cui i pixel devono essere tutti trasmessi prima che possano essere visualizzati, ancora intorno 33 ms. Quindi rimangono solo 33 ms per eseguire il resto delle operazioni descritte in 3. Il primo elemento della catena è la trasmissione dei dati. Il protocollo Ethernet non prevede meccanismi dedicati per assicurare una bassa latenza di trasporto e sincronizzazione della videocamera. Questo è il motivo per cui Renesas ha introdotto il primo Gigabit Ethernet Mac con supporto hardware avanzato Avb nella famiglia R-Car. Questa implementazione specifica fornisce l'hardware necessario per ridurre il carico della Cpu e ottimizzare la ricezione complessiva dei video compressi. Alcuni meccanismi specifici sono stati implementati come destrutturazione intelligente del pacchetto dati e il filtraggio video. Le applicazioni multi-view sono parte del profilo AVnu Alliance AVB Automotive con start-up veloce, bassa latenza (ritardo massimo di 2 ms) per videocamera. I primi sistemi multi-camera con Ethernet usavano una compressione a bassa latenza Motion Jpeg. Questa tecnologia è basata sul ben noto standard Jpeg ampiamente utilizzato nelle fotocamere digitali consumer. Tuttavia, l'impatto sulla qualità video con questa tecnologia potrebbe limitare le prestazioni di elaborazione video. Di conseguenza, Renesas ha ritenuto la tecnologia di compressione H.264 essere la soluzione migliore per la trasmissione video. Questa tecnologia fornisce un miglior rapporto di compressione per migliorare le prestazioni di elaborazione video. È stata anche massicciamente adottata nelle apparecchiature consumer che potrebbero essere collegate all’auto attraverso la soluzione di connettività Renesas Infotainment. Con il V2H R-Car, Renesas ha implementato il primo decoder HD multi-canale, compatibile H.264, con bassa latenza in un SoC automobilistico. Il passo conclusivo per ridurre la latenza è quello di diminuirla nella porzione di elaborazione. In effetti, i sistemi basati su Dsp tradizionali richiedono un approccio a doppio buffering per la cattura video. Il V2H R-Car dispone di un motore dedicato chiamato IMR che elabora la trasformazione geometrica dell'immagine al volo. Questa funzione supporta lo streaming diretto da un massimo di 5 decoder video a bassa latenza. Grazie al percorso diretto nel V2H R-Car, la latenza complessiva in una rete Ethernet è ridotta in confronto ad un approccio Lvds classico.
Rappresentazione e rilevamento
Il motore Imr è anche in grado di utilizzare una look-up table per modificare la trasformazione del punto di vista in una rappresentazione 2D o 3D surround al volo. Il punto di vista della telecamera può essere modificato per ogni frame in ingresso, consentendo una transizione animata tra i punti di vista dell'utente. Il filtraggio bilineare è supportato in modo nativo, garantendo un'eccellente qualità delle immagini. Grazie a questo approccio, la R-Car V2H supporta la vista 3D surround con requisiti di memoria molto bassi. Il V2H R-Car offre lo stesso hardware di riconoscimento delle immagini già presente nel H2 R-Car. Di conseguenza, si può anche attivare il calcolo SfM o la rilevazione dei pedoni. È in grado di rilevare pedoni per ciascuna delle quattro videocamere in parallelo, utilizzando istogrammi di gradiente e supportando una classificazione a macchina vettoriale.
