Progressi in AR e VR con la nuova fotocamera da polsoPubblicato 16 ore fa su
La realtà aumentata (AR) e la realtà virtuale (VR) hanno fatto un ulteriore passo avanti con la creazione di un nuovo dispositivo da polso per la stima 3D della posa della mano. Il dispositivo è stato creato dai ricercatori del Tokyo Institute of Technology (Tokyo Tech), insieme ai team della Carnegie Mellon University, dell’Università di St Andrews e dell’Università del New South Wales.
Il punto principale del nuovo sistema è una fotocamera in grado di catturare immagini sul dorso della mano. Lo fa attraverso l’uso di una rete neurale chiamata DorsalNet. La rete neurale è in grado di identificare i gesti dinamici.
L’uso di dispositivi AR e VR è in aumento, soprattutto in settori come la salute, lo sport e l’intrattenimento. Questo nuovo sviluppo aiuterà ad allontanare il settore dai metodi più ingombranti attualmente utilizzati, che includono guanti grandi che rendono difficile il movimento naturale.
Sistema di riconoscimento 3D della posa della mano
Il team di ricerca è stato guidato da Hideki Koike presso Tokyo Tech.
Secondo i ricercatori, “Questo lavoro è il primo strumento di stima della posa della mano 3D in tempo reale basato sulla visione che utilizza caratteristiche visive della regione dorsale della mano. Il sistema è costituito da una telecamera supportata da una rete neurale denominata DorsalNet che può stimare accuratamente le pose della mano 3D rilevando i cambiamenti nel dorso della mano. ”
Il dispositivo ha una fotocamera e viene indossato al polso e funge da sistema di riconoscimento 3D della posa della mano. L’aspetto più importante del dispositivo, che potrebbe essere simile a uno smartwatch, è che può catturare i movimenti delle mani anche quando l’ambiente e il dispositivo stesso sono in movimento.
Precisione e test preliminari
La ricerca ha dimostrato che il sistema di nuova concezione funziona meglio dei tentativi precedenti. In particolare, è in media il 20% più preciso nel riconoscere i gesti dinamici. Quando si tratta di identificare uno specifico 11 diversi tipi di presa, ha un tasso di precisione del 75%.
I test preliminari hanno dimostrato che il sistema potrebbe essere utilizzato per il controllo di dispositivi intelligenti. Queste applicazioni includono cose come cambiare l’ora di uno smartwatch semplicemente cambiando l’angolazione delle dita. Oltre a ciò, i ricercatori hanno dimostrato come potrebbe agire come un mouse o una tastiera virtuale, consentendo azioni come la rotazione del polso per controllare un puntatore.
Secondo i ricercatori, saranno necessari ulteriori miglioramenti affinché il sistema possa essere utilizzato nel mondo reale. Ad esempio, dovranno utilizzare una fotocamera più avanzata con un frame rate più elevato per acquisire movimenti più rapidi del polso e gestire varie condizioni di fulmini diverse.
