Straordinari progressi della Realtà Mista.
Microsoft fa il punto su ricerca e sviluppo per l'interazione con gli ologrammi generati da hardware e software per la Realtà Mista e Virtuale, mostrando come si sia riusciti ad arrivare alla manipolazione diretta delle rappresentazioni visive.
Adesso potete toccare gli ologrammi
"Posso sfogliarlo?"
Spesso ci venivano poste domande come questa quando gli utenti provavano i nostri prototipi di interazione immersiva su HoloLens 2. Le interazioni ologrammi basate sulla simulazione e l'emergenza, piuttosto che sulle singole funzionalità, possono portare a scenari di test interessanti.
La risposta onesta è stata: "Non lo so, ma provaci".
Questo video mostra un utente che interagisce direttamente con gli ologrammi usando le mani, come farebbe con oggetti reali: tenere, spingere, lanciare e afferrare i cubi.
E se potessi trattare gli ologrammi come oggetti reali?
Non è necessario spiegare agli utenti i passaggi specifici dell'interazione con un oggetto virtuale. Potresti semplicemente chiedere loro di "raccoglierlo" o "metterlo lì", e loro farebbero proprio questo.
Potremmo comunicare e giocare fluentemente con oggetti virtuali con gli occhi e le mani nella lingua a cui siamo abituati.
L'ho visto accadere quando abbiamo introdotto per la prima volta un tecnofobo auto-dichiarato nel nostro prototipo di interazione fisica su HoloLens 2. Ha continuato a sorridere e giocare con un cubo virtuale, ballando con gli ologrammi per diversi minuti (letteralmente).
Con il tracciamento articolato delle mani, il tracciamento dello sguardo e un campo visivo più ampio, HoloLens 2 apre nuove opportunità sia per gli utenti che per i designer di interazione. In qualità di designer, abbiamo mirato a utilizzare questi input e output per spingere ulteriormente l'immersione, consentendo alle persone di interagire e giocare con gli ologrammi nello stesso modo fisico in cui fanno con oggetti reali.
Gemello digitale a mano
Come possiamo rendere le interazioni più naturali? Abbiamo iniziato con alcune leggi della natura e abbiamo costruito le interazioni dal basso verso l'alto. Quando lo scomponi, le interazioni come afferrare, spingere e lanciare sono tutte costituite dagli stessi concetti fisici: momento, collisione, attrito e gravità.
I motori fisici in tempo reale sono una parte fondamentale di molti videogiochi, dalla serie Half-Life a Gang Beasts e Totally Accurate Battle Simulator. Proprio come questi giochi utilizzano motori fisici per gestire interazioni aperte tra oggetti virtuali, possiamo utilizzare motori fisici per modellare le interazioni tra un utente e un oggetto virtuale.
Poiché il tracciamento articolato della mano con HoloLens 2 ci offre la posa di una mano, possiamo costruire un gemello simulato fisicamente della tua mano nel mondo virtuale replicando le posizioni, le velocità e lo slancio di diverse parti della mano. Quando questa mano virtuale interagisce con oggetti virtuali, il motore fisico simula il risultato, applicando quantità di moto, collisione, attrito e gravità. Questi elementi si sommano per afferrare, lanciare, muovere o qualsiasi altra interazione mano-oggetto a cui puoi pensare.
Nei videogiochi, il motore fisico è un ambiente virtuale completamente controllato. Questo è diverso in Mixed Reality, poiché esiste sia un motore fisico simulato che una realtà fisica, che devono interagire insieme. Una legge importante nella simulazione fisica è la terza legge del moto di Newton, che afferma: "Per ogni azione in natura, c'è una reazione uguale e contraria", tuttavia, non possiamo creare queste reazioni nel mondo fisico, poiché non possiamo applicare la forza reale alla mano dell'utente. Ciò si traduce nel problema di un senso mancante, il senso del tatto, noto anche come feedback tattile.
Compensare i sensi mancanti
Non importa quanto realistico facciamo queste esperienze aspetto , la gente ancora non può realmente sentirsi ologrammi. HoloLens 2 non simula il senso del tatto, una parte fondamentale delle interazioni della mano con gli oggetti. Il tocco fornisce un feedback costante quando si interagisce con un oggetto, quindi la sensazione di tocco mancante può far sembrare gli oggetti spettrali durante le interazioni.
Per progettare attorno a questo, dobbiamo comunicare in modo eccessivo con i sensi a cui abbiamo accesso: visione e suono. Quando un utente tocca e rilascia un oggetto, emettiamo un suono e l'oggetto si illumina per comunicarlo fortemente all'utente.
Le interazioni fisiche tra gli oggetti sono bidirezionali, con entrambi gli oggetti che si influenzano a vicenda. Non possiamo fare in modo che oggetti virtuali influenzino fisicamente la tua mano attraverso il tatto, ma possiamo usare la luce per mostrare una relazione tra l'oggetto e la tua mano.
Tenere un oggetto luminoso proietterà luce sulla mano e attraverso di essa, dandoti più feedback sull'interazione tra la tua mano e l'oggetto. L'aggiunta di questo sottile effetto alla mano virtuale ha un effetto sorprendentemente forte sul realismo dell'interazione, fornendo informazioni su profondità, prossimità e direzione. Questo effetto luminoso offusca il confine tra digitale e fisico, poiché la mano che stai guardando è un composto dell'illuminazione sia dell'ambiente reale dell'utente che degli oggetti virtuali.
Alcuni utenti hanno descritto che tenere in mano un ologramma luminoso rosso particolarmente brillante e vederne l'effetto sulla pelle faceva sentire la loro mano calda, anche se sapevano che non poteva davvero riscaldarsi.
Sebbene questi progetti migliorino l'esperienza di gestione degli oggetti virtuali, l'interazione è ancora spettrale, poiché non vi è alcun feedback tattile.
Piegare le regole per accogliere gli utenti
Ora che questi oggetti virtuali si comportano in modo più fisico, i test con gli utenti hanno rivelato che si insinuano anche alcune interazioni fisiche indesiderate. Camminare per grandi distanze per raccogliere oggetti e scendere a terra per raccogliere oggetti lasciati cadere sono fastidi del mondo reale che non dobbiamo tollerare nel mondo virtuale. Per gli utenti con abilità diverse, questi tipi di interazioni vanno da fastidiosi a impossibili.
Potremmo mitigare gli effetti negativi della caduta di un oggetto virtuale disabilitando la gravità. Ma senza gravità, gli oggetti fluttuano lontano dalle superfici su cui li posizioni, come sulla Stazione Spaziale Internazionale.
Questo video mostra un comportamento che abbiamo sviluppato chiamato "Surface Gravity". Quando non c'è una superficie reale su cui cadere, gli oggetti fluttueranno invece nell'aria.
Per migliorare l'interazione negativa di oggetti che cadono accidentalmente, abbiamo introdotto il concetto di "gravità di superficie", che dà gravità agli oggetti quando c'è una superficie sottostante su cui cadere. Quando non c'è superficie, gli oggetti fluttuano nell'aria dove li lasci.
Durante il test, un utente ha lanciato un oggetto in alto, dove galleggiava finché non ha tentato di arrampicarsi su uno sgabello da bar precario per raggiungerlo. Ciò ha evidenziato un problema per gli utenti che tentavano di accedere a oggetti lontani, poiché questa persona si stava mettendo in pericolo fisico per un oggetto virtuale.
Per migliorare l'esperienza di raggiungere oggetti lontani, abbiamo introdotto un gesto di “telecinesi”. Ciò consente alle persone di evocare oggetti in mano quando sono lontani. Sebbene la telecinesi non faccia parte delle interazioni fisiche reali, è un gesto che molte persone hanno visto o imitato dai media popolari come Star Wars e Matilda. Qui, usiamo una combinazione di sguardo e tracciamento della mano per consentire all'utente di spostare con sicurezza un oggetto senza toccarlo.
Interazioni emergenti
L'immersione trovata in questo prototipo è uno sguardo in un mondo di interazioni tangibili di realtà mista e la fisicità simulata potrebbe cambiare il modo in cui utilizziamo e comprendiamo ogni esperienza digitale.
Immagina, quando fai acquisti online, di poter tenere la coperta che stai guardando, gettarla sul divano per vedere come appare, quindi piegarla automaticamente e lasciarla cadere nel carrello.
Come potrebbe cambiare la sensazione di proprietà se potessi tenere un album musicale tra le mani, metterlo sullo scaffale, lanciarlo al tuo altoparlante per suonare o masterizzare un mixtape e consegnarlo a un amico?
Quale nuova arte e gioco potrebbero emergere se i nostri prodotti digitali fossero più aperti a interazioni non progettate, come il graffio di dischi su vinile o la piegatura di un documento in un aeroplano di carta?
Come potremmo cambiare il modo in cui istruiamo, se potessi insegnare la gravità spingendo un pianeta in miniatura in orbita attorno a un sole, o srotolare la Magna Carta e tenerla tra le mani?
Con i nostri prototipi, contribuiamo a una visione di interazioni più coinvolgenti, giocose e aperte per coltivare la natura curiosa e creativa delle persone per esplorare e interrogare esperienze virtuali. È l'inizio di un viaggio entusiasmante per scoprire come questi tipi di nuove interazioni prendono vita attraverso esperienze utente e casi d'uso diversi e sfaccettati.
