Què entenem per realitat mixta?

L’any 1994 Paul Milgram i Fumio Kishino, en el seu estudi A taxonomy of mixed reality visual displays (1994), van definir el concepte de realitat mixta com a qualsevol lloc entre els extrems del “continu de la virtualitat”. Aquest continu s’estén des del món completament real fins a l’entorn completament virtual, trobant-se entremig d’aquests, la realitat mixta.

El concepte d’un “continu de la virtualitat” es refereix a la barreja de classes d’objectes presentats en qualsevol situació de visualització particular, com s’il·lustra a la Figura 1, on els entorns reals, es mostren en un extrem de la sèrie contínua, i els entorns virtuals, en el l’extrem oposat. A l’esquerra del continu, s’hi defineixen els entorns compostos únicament d’objectes reals, persones, objectes, plantes… físiques, que es poden tocar i sentir com estem acostumats a fer-ho en la vida quotidiana, i també s’hi inclou, per exemple, el que s’observa a través d’una pantalla de vídeo convencional d’una escena del món real. A la dreta, s’hi defineixen els entorns compostos únicament d’objectes virtuals, per exemple el que seria una simulació gràfica d’ordinador convencional. Espai per a la realitat virtual immersiva, on tots els estímuls són generats per ordinador. Com s’indica a la figura, la forma més fàcil de veure un entorn de realitat mixta, per tant, és aquella en la qual els objectes del món real i el món virtual es presenten junts en una sola pantalla, és a dir, en qualsevol lloc entre els extrems del “continu de la virtualitat”.

L’objectiu final del projecte és establir una classificació, o com se’ns descriu en el seu enunciat una taxonomia ¹, de les diverses formes en què allò “virtual” i els aspectes “reals” dels entorns de RM poden ser representats en aquest “continu de la virtualitat”.

Per Milgram i  Kishino, una primera taxonomia es realitza a partir dels 6 tipus d’interfície o pantalles de MR que permeten diferents entorns de visualització:

1. Pantalles de vídeo (no immersives), sota el concepte “finestra-en-el-món” (Windows-on-the-world, WoW), en què imatges generades per ordinador es superposen electrònica o digitalment en una pantalla.
2. Pantalles immersives muntades al cap, enlloc de monitors WoW.
3. Interfícies HMD², ginys equipats amb un visor a través del qual es poden visualitzar, òpticament, gràfics per ordinador superposats a la realitat.
4. Semblant a la categoria 3 però usant el vídeo, enlloc de l’òptica, per visualitzar el món exterior.
5. Entorns de visualització completament gràfics, completament immersius, als quals s’afegeix “vídeo realitat”.
6. Entorns completament gràfics, però parcialment immersius (per exemple, pantalles de grans dimensions) en els quals els objectes físics reals a l’entorn de l’usuari juguen un paper en, o interfereixen amb, l’escena generada per ordinador. Per exemple en l’acte de poder “agafar” alguna cosa amb la pròpia mà.

El resultat és que les diferents classes de pantalles poden ser agrupades de manera diversa, depenent de la qüestió particular d’interès. Totes aquestes classes comparteixen la característica comuna de la juxtaposició d’entitats “reals”, juntament amb les “virtuals”; no obstant això, una revisió ràpida de les classes de mostra abans esmentada revela, entre altres coses, les següents distincions importants:

• Alguns sistemes {1,2,4} són principalment pensats per vídeo, mentre que altres {5,6} són principalment basats en gràfics per ordinador.
• En alguns sistemes {3,6} el món real es veu directament (a través de l’aire o de vidre), mentre que en altres {1,2,4,5} els objectes del món real s’escanegen i després es sintetitzen en un dispositiu visual (per exemple, en vídeo digital).
• Des del punt de vista de l’espectador, en relació amb el món que s’està veient, algunes de les pantalles {1} són exocèntriques (com el monitor WoW), mentre que altres {2,3,4,6} són egocèntriques (immersives).
• En alguns sistemes {3,4,6} és imprescindible mantenir una precisió d’escala 1:1 en el mapeig ortoscòpic³ entre la mida i les proporcions de les imatges mostrades i el món real circumdant, mentre que per a altres {1,2} l’escala és menys crítica, o no és important.

Partint de la base dels exemples citats anteriorment, els autors ens defineixen els conceptes “real” i “virtual”. Per Milgram i Kishino, els objectes reals són objectes que tenen una existència objectiva real, i els objectes virtuals són objectes que existeixen en essència o efecte, però no de manera formal o de fet. Així doncs, les distincions es fan en funció de si el món “primari” comprèn objectes reals o virtuals, si els objectes reals són vistos directament o no, si la visió és exocèntrica o egocèntrica, i si no hi ha una assignació ortoscòpica entre el món real i el virtual.

Però, els autors, enlloc de basar l’estudi a partir de les distincions òbvies entre els termes “real” i “virtual”, aprofundeixen en l’examen dels factors essencials que distingeixen els diferents sistemes de visualització de Realitat Mixta entre si. I ho fan a través d’una taxonomia més formal, que intenta respondre a les següents preguntes:

1. Quant sabem del món que es mostra?
2. Com de realista som capaços de mostrar-lo?
3. Quin és l’abast de la il·lusió per part de l’observador estant present dins d’aquest món?

Els autors aborden aquestes qüestions a partir de tres conceptes; el Grau de Coneixement del Món (en anglès Extent of World Knowledge, EWK), la Fidelitat en la reproducció (Reproduction Fidelity, RF) i l’Extensió de la metàfora “presència” (Extent of Presence Metaphor, EPM).

En la primera dimensió EWK, i sempre sobre la representació del “continu de la virtualitat”, en l’extrem esquerra trobaríem els objectes no modelats, els reals, i en l’altre extrem els objectes modelats, la visualització d’un món totalment virtual. Pels autors, la secció més interessant del continu EWK, és la part que cobreix tots els casos entre els dos extrems, i la mesura en què els objectes reals i virtuals es podran combinar en la mateixa pantalla. En la figura 2 observem les seccions i en quins casos hi ha més o menys coneixement del món.

Les dues dimensions restants intenten abordar la qüestió del realisme de la mostra en la RM, però en formes diferents: en termes de qualitat d’imatge i en termes de la immersió, o la presència, dins de la pantalla. La dimensió RF, es refereix a la qualitat amb la que la pantalla és capaç de reproduir les imatges reals dels objectes que es mostren. Tenint en compte diversos factors diferents, com ara maquinari de pantalla, el processament dels senyals, les tècniques de representació gràfica, etc., cada un dels quals, al seu torn, podria ser desglossat en els seus propis elements taxonòmics.

La tercera dimensió en la taxonomia de Milgram i Kishino, s’indica el grau en què l’observador està destinat a sentir-se “present” dins de l’escena visualitzada (figura 4). En aquesta dimensió el tipus de giny fa més potent la metàfora “presència”. Prenen força les classes 2, 3, 4 i 6, però també són importants les pantalles exocèntriques de classe 1, tipus AR.

Consideracions personals

Actualment ja existeixen alguns entorns, per exemple els museus, que permeten interactuar mitjançant realitat augmentada i realitat virtual. La majoria, utilitzen com a font principal d’interacció, les hàptiques, a través de tauletes i telèfons intel·ligents, que combinen la imatge real, que prové de l’entorn captada per la càmera, amb informació artificial creada en 3D. Aquests museus doncs, es beneficien de les tecnologies que permeten l’ús de realitat mixta per oferir els seus continguts. A part, també hi han alguns museus que comencen a apostar per a les ulleres immersives de realitat virtual mitjançant, sobretot, interactivitat gestual.

Personalment, crec que la implementació d’aquestes dues tecnologies, aplicades en l’entorn del museu, no han acabat de seduir del tot l’usuari, i possiblement, la causa sigui la sensació de poca transparència que produeix el giny a través del qual es rep la informació.

De fet, en ambos casos l’usuari, d’una o d’altre manera, resta esclau del giny. En el primer cas, l’usuari ha de focalitzar la mirada cap a la pantalla de l’aparell per rebre la informació addicional que ofereix la realitat mixta, i a més, ha de tenir les mans ocupades sostenint-lo i interactuant tàctilment a sobre d’aquesta. Es podria dir que, tant la tauleta com els telèfon intel·ligent, no permeten una transició massa fluida en quant a la informació que es rep del segon entorn, i la informació augmentada que es rep del tercer. En el segon cas, l’usuari s’ha de col·locar un aparell que anul·la totalment la percepció visual de la realitat i, tot i mantenir les mans alliberades, no permet, almenys de moment, interactuar col·laborativament amb d’altres usuaris reals (a no ser que s’usin “avatars”) que estiguin visitant la mateixa sala. En aquest sentit, trobo que prescindir totalment del context que ofereix un espai real pot crear una sensació d’inseguretat a l’usuari, i pot contribuir negativament alhora d’absorbir adequadament la informació que s’ofereix, per exemple, en el museu.

És provable doncs, que la realitat mixta acabi per imposar-se. Penso, que el gran salt tecnològic arribarà quan aquesta realita entri en joc, la capacitat tecnològica de mesclar les dues realitats (RA+RV) en un sol dispositiu.