Suprising ways mixed reality will empower us to achieve more

Donderdag 26 oktober organiseerden iMMovator (vanuit de track Immersive Media) en Hilversum Media Campus een Meet the Master sessie met Michael Gourlay, Principal Development Lead in de Environment Understanding groep van Microsoft R&D. Michael is expert op het gebied van Augmented Reality en Virtual Reality platforms zoals de Hololens en Windows Holographic. Aan de hand van een presentatie vertelde hij over de kansen en mogelijkheden van AR en MR platforms, en dan in het bijzonder hoe ze werken en wat ze doen.

Belangrijke technologieën bij creatie Mixed Reality
Michael begint zijn verhaal met een overzicht van technologieën die belangrijk zijn bij de creatie van Mixed Reality.  Allereerst is het belangrijk dat virtuele figuren opgaan in de echter wereld: ‘world-locking’. De echte wereld draait hierbij om het virtuele karakter: de virtuele objecten zijn world-locked en worden omsloten door de echte wereld. Een virtueel object moet bijvoorbeeld op de grond kunnen staan en je moet er omheen kunnen lopen – alleen dan is de illusie die Mixed Reality creëert geslaagd.

“The virtual object occludes the real world.’’ – Michael Gourlay

Om de illusie te laten slagen is het tracken van het display belangrijk. Als je weet vanuit welke hoek de gebruiker naar een object kijkt, dan kun je ervoor zorgen dat het virtuele object op de juiste manier getoond wordt. Eye-tracking is daarbij een belangrijke technologie. Ook moet je, wanneer je iets in AR wilt maken, rekening houden met de display technologieën. De virtuele objecten moeten helder en kleurrijk zijn. Uiteraard is rendering ook belangrijk – je wilt immers dat wanneer een gebruiker rondloopt in jouw virtuele wereld, deze snel reageert op zijn bewegingen. Bij het rondlopen in een virtuele wereld is Surface Reconstruction ook van belang. Door gebruik te maken van intelligente sensoren en spatial mapping is het mogelijk de omgeving in kaart te brengen en te zorgen dat je gebruiker nergens tegenaan loopt en dat je om virtuele objecten heen kunt lopen.

Virtual & Augmented Reality
Deze technologieën zijn bij allerlei vormen van Mixed Reality van belang. Maar wat is eigenlijk het verschil tussen AR en VR? “In augmented reality maakt het niet uit als je niet alles maakt, daar zijn al veel elementen. Je begint met de echte wereld en voegt daar iets aan toe, bijvoorbeeld holograms. Daarom is het dus erg belangrijk dat je weet wat er al bestaat.”

Bij virtual reality wordt de realiteit compleet vervangen voor een andere realiteit. “Er is complete vrijheid maar daarnaast ook complete verantwoordelijkheid, omdat je dan wel alle elementen uit die realiteit zelf moet maken.”

Bij Mixed Reality heb je altijd te maken met de echte wereld waar virtuele objecten aan toegevoegd worden, en waar mensen in acteren. Dankzij slimme technologieën is het voor computers steeds beter mogelijk om de omgeving in kaart te brengen en te leren van menselijk handelen. Maar Michael waarschuwt wel dat veel processing power, slimme algoritmes en sensoren nodig zijn om alleen al de basis van Mixed Reality goed te creëren.

Mixed Reality projecten
Na zijn uitleg over verschillende technologieën laat Michael een serie inspirerende projecten zien die laten zien hoe Mixed Reality ons leven kan veranderen en verbeteren. Een interessant project dat Michael noemde is ‘Holocaptions’. Dit is een voorbeeld van een project dat cognitieve vaardigheden kan helpen verbeteren. Mensen met gehoorverlies kunnen wellicht niet dezelfde auditieve signalen gebruiken die we elke dag gebruiken of gesprekken op dezelfde manier ervaren. Holocaptions geeft een auditief kompas en real life ondertiteling voor mensen met gehoorverlies. Door gebruik te maken van meerdere microfoons en de AR-mogelijkheden van de HoloLens, geeft Holocaptions een visuele indicatie van geluid en ondertiteling wanneer iemand praat. Dit zorgt voor een betere conservatie ervaring. Een bijzonder project, mede omdat het in 48 uur is uitgevoerd door een team van stagiaires.

Een andere mogelijkheid in dit soort projecten zou het toevoegen van emotie detectie voor mensen met bijvoorbeeld een vorm van autisme kunnen zijn. Deze functie kan laten zien of mensen blij of verdrietig zijn. Volgens Michael is dit in ontwikkeling en is het nu de vraag wie dit als eerste gaat ontwikkelen.

De toekomst
Tenslotte kijkt Michael naar de toekomst met MR. Hij voorspelt dat holograms zullen optreden als een soort assistent en je helpen met bepaalde taken. ‘’Wanneer we extra karakters in de wereld hebben die ons begrijpen, dan is Artificial Intelligence de natuurlijke extensie hiervan. Niet alleen dat je deze assistenten kan maken in AR, maar vooral dat ze onze situatie begrijpen, onze emotionele context kunnen lezen, ze verbonden zijn met de echte wereld maar ook met het internet.’’ Er rijst dan wel de ethische kwestie of onze privacy dan in het geding komt. Maar voor we hier over nadenken, moeten we eerst tot het punt komen dat er iets is om zorgen over te maken.

Alle voorgaande stappen zullen volgens Michael er uiteindelijk toe leiden dat we geen AR producten zoals de HoloLens hebben, maar dat die dingen geïntegreerd zijn in onze gedachten. Hij geeft toe dat dit misschien heel vergezocht lijkt, maar volgens hem zijn er al grote bedrijven die dit aan het ontwikkelen zijn, naast Microsoft.