Soeren Steudel over augmented reality

Alles wijst erop dat de volgende grote revolutie in de infotainmentsector uit de hoek van de augmented reality (AR)-brillen zal komen. Door zo’n bril zie je in je gewone omgeving virtuele objecten levensecht en tastbaar. AR-brillen maken boeiende nieuwe toepassingen mogelijk en ze zullen de manier waarop wij met elkaar omgaan en communiceren sterk beïnvloeden. Mensen zullen alleen bereid zijn om deze brillen te dragen als ze discreet zijn en perfect functioneren. Daar moeten de huidige technologische ontwikkelingen voor zorgen. Soeren Steudel, principal scientist bij imec, bespreekt trends in infotainment, gaat na welke technologieën daarvoor nodig zijn en hoe de trends ons leven in 2035 zullen beïnvloeden… 

We maken een sprong naar het jaar 2035 … Drie ontwerpers werken samen aan een project. Ze ontmoeten elkaar in een kunstgalerij waar hun nieuwste creatie binnenkort te bewonderen is. Alle drie dragen ze een stijlvolle AR-bril (AR zoals in “augmented reality”) waarmee ze het meest recente model van hun kunstobject als een extra visuele laag in het interieur van de kunstgalerij oproepen. Ze kunnen het virtuele object zelfs aanraken met hun handen, manipuleren en van vorm doen veranderen. En alle drie kunnen ze – in real time – de impact van alle manipulaties vanuit hun eigen gezichtshoek beoordelen. Als ze het ten slotte eens zijn geworden over de vorm en kleur van hun creatie, dan sturen ze het resultaat naar een 3D-printer, die netjes een eerste prototype produceert.

Virtuele ervaringen die steeds natuurlijker aanvoelen

Dit scenario steunt op belangrijke trends in de infotainmentsector en de vertaling ervan in nieuwe technologieën. Maar wat is infotainment eigenlijk? Bekijk het als onze persoonlijke interactie met elektronica in talrijke domeinen, zoals de industrie, gezondheidszorg, ontspanning en communicatie, het onderwijs enz. Tot de opvallende hedendaagse ontwikkelingen in infotainmentsystemen behoren de digitale bioscoop, slimme tv’s, de ‘Alexa’ speaker waarmee je ‘smart home’-producten aanstuurt, een pc, spelconsoles en smartphones. In deze volgorde beantwoorden ze een trend naar een steeds grotere mobiliteit, waardoor ze steeds minder energie mogen verbruiken. Eén eigenschap hebben ze alvast gemeen: om te interageren met mensen spreken ze slechts een beperkt aantal zintuigen aan, vooral het gezicht en het gehoor en in mindere mate de tastzin. 

In de toekomst zullen infotainmentsystemen steeds meer menselijke zintuigen aanspreken. Daardoor zullen wij de virtuele wereld in toenemende mate als realistisch ervaren. De elektronica, die ontworpen is om vooral niet op te vallen, zal ons in staat stellen om intuïtief om te gaan met virtuele objecten. Daarbij spelen al onze zintuigen een rol, dus ook de tastzin, reukzin, proprioceptie (waardoor we de beweging en positie van ons lichaam ervaren) en evenwichtszin. De elektronica zal de ontwikkeling van infotainmentplatformen van een nieuwe generatie mogelijk maken. De eerste stap in die evolutie is al gezet met de opkomst van virtual reality (VR). Volledig gesloten headsets dompelen ons onder in een van A tot Z gesimuleerde wereld. Maar virtual reality blijft louter voorbehouden voor niche-activiteiten, zoals gaming. 

Virtuele objecten als extra laag

AR-brillen zullen de volgende revolutie ontketenen, omdat ze onze waarneming van de reële wereld verbeteren. Ze zullen bovenop de reële omgeving contextuele informatie en/of virtuele objecten laten zien. Mensen zullen zo’n systeem op een vanzelfsprekende manier gebruiken, via zintuigen als het gezicht en gehoor, hun tast-, smaak- en reukzin. AR-brillen zullen schitterende nieuwe mogelijkheden bieden, op allerlei domeinen: de industrie (bijv. bij productontwikkeling), kunst, vrijetijdssector, medische toepassingen (bijv. om een chirurg tijdens ingrepen bij te staan) en in de manier waarop wij met elkaar communiceren en samenwerken.

Waarschijnlijk zal deze visie over 10 tot 15 jaar realiteit zijn. De eerste AR-brillen duiken nu al op. De volgende jaren zullen ze geleidelijk steeds krachtiger worden en beter presteren en ten slotte uitgroeien tot volwaardige AR-producten. Ze hebben zelfs de capaciteit om een volledig nieuw platform te worden, naast mobiele telefoons, die ze op een bepaald moment mogelijk zelfs vervangen. Maar gebruikers zullen deze nieuwe technologie pas aanvaarden als alle technologische problemen zijn opgelost en het product ‘perfect werkt’. En de AR-brillen zelf zullen moeten evolueren van de nogal lompe, zware exemplaren die we vandaag zien opduiken naar lichte en stijlvolle modellen.

Van sensoren en actuatoren naar zelflerende systemen

Om alle menselijke zintuigen aan te spreken is het nog wachten op innovaties op het domein van sensoren en actuatoren met een laag energieverbruik. Oplossingen voor zintuigen als het gezicht en gehoor zijn relatief eenvoudig te bedenken, want een actuator voor het gezicht is … een display en als sensor beschikken we al over camera’s. Voor het gehoor zijn er al luidsprekers en microfoons voorhanden. Bij imec werken wij bijvoorbeeld aan de schaalverkleining van ons micro-OLED-platform om displays met zeer hoge resolutie te maken. Wij ontwikkelen ook technologie om oogbewegingen te volgen voor een betere AR-ervaring. En de tastzin bespelen we met oplossingen voor haptische feedback, die creatieve 3D-toepassingen mogelijk maakt. Maar actuatoren voor je smaak- en reukzin, proprioceptie (hoe beïnvloed je bijvoorbeeld je gevoel voor een bepaalde belasting?) of je evenwichtszin blijven een enorme uitdaging. Misschien biedt gericht ultrageluid de oplossing om zenuwen in onze hersenen of ruggenmerg te stimuleren. Of misschien moeten onze zintuigen rechtstreeks met implantaten worden getriggerd.

Het is uitkijken naar innovaties in zowel hardware als software. AR-systemen kunnen slechts een extra visuele informatielaag in 3D creëren als er laagvermogenoplossingen beschikbaar zijn voor beeldherkenning en dataextractie, bij een zo laag mogelijke latentie. Met dergelijke oplossingen zal je AR-bril je bijvoorbeeld snel tonen waar je een bakker vindt in de straat waarin je loopt, met een beeld van alle soorten brood die je er zal aantreffen.

De rekenkracht en het datadebiet die daarvoor nodig zijn, liggen veel hoger dan wat vandaag al kan. Voor een informatielaag met 3D-videobeelden in hoge resolutie heb je bijvoorbeeld een datadebiet van 1TB/s tot 10TB/s nodig. AR-oplossingen zijn ook ondenkbaar zonder tools voor ‘machine learning’ en sensorfusie, zowel in de bril zelf als in de cloud.

De gebruiker mag niet overstelpt worden met informatie. Zelflerende systemen moeten daarom de informatie die essentieel is voor een gebruiker uit de datamassa kunnen filteren.

En alle onderdelen van de technologische ontwikkeling moeten veel minder stroom gaan verbruiken voor een voldoende levensduur van de batterij. Ten slotte zal de gebruiker de nieuwe technologie pas omarmen als AR-brillen licht, stijlvol, onopvallend en comfortabel zijn en beelden creëren die voor het oog natuurlijk aandoen.

Wat komt er na de AR-bril?

Als we nog verder vooruit kijken, zo’n 15 tot 25 jaar, dan zien we een geleidelijke verschuiving naar mobiele holografische projectie. Iedereen in een kamer zal dan visueel virtuele objecten in 3D ervaren zonder een bril op te zetten. Dergelijke holografische projectoren zouden mogelijk ondersteund kunnen worden door gerichte geluidsprojectie en oplossingen voor haptische feedback die onze tastzin aanspreken.

En als we nog verder kijken dan 2035, dan wordt een rechtstreekse interface tussen ons brein en een computer mogelijk.

Onze zintuigen worden dan getriggerd door rechtstreekse stimulatie van bepaalde hersengebieden. In een eerste fase volstaan daarvoor niet-invasieve technologieën zoals EEG-systemen of stimulatie met ultrageluid. Later kunnen hersenimplantaten het werk overnemen. Deze visie wordt nu al voorbereid, onder andere door bedrijven zoals Neuralink van Elon Musk. Een hersen-computerinterface zal ongetwijfeld eindeloze mogelijkheden en talrijke nuttige toepassingen creëren, bijvoorbeeld in een medische of educatieve context. Hoe mensen op een dergelijke technologie in hun dagelijks leven zullen reageren, is echter nog veel minder duidelijk …

Hoe werkt imec mee aan deze toekomst?

Imec levert een actieve bijdrage tot deze toekomstvisie met de ontwikkeling van een breed gamma aan technologische bouwblokken. Wat de actuatoren betreft, werkt imec aan semitransparante AM(O)LED-displays en aan oplossingen voor haptische feedback die de tastzin aanspreken. Bij de sensoren zitten diverse oplossingen in de pijplijn die gebruikmaken van radar-, lidar- en sonartechnologie, maar ook beeldvormings- en EEG-systemen en chemische sensoren. Imec verwezenlijkte bijvoorbeeld in 2018 een doorbraak in de radartechnologie en ontwikkelde oplossingen voor zeer snelle hyperspectrale snapscans en hyperspectrale beeldvorming in het kortegolf-infraroodbereik. Imec ontwikkelt ook algoritmes en software voor sensorfusie, het in kaart brengen van 3D-taferelen, objectdetectie en systemen voor ‘machine learning’. In 2018 kondigde het een doorbraak aan in de technologie voor het volgen van oogbewegingen die kwaliteitsvolle AR/VR-ervaringen moet mogelijk maken. Imec en Holst Centre stelden ook een prototype van een EEG-headset voor die emoties en cognitieve processen in de hersenen kan meten. Imec levert ook bijdragen in domeinen als communicatie met hoge bandbreedte, de ontwikkeling van neuromorfische IC’s en energiebeheer. Ga naar de imec-website voor meer informatie over displays, beeldsensoren en sensorfusie, draadloze communicatie, radarsystemen en datawetenschap.

Meer weten?

• Ontdek in dit artikel uit imec magazine wat imec recent verwezenlijkt heeft op het gebied van radartechnologie.
• Lees in imec magazine onze artikels over geavanceerd onderzoek naar organische halfgeleiders en innovaties in OLED-displays.
• ‘Artificiële intelligentie op maat van het IoT’ – lees het artikel in imec magazine.
• Bekijk de video van het imec.icon-project ARIA betreffende de ontwikkeling van op augmented reality gebaseerde systemen voor industriële onderhoudsprocedures.
• Lees de visie van Xavier Rottenberg over 'aanraking vanop afstand' in deze editie van imec magazine.