ILLUMINATE

Interactieve streaming en weergave voor immersieve applicaties

Toepassingen in virtual reality (VR) die gebruikmaken van gefilmde visuele content, zijn veel minder meeslepend of immersief dan wanneer je ondergedompeld wordt in 3D-scènes die door een computer gegenereerd zijn (zoals in 3D-games), en dit wegens de vaak zeer beperkte interactieve bewegingsvrijheid voor de gebruiker.

Het ILLUMINATE-project innoveert daarom op het vlak van contentcreatie, contentweergave, interactieve streaming, visualisatie en de kwaliteit van de gebruikerservaring. Binnen een afgebakende ruimte wil dit project aan gebruikers dezelfde bewegingsvrijheid bieden voor VR-content gemaakt met camera’s als voor content gemaakt door computers.

Immersieve VR zit in de lift 

Virtual reality (VR) wordt steeds meer gebruikt in de meest uiteenlopende applicaties voor ontspanning, opvoeding, geneeskunde enzovoort. Nieuwe technologieën – denk aan geavanceerde opnamesystemen en hoofdschermen (head-mounted displays of HMD’s) – evolueren steeds verder en bieden een grotere bewegingsvrijheid dan andere soorten mediacontent. De zogeheten ‘Six degrees of freedom’ (6DoF) biedt de meest immersieve media-ervaring, aangezien gebruikers een virtuele of gefilmde omgeving kunnen zien vanaf om het even welke locatie en vanuit om het even welke richting. 6DoF-ervaringen gemaakt door computers zijn welbekend (bv. 3D-spelletjes), maar quasi onbestaand voor gefilmde content. (Je kan bijvoorbeeld rondkijken in een 360°-video, maar door je hoofd opzij te bewegen krijg je geen ander beeld van de omgeving, wat doorslaggevend is voor de kwaliteit van de ervaring.)

Van computercontent naar gefilmde content 

6DoF aanbieden via cinematografische content brengt belangrijke uitdagingen met zich mee. Denk bijvoorbeeld aan de nood aan intelligente opname-instellingen en extreem hoge datasnelheden, maar ook functionaliteiten om streaming overal mogelijk te maken zodat gebruikers in interactie kunnen treden met wat ze te zien krijgen. Het ILLUMINATE-consortium biedt een antwoord op deze uitdagingen door een 6DoF-omgeving op te zetten met gefilmde beelden. In zo’n omgeving moeten gebruikers zich vrij kunnen bewegen en de content vanaf elke locatie en vanuit elke richting kunnen zien.

Een end-to-end demonstratiemodel voor 6DoF

Het ILLUMINATE-consortium stelt 5 belangrijke innovatiedoelen voorop bij de ontwikkeling van een end-to-end demonstratiemodel voor 6DoF. Deze doelstellingen zijn:

  1. een databank van immersieve 6DoF-decors creëren, die gebruikmaken van fotorealistische beelden (CGI) om gebruikers een aantrekkelijk verhaal te tonen;
  2. de nodige beeldverwerking- en streamingoplossingen ontwikkelen voor een kwaliteitsvolle ervaring;
  3. een interactief streamingprotocol ontwikkelen om de ervaring op afstand aan te bieden via een 100Mbps internetconnectie;
  4. methodes onderzoeken om gestreamde en op beelden gebaseerde 6DoF-content in realtime te visualiseren;
  5. een model en procedure opzetten om de kwaliteit van de gebruikerservaring te meten en te valideren.

Meer vertrouwen, minder afhankelijkheid van externe partijen 

ILLUMINATE zal 6DoF-demonstratiemodellen maken gericht op HMD’s die een aantrekkelijke en immersieve ervaring bieden. Bovendien betekent dit project een grote sprong voorwaarts in de kennis over VR. Idem dito op het vlak van patenten, verslagen, algoritmes en softwaremodules die toekomstige ontwikkelingen ondersteunen.

 

“ILLUMINATE innoveert op het vlak van contentcreatie, contentweergave, interactieve streaming, visualisatie en de kwaliteit van de gebruikservaring. Binnen een afgebakende ruimte wil dit project dezelfde bewegingsvrijheid bieden voor VR-content gemaakt met een camera als voor content gemaakt door een computer.”

ILLUMINATE

Interactieve streaming en weergave voor immersieve applicaties.

 

ILLUMINATE is een imec.icon onderzoeksproject gefinancierd door imec en Agentschap Innoveren & Ondernemen.

 

Het werd opgericht op 01.10.2018 en het project loopt tot 30.09.2020.

Download as pdf

Projectinformatie

Industrie

  • Nokia
  • Theo Technologies
  • VRT

Research

  • imec - ETRO - VUB
  • imec - IDLab Data Science Lab - UGent
  • imec - MICT - UGent

Contact

  • Project Lead: Patrice Rondao Alface
  • Research Lead: Peter Lambert
  • Proposal Manager: Niels Van Kets
  • Innovation Manager: Dirk Hamelinck

Deze website maakt gebruik van cookies met als enige doel het analyseren van surfgedrag, zonder enige commerciële insteek. Lees er hier meer over. Lees ook ons privacy statement. Sommige inhoud (video's, iframes, formulieren,...) op deze website zal pas zichtbaar zijn na het accepteren van de cookies.

Accepteer cookies