Image sensors and vision systemsimec Ghentimec.icon

10 min

NITS op TV vanavond

High dynamic range (HDR) is de nieuwste hype in televisieland. En nu is er dankzij imec-software een doorbraak in het automatisch omzetten van bestaande content naar deze hogere beeldkwaliteit.

Het omzetten van beeldmateriaal van standaard- naar high-dynamic range (SDR naar HDR) is een uitdaging die tot voor kort enkel handmatig op kwalitatieve manier mogelijk was. Bij IPI, de Image Processing and Interpretation onderzoeksgroep van imec aan de Universiteit Gent, hebben ze een unieke set algoritmes die een kwalitatieve en automatische conversie toelaat. Jan Aelterman, postdoctoraal onderzoeker en Hiep Luong, projectmanager, geven inzicht in de baanbrekende technologie.

Over nits, HDR en SDR

200, 1.000 of 10.000 nits: wie een nieuwe televisie koopt wordt sinds kort met dit soort keuzes geconfronteerd. Deze nits (cd/m2) waarde geeft de maximale helderheid, het helderste wit, van het scherm aan. De ‘dynamic range’ van een televisie is het verschil tussen het donkerste zwart en het helderste wit dat het toestel simultaan kan weergeven. Hoe meer nits, hoe groter de ‘dynamic range’ en hoe dichter het beeld op televisie de werkelijkheid kan benaderen. Vanaf 1.000 nits spreken we over high dynamic range (HDR). Of in mooie marketingtermen in de winkeletalage “Ultra HD Premium”. Een aanzienlijke kwaliteitsverbetering ten opzichte van de meest gangbare SDR-toestellen die momenteel bij de meeste mensen in de huiskamer staan. De meest geavanceerde HDR-prototypes hebben al een bereik van 10.000 nits. 

Jan Aelterman: “Volgens de vakpers en mediabedrijven als Netflix is de winst in kwaliteit van SDR naar HDR een veel belangrijkere evolutie dan de race voor meer pixels en hogere resolutie. HDR-beelden benaderen dermate de werkelijkheid dat kijkers zelfs getuigen spontaan diepte te ervaren ook al kijken ze niet naar een 3D-uitzending en hoewel HDR niets met diepte te maken heeft.” 

Volgens de vakpers en mediabedrijven als Netflix is de winst in kwaliteit van SDR naar HDR een veel belangrijkere evolutie dan de race voor meer pixels en hogere resolutie. 

Duizend jaar filmarchief in lage kwaliteit

Maar net zoals met hogere resolutie, kan je enkel van HDR genieten als ook het beeldmateriaal ervoor aangepast is. Wie lage resolutiebeelden bekijkt op een hi-res tv komt van een kale reis thuis. Zo ook met SDR-beeldmateriaal op een HDR-tv. In een ideale wereld is alle content beschikbaar in HDR. Hiep Luong: “Dit kan wanneer van bij de opnames tot in de huiskamer de juiste camera’s, opslagmedia en transmissietechnologie zijn gebruikt. En, hoewel de technologie daarvoor ondertussen beschikbaar is, blijven veel nieuwe opnames in SDR geproduceerd om ook niet-HDR-consumenten te kunnen bereiken. Dit geldt voor zowel professionele opnames als voor de filmpjes die we met onze smartphones maken.” 

En dan zijn er ook de beeldarchieven. Alleen al alle content die geregistreerd staat op de online filmencyclopedie imdb.com is goed voor meer dan duizend jaar filmarchief in SDR. Nog niet gesproken over de gigantische hoeveelheden beeldarchief bij de publieke en private omroepen.

Handmatig omzetten levert niet op

Het overzetten van deze nieuwe en bestaande beelden naar HDR is geen sinecure. De meest kwalitatieve oplossing is om handmatig en beeld per beeld de nodige aanpassingen te doen. Een monnikenwerk wat in uitzonderlijke gevallen waardevol kan zijn, maar in de meeste scenario’s de slok op de borrel niet waard is. Jan Aelterman: “De makers van Star Trek investeerden enkele miljoenen dollars in een soortgelijke manuele conversie, van lage resolutie naar hoge resolutie, om er later achter te komen dat die investering zich niet terugverdiende.”

Automatisch converteren dan maar? Daarbij stellen zich vier grote uitdagingen: het vermijden van artefacten, het herkennen van lichte objecten in donkere scenes, het onderscheidend converteren van lichte en donkere scènes én het uitvoeren van al dit complexe rekenwerk in real time op een doorsnee grafische processor. Bestaande softwareoplossingen worstelen met een of meerdere van deze elementen en bereiken daarmee niet de gewenste kwaliteit in het eindresultaat.

Automatisch genieten van hogere kwaliteit

De software van IPI excelleert echter op alle fronten. 

Zo werkt het automatisch artefacten weg die tijdens de conversie zichtbaar zouden worden. Elke digitale beeldcompressie gaat gepaard met een selectie van welke bits wel en niet relevant zijn voor het eindresultaat. Bij SDR leiden deze keuzes niet tot een zichtbaar verlies aan beeldkwaliteit. Maar bij de omzetting naar HDR worden deze keuzes in de compressie wel duidelijk zichtbaar in de vorm van beeldartefacten. Denk aan minder kwalitatieve kleurovergangen of onscherpe randen. De imec-software vermijdt het ontstaan van deze artefacten door informatie te halen uit de omgevende bits om op die manier een realistische invulling te geven aan de ontbrekende informatie.

How visual artifacts occur during traditional conversion to HDR (left – what should be a smooth color gradient becomes ‘pixelated’) and how the imec software stops it from happening (right).

Illustratie hoe beeldartefacten ontstaan bij traditionele conversie naar HDR (links – wat een vloeiende kleurovergang moet zijn, wordt ‘gepixeld’) en hoe de imec-software deze weet te vermijden (rechts).

Ook gaat de software ingenieus om met het herkennen van lichtbronnen en van lichte objecten in donkere scènes. Standaard softwareoplossingen kijken enkel naar helderheid van pixels en niet op objectniveau, waardoor alle lichtgevende objecten er min of meer even licht uitzien én ook op dezelfde bepaalde helderheid plafonneren (satureren). Een kaarsvlam ziet er dan bijvoorbeeld even licht uit als de vlam van een lasbrander in dezelfde scène, een fenomeen dat gebruikelijk is in SDR. In HDR kan het onderscheid tussen objecten als de lasvlam en de kaarsvlam wel overtuigend gemaakt worden, de imec-software bevat dan ook intelligentie om objecten te herkennen en op basis daarvan de helderheid meer onderscheidend te maken.

Example of light saturation with standard conversion (left), in which the streetlamp peaks at a lower brightness. On the right the conversion by imec software: thanks to image recognition, the streetlamp is given a more pronounced contour and brightness.

Voorbeeld van lichtsaturatie bij standaard conversie (links), waarbij de straatlamp op een te lage helderheid plafonneert. Rechts de conversie door imec-software die dankzij beeldherkenning toelaat om de straatlamp een meer uitgesproken contour en helderheid te geven.

Ook belangrijk is het vermogen van de imec-software om lichte scènes anders te behandelen dan donkere. Dankzij machine-learning algoritmes worden de donkere scènes herkend en in essentie ongemoeid gelaten, waar standaard software ze vaak ongewenst licht maakt. Lichte scènes maakt de imec-software daarentegen extra helder, waar standaard software ze onnodig donker laat.

The imec software leaves darker settings basically undisturbed (above) in the conversion from SDR (left) to HDR (right) and makes light settings extra bright (below).

De imec-software laat donkere scenes in de basis ongemoeid (boven) in de omzetting van SDR (links) naar HDR (rechts) en maakt lichte scenes extra helder (onder).

Real-time omzetting

De mogelijk grootste troef van de imec-software is echter dat het al deze complexe berekeningen zodanig efficiënt uitvoert dat real-time conversie mogelijk is op een relatief eenvoudige grafische processor. 

Dankzij het in huis ontwikkelde Quasar-platform voor softwareontwikkeling kan de relatief complexe code toch efficiënt draaien op verscheidene gangbare hardwareplatformen. De software kan draaien op een centrale hi-performance server, bijvoorbeeld van een televisiezender, maar evengoed op de veel eenvoudigere processor die geïntegreerd is in je televisie, smartphone of settopbox. Zo zijn - dankzij een partnership met TPVision - de imec algoritmes deel van de SDR naar HDR conversie in de nieuwste Philips 803 en 903 OLED televisies.

Ook voor andere toepassingen

En om het verhaal helemaal compleet te maken, kunnen al deze sterktes ook nog eens afzonderlijk van elkaar ingezet worden, wat hun toepasbaarheid breder maakt dan enkel voor SDR naar HDR conversie. Hiep Luong: 

Voor de VRT hebben we onze software ingezet voor het verwijderen van artefacten in hun digitale beeldarchief. 

Met name bij gedigitaliseerde opnames die in de jaren ’80 en ’90 met betacam technologie zijn gemaakt, zijn op moderne televisies veel beeldartefacten zichtbaar. Dankzij imec-software kan de kwaliteit van gedigitaliseerde archiefbeelden opgewaardeerd worden tot uitzendkwaliteit.”

Left: detail of a digitalized Betacam archive image. Right: result using imec (super-resolution) software.

Links: detail van een gedigitaliseerd betacam archiefbeeld, rechts: resultaat van imec (super-resolutie) software.

Een heldere toekomst

De ontwikkeling van de software gebeurde deels dankzij het imec.icon project HD2R dat van 2015 tot 2017 liep met bedrijfspartners als VRT, Barco, post-productiebedrijf Grid-VFX… Inmiddels heeft de software zijn nut al meermaals bewezen. Hiep Luong: “De meest relevante bedrijven in de mediasector weten ons inmiddels wel te vinden. En er zitten enkele spannende samenwerkingen aan te komen. We blijven op zoek naar partners die onze software willen gebruiken om de kwaliteit van hun beeldmateriaal naar een hoger niveau te tillen.”

 

Meer weten?

Biografie Jan Aelterman

Jan Aelterman behaalde zijn doctoraat in de ingenieurswetenschappen aan de UGent in 2014. Momenteel werkt hij als post-doctoraal onderzoeker bij de Image Processing and Interpretation (IPI) onderzoeksgroep, een imec onderzoeksgroep aan de UGent. Zijn onderzoek behandelt restauratie-, reconstructie- en estimatieproblemen voor beelden en video. Dit werk wordt toegepast in diverse toepassingscontexten als (HDR) videoverwerking, MRI, CT, (elektronen)microscopie, fotografie en multi-view processing.

Biografi Hiep Quang Luong

Hiep Luong received his PhD degree in Computer Science Engineering from Ghent University in 2009. Currently he is working as a researcher and project manager at Image Processing and Interpretation (IPI), an imec research group at Ghent University. His research and expertise focus on image and real-time video processing for various fields, such as HDR imaging, (bio)medical imaging, depth and multi-view processing, and multi-sensor fusion for UAV and AR applications.

Deze website maakt gebruik van cookies met als enige doel het analyseren van surfgedrag, zonder enige commerciële insteek. Lees er hier meer over. Lees ook ons privacy statement. Sommige inhoud (video's, iframes, formulieren,...) op deze website zal pas zichtbaar zijn na het accepteren van de cookies.

Accepteer cookies