Image sensors and vision systems

15 min

Penseelkunst, pythons en precisielandbouw: het spectrum van hyperspectrale toepassingen.

Hyperspectrale (HS) beeldvorming ziet meer dan je ogen. Daarom is het in tal van toepassingen gebruikt. In dit artikel belichten we drie recente voorbeelden die duidelijk de onschatbare rol van imec's HS technologie benadrukken: Da Vinci's Laatste Avondmaal, pythons en precisielandbouw. Voor alle gevallen heeft imec draagbare en robuuste camera's ontworpen die op locatie ingezet kunnen worden. Tegelijkertijd werden de nieuwe kortegolf-infraroodsensoren getest.

Wat hebben schilderijen, slangen en landbouwgewassen met elkaar gemeen? Het zijn stuk voor stuk toepassingen waar hyperspectrale (HS) beeldvorming een verschil kan maken. HS camera's splitsen het licht dat door een object wordt gereflecteerd op in vele smalle spectrale banden, die ze apart registreren en verwerken. Op die manier leggen ze een spectrale signatuur vast voor elke pixel in een beeld. Imec maakt HS beeldvormers met één chip die massaal kunnen geproduceerd worden en heel compact zijn. Voor vele toepassingen kunnen de beeldvormers gebouwd worden aan een prijs eerder vergelijkbaar met een gewone camera dan een onderzoeksinstrument, dankzij de technologie waarmee ook traditionele computerchips gemaakt worden . Nieuw sinds vorig jaar zijn de korte golf infraroodsensoren, waarvoor nu de eerste camera-prototypes gebouwd worden.

De camera's rond deze chips zijn licht en compact, waardoor ze geschikt zijn voor een hele reeks toepassingen in bijvoorbeeld de precisielandbouw of medische instrumentatie. De beeldvormers zelf kunnen flexibel worden ontworpen om te voldoen aan de noden van de toepassing, door de spectrale banden en resolutie te selecteren die het beste passen bij die toepassing.

Wij zijn uiteraard geen experts in hersenchirurgie, huidkankeropsporing, aardappelsortering en schilderkunst. Wat we wel doen is de technologie kalibreren en ze draagbaar en robuust maken zodat ze in al deze toepassingen kan ingezet worden.

Het is voor ons heel verrijkend om met die verschillende experts te interageren om te kijken hoe wij hen kunnen helpen hun werk te doen,” vertelt Andy Lambrechts, groepsleider van de Integrated Imaging-groep op imec. Samen met collega’s uit imec Florida, toont de groep de veelzijdigheid van HS beeldvorming in enkele recente toepassingen.

HS imaging sensors.

Sensoren voor HS beeldvorming.

 

De Da Vinci van de Lage Landen

Het is dit jaar precies 500 jaar geleden dat Leonardo Da Vinci overleed. Zijn beroemde fresco ‘Het laatste Avondmaal’ is nog steeds te bewonderen in Milaan. De Amerikaanse kunsthistoricus Jean-Pierre Isbouts is ervan overtuigd dat de meester ook een hand had in een kopie in de abdij van Tongerlo, België. Om zijn theorie te bevestigen contacteerde hij imec. Imec’s HS camera’s zien namelijk meer dan gewone camera’s. “We splitsen het werk visueel op in verschillende lagen per golflengte”, legt Wouter Charle, senior scientist beeldvorming, uit. “Dat levert ongeveer 150 beelden op, waar onderzoekers dan hun analyse op kunnen doen.” 

Zo kunnen er verschillende soorten informatie opduiken. Een restaurateur gaat er bijvoorbeeld voor zorgen dat toegevoegde verf onzichtbaar blijft voor het blote oog. Met de HS camera kan je daarentegen wel zien of de verf een andere chemische samenstelling heeft waardoor je de recentere retoucheringen kan negeren en je op de oudste lagen verf kan toespitsen. Daarnaast –omdat de HS beelden gecombineerd worden met gedetailleerde beelden van een gewone camera– kan je ook de fijne techniek waarmee geschilderd wordt bestuderen en er kenmerken zoals de manier waarop het penseel vastgehouden werd uit afleiden. Via infrarood of diepere spectrale banden kan je bijvoorbeeld ook kijken naar diepere, onderliggende lagen of cracks die eventueel hersteld zijn. Op basis deze informatie zal het team van Isbouts de puzzelstukjes dan verder leggen.

Images being registered with the HS camera.

Beelden van de HS camera worden geregistreerd.

Met de HS camera in de hand…

Een groot voordeel van imec’s HS camera’s is dat ze heel draagbaar en compact zijn waardoor ze perfect inzetbaar zijn op locatie. Daardoor waren de juiste beelden al in een paar uur beschikbaar voor analyse. Alles startte met een goede voorbereiding. “We zijn op voorhand eenmaal op verkenning geweest om de locatie te bekijken, de grootte van het schilderij in te schatten en na te gaan hoeveel licht er aanwezig was. Zo konden we beslissen welke lenzen en belichting nodig waren en de tweede keer terugkeren met de juiste apparatuur.”

“Professor Isbouts had ook al met ons besproken welke stukken van het schilderij hij in detail wilde opnemen. Hij was immers niet geïnteresseerd in een breedbeeldopname, maar eerder in de hoofden van de afgebeelde figuren. Zijn theorie was namelijk dat áls Da Vinci had meegewerkt aan het schilderij, hij waarschijnlijk de details van de belangrijkste figuren zou geschilderd hebben. Met onze camera kan je een beeld al in enkele minuten opnemen, maar de uitdaging is de juiste calibratie, de juiste opstelling en scherpstelling. En, in vergelijking met bestaande wetenschappelijke HS camera’s –die veel groter zijn– verliep dit zeer vlot,” vertelt Robin Lefrant, Imaging Systems ingenieur.

The compact HS camera at work on location.

De compacte HS camera aan het werk op locatie.

Het was ook de eerste keer dat de nieuwe infraroodsensoren voor veldwerk ingezet werden. Er bestaan verschillende wetenschappelijke HS camera’s in nabij en korte golf infrarood, ook voor kunstinspectie. “Dat is een nieuw domein voor ons, maar ook meteen de perfecte toepassing om onze HS camera’s voor te gebruiken. De traditionele wetenschappelijke camera’s in die golflengtegebieden, die normaal gebruikt worden om schilderijen inspecteren, zijn groot en moeilijk op te stellen. Heel vaak moet zo’n schilderij dan ook overgebracht worden naar een speciale locatie; dat maakt het hele proces ook heel duur. Onze camera’s daarentegen zijn klein en makkelijk transporteerbaar zodat we zonder al te veel moeite ter plaatste kwaliteitsvolle opnames konden maken,” besluit Wouter Charle.

Er schuilt een python onder het gras

Een volgende toepassing brengt ons naar Florida, waar exotische pythons de inheemse fauna in de Everglades bedreigen. De dieren hebben er geen natuurlijke vijanden en hebben gezorgd voor een daling van 90% in de zoogdierenpopulatie. Ze worden met man en macht gezocht, maar dat blijkt niet zo gemakkelijk te zijn. Pythons zijn heel goed gecamoufleerd en bijna onzichtbaar in de vegetatie met gewone camera’s. Bovendien zijn het koudbloedige dieren, waardoor thermische camera’s ook niet aangewezen zijn. “Ronald Driggers, professor aan de Universiteit van Centraal Florida (UCF) en imec wetenschapper, bracht dit probleem onder onze aandacht en stelde een samenwerking voor tussen imec, UCF, Extended Reality Systems (ERS) en de Universiteit van Florida. ERS is een klein, lokaal bedrijfje dat actief op zoek was naar een oplossing om pythons in de Everglades op te sporen met optische sensoren,” vertelt Orges Furxhi, groepsleider van de Camera Systems & Computational Imaging-groep in imec Florida.

Python image at 850 nm (inverted and saturated) in a mixed background.

Pythons op een gemengde achtergrond (beelden genomen op 850 nm, geïnverteerd en gesatureerd).

Orges Furxhi: “Op dat moment hebben we ook beroep gedaan op het team van Leuven en hun HS camera’s. Ze hebben ons getraind in het gebruik van de camera’s, hielpen ons met de eerste metingen en leerden ons de beste meetpraktijken met de HS beeldvormers. Wij hebben dan de spectrale vingerafdruk van de pythons opgemeten –eerst in gevangenschap, maar daarna ook in het wild met de vegetatie op de achtergrond. Deze metingen zijn daarna gebruikt om een enkele band camera en algoritmes te ontwerpen voor het detecteren van pythons. Sindsdien hebben we aangetoond dat die camera en algoritmes ook effectief zijn in het detecteren van pythons. Het team uit Leuven voorzag ook multispectrale camera's met real-time beeldregistratie (de snapshot camera's) om extra beelden van de slangen en de achtergronden op te nemen. Die gegevens werden gebruikt om een deep learningnetwerk op te bouwen voor automatische pythondetectie.”

Precisielandbouw met Vlaamse technologie

Andy Lambrechts: “Dit jaar neemt het Hyperspectral Team ook deel aan een aantal projecten met Vlaamse en Europese spelers omtrent precisielandbouw. Voor één ervan hebben verschillende Vlaamse onderzoekscentra een gezamenlijke proeftuin opgestart om werk te maken van ‘slimme gewasbescherming’ in de aardappel- en fruitteelt. Door HS camera’s op drones en tractoren te installeren kunnen plantenziektes zoals perenvuur, sneller en doelgerichter herkend en dus aangepakt worden. Dat zijn vaak multidisciplinaire projecten die experts uit verschillende domeinen samenbrengen. Vanuit imec focust Field Support ingenieur Roeland Vandebriel dan op de technologie, terwijl andere groepen zich specialiseren in het monteren van onze camera’s op drones of tractoren, algoritmes voor ziekteherkenning finetunen of hun agrarische kennis delen. Door al die kennis samen te brengen, kan je in dit soort projecten echte prototypes gaan bouwen die alles aan elkaar schakelt en de toepassing valideert.”

Orthophoto hyperspectral aerial images of strawberry test field in Belgium: NDVI images (left) and chlorophyll index map (right) to support precision agriculture decisions – Courtesy of VITO and pcfruit.

Orthofoto’s of hyperspectrale luchtfoto's van een aardbeientestveld in België: NDVI-beelden (links) en chlorofyl-indexkaart (rechts) ter ondersteuning van beslissingen over precisielandbouw – met dank aan VITO en pcfruit.

Naast de HS camera’s zelf gaat een groot stuk van de aandacht naar calibratie zodat kwaliteitsvolle data aan onderzoekers aangeleverd kunnen worden. “Onze software is tot op zekere hoogte toepassingsagnostisch,” legt Vincent Radelet, Hyperspectral Software ingenieur, uit. “Wij werken in eerste instantie niet op de herkenning van perenvuur, het primaire doel van de software is het waarborgen van de kwaliteit van de door onze camera geproduceerde data. De software zorgt ervoor dat individuele beelden uitgelezen worden en gecombineerd worden tot 1 HS beeld. Daarbij worden tezelfdertijd de gevoeligheden van de sensor zelf bij weggewerkt en het verschil in verlichting weggecalibreerd. Door voor alle mogelijke verstoringen te compenseren, wordt spectroscopie op beeldniveau gebracht. Zo kunnen de experten hun analyses verrichten op een zuiver HS beeld, zonder de neveneffecten die cameracomponenten op de beeldopname kunnen hebben.

De juiste HS camera voor de job

Voor alle toepassingen werd in de eerste plaats geopteerd om een generieke camera te gebruiken. Andy Lambrechts: “Zeker als je op voorhand niet goed weet waarnaar je op zoek bent, is het aan te raden te vertrekken van de camera met het hoogst aantal spectrale banden. Dat is het beste startpunt om te kijken waar de informatie verborgen zit en welke spectrale banden je nodig hebt. Als je bovendien begint met de rijkste dataset, hoef je ook niet meer terug te gaan op locatie maar kan je achteraf in software simuleren hoe het beeld met minder spectrale banden er had uitgezien. Dan kan je achteraf eventueel ook gericht een applicatiespecifieke sensor ontwikkelen, met enkel de interessante banden.”

In addition to the HS cameras themselves, a great deal of attention is paid to calibration so that high-quality data can be supplied to researchers. "Our software is to a certain extent application-agnostic," explains Vincent Radelet, Hyperspectral software engineer. "In first instance, we do not work on the recognition of fire blight, the software’s primary goal is to ensure the quality of the data produced by our camera. It reads out individual images and combines them into 1 HS image. At the same time, the sensitivities of the sensor are removed and the difference in lighting is eliminated. By compensating for all possible perturbations, spectroscopy is brought to image level. Our software controls the cameras in a user-friendly way and presents the acquired data to the researchers in the best possible condition. This allows the experts to perform their analyses on a pure HS image, without the side effects that camera components can have on the image recording.”  The right HS camera for the job For all applications, the first choice was a generic camera. Andy Lambrechts: "Especially if you don't know in advance what you're looking for, it's advisable to use the camera with the highest number of spectral bands. That is the best starting point to determine where the information is hidden and which spectral bands you need. Also, if you start with the richest dataset, you don't have to go back on location, but you can simulate in software what the image with less spectral bands would have looked like. Then you can also develop an application-specific sensor afterwards, with only the bands of interest."

Een snapscan camera-setup.

Voor stilstaande beelden worden de snapscan camera’s gebruikt. De sensoren in deze camera’s maken een scanbeweging en genereren beelden van heel hoge resolutie. En dat betekent voor de HS camera niet alleen hoge resolutie op basis van vorminformatie (het aantal beeldpunten in een beeld) zoals bij een gewone foto, maar ook in aantal spectrale banden: voor camera’s die zichtbaar licht en nabij infrarood licht opnemen zijn dat er 150 en in korte golf infrarood 100. De snapscans zijn niet de eerste keuze wanneer het object te veel beweegt. In dat geval wordt geopteerd voor andere sensoren waarbij vier verschillende spectrale banden op individuele pixels van de beeldsensor afgewisseld worden. Daarmee kan je dan aan lagere resolutie direct een video-opname maken.

Meer camera’s, meer toepassingen

“Vorig jaar hebben we voor de eerste keer een korte golf infrarood sensor gelanceerd. Daar bouwen we nu de verschillende scanning en video-rate camera’s voor en ontwikkelen we de juiste correcties. We wisten al enkele jaren dat er veel toepassingen van korte golf infrarood waren – meer nog dan voor zichtbaar en nabij infrarood – maar omdat die sensoren zo complex zijn, kost het ook meer tijd om ze te ontwikkelen. 

De eerste prototypes hebben al veel interesse opgewekt. Onze unieke manier om compacte en massaproduceerbare HS camera’s voor dat gebied te maken is dan ook heel nieuw.”

Aldus Andy Lambrechts.

A snapscan camera for visible and near infrared imaging.

Een snapscan camera voor zichtbaar en nabij-infrarood licht.

 

Meer weten?

  • Meer informatie over de HS activiteiten in imec, kan je op de website vinden (enkel in het Engels beschikbaar).
  • Lees het persbericht over HS beeldvorming voor het Da Vinci fresco.
  • Het pythononderzoek werd gepubliceerd in 2 papers: a) Over reflectiviteit van pythons, Ronald Driggers, b) Over het camera-design en de algoritmes, Gonzalo Vaca-Castano. Beide papers kunnen opgevraagd worden via het contactformulier.
  • Onze HS camera’s in precisielandbouw: lees er mee over in het persbericht.

 

Over het Hyperspectral Team in imec België…

De HS activiteiten in imec zijn 10 jaar geleden gestart met 2 personen en een wild idee. De eerste sensor was een feit in 2011. In 2015 is de groep begonnen met evaluatiekits te verkopen, gebundeld met hun software. Sinds 2018 behoren korte golf infrarood sensoren ook tot het aanbod. Ondertussen is de groep uitgegroeid tot om en bij de 20 personen en hebben de activiteiten ook een sprong voorwaarts gemaakt; tientallen klanten werden al geholpen voor een resem aan toepassingen.

Over de Camera Systems and Computational Imaging groep in imec Florida…

De imec USA Camera Systems and Computational Imaging groep bestaat uit zeven teamleden met synergetische expertise, variërend van radarbeeldvorming tot diepgaand leren. De gecombineerde expertise van het team bestaat uit het modelleren, simuleren en prototypen van nieuwe beeldvormingssystemen.

Deze website maakt gebruik van cookies met als enige doel het analyseren van surfgedrag, zonder enige commerciële insteek. Lees er hier meer over. Lees ook ons privacy statement. Sommige inhoud (video's, iframes, formulieren,...) op deze website zal pas zichtbaar zijn na het accepteren van de cookies.

Accepteer cookies