Image sensors and vision systemsSmart Industriesimec.engineering

10 min

Op zoek naar ultrasnelle en nauwkeurige multiview-imaging-technologie? Ontdek imecs unieke oplossingen

Imecs unieke marktrijpe multiview-imaging-technologie heeft heel wat potentieel in industriële toepassingen zoals robotvisie en kwaliteitscontrole; bedrijven kunnen bij imec terecht voor een uitgebreide dienstverlening – van systeemontwerp en prototyping tot (pre)productie.

Scroll

Intro

Wanneer meerdere beeldsensoren vanuit een verschillende invalshoek een beeld nemen van eenzelfde object, dan kan dat object – door middel van ingenieuze software – hieruit in drie dimensies worden gereconstrueerd. Deze technologie wordt multiview imaging genoemd, in zijn eenvoudigste vorm (met twee beeldsensoren) beter bekend als stereovisie. Imec heeft jarenlang onderzoek verricht naar multiview imaging, waarna het imec.engineering-team de technologie uit de onderzoeksfase haalde en marktrijp maakte. Imecs multiview-imaging-systemen blinken uit op het gebied van snelheid, nauwkeurigheid en lage kost, en hebben heel wat potentieel in industriële toepassingen, zoals in robotvisie of kwaliteitscontrole. Peter Lemmens, General Manager van imec Taiwan, blikt terug op het commercialiseringstraject, en legt uit welke dienstverlening imec aanbiedt aan bedrijven. 

De mogelijkheden van multiview imaging

Camera’s die gebruik maken van stereovisie ontlenen hun technologie aan het menselijke gezichtsvermogen. Twee beeldsensoren nemen vanuit verschillende posities en invalshoeken een beeld van eenzelfde object. Algoritmes vergelijken de beelden, en gaan op zoek naar de overeenkomstige pixels. Door middel van software wordt een dieptemap gegenereerd, waarin de pixels volgens hun onderlinge afstand tot de camera worden weergegeven. Deze data worden gebruikt om het object in 3D weer te geven, gevisualiseerd in een zogenaamde driedimensionale puntenwolk. Om de performantie van de camera te verhogen, kan de technologie worden uitgebreid naar meerdere beeldsensoren – ook wel multiview imaging genoemd. 

Net zoals ons gezichtsvermogen ons dieptezicht geeft, wordt de technologie vaak ingezet om afstanden tot objecten in een beeld te bepalen. Stereovisie, en bij uitbreiding multiview imaging, heeft voor deze toepassing een aantal specifieke voordelen ten opzichte van andere technologieën. 

Zo kan de technologie in tegenstelling tot bijvoorbeeld time-of-flight-systemen zowel binnen als buiten worden gebruikt. En omdat klassieke, commerciële beeldsensoren kunnen worden ingezet, is multiview imaging ook relatief goedkoop (in vergelijking met bijvoorbeeld dure radartechnologie), en makkelijk te integreren in bestaande systemen. 

Van onderzoek naar product

Multiview imaging, waarvan stereovisie zoals gezegd de eenvoudigste vorm is, is beslist geen nieuwe technologie, en er is dan ook al heel wat academisch onderzoek rond verricht. Ook bij imec bevond de technologie zich een tiental jaren geleden in de onderzoeksfase. 

Imec.engineering, het team dat zich richt op systeemontwikkeling, prototyping en productie, heeft deze technologie daarna uit de imec-labs gehaald en marktrijp gemaakt.

Het team optimaliseerde de technologie initieel voor robotvisie. Multiview imaging kan bijvoorbeeld worden gebruikt als visuele sturing bij ‘bin picking’, waarbij een robot willekeurig geplaatste voorwerpen uit een bak moet halen. Snelle objectherkenning en nauwkeurige afstandsbepaling zijn hiervoor cruciaal.

imec_Depth maps and 3D images obtained with imec’s multiview camera.

Dieptemappen en 3D-beelden verkregen met imecs multiview camera.

Snel, nauwkeurig en goedkoop

Heel wat multiview imaging-systemen maken gebruik van software om de beelden te combineren (stereo-matching) en een 3D-puntenwolk te genereren, waarbij de software draait op grafische verwerkingseenheden (GPU’s) of microcontrollers. Maar hoewel deze software-gebaseerde oplossingen eenvoudig in een systeem kunnen worden geïntegreerd, halen zij geen hoge verwerkingssnelheden. Daarom biedt imec een hardware-oplossing aan, waarbij de software voor stereo-matching geïmplementeerd is in een FPGA (field-programmable gate array). 

Door de algoritmes en de fysieke implementatie te co-optimaliseren, is het imec.engineering-team erin geslaagd om de snelheid van beeldverwerking substantieel te verhogen, tot 60 dieptebeelden per seconde bij hoge-definitie kwaliteit (120 beelden per seconde mogelijk). Ook op het gebied van performantie doen de imec-systemen het erg goed. 

De contouren van het object die door de puntenwolk in real-time worden gevisualiseerd, worden met een zeer hoge precisie en resolutie weergegeven, zonder ‘zwarte gaten’. Dat helpt om de nauwkeurigheid bij post-processing te verhogen. Ook de diepte wordt veel nauwkeuriger bepaald dan met bestaande systemen (dieptenauwkeurigheid >0.1mm), wat leidt tot een betere objectherkenning. De systemen worden tenslotte ook ontworpen voor een optimale kost/performantie.

imec_Imec’s multiview camera

Imecs multiview camera

Actieve belichting voor textuurloze objecten

Algoritmes die zoeken naar overeenkomstige pixels in twee (of meerdere) beelden maken onder meer gebruik van gradaties in contrast en helderheid van de pixels. Daardoor is de klassieke vorm van multiview imaging minder geschikt voor objecten die geen textuur hebben in hun oppervlak. Denk maar aan plastics of gladde metalen voorwerpen. Imec.engineering ontwikkelt daarom ook systemen die gebruik maken van actieve belichting (active multiview). Door middel van een lichtbron, meestal één of meerdere lasers, wordt een (random) puntenpatroon geprojecteerd op een object dat hierdoor een zekere textuur krijgt. Door dat puntenpatroon in rekening te brengen, kunnen corresponderende pixels gemakkelijker worden teruggevonden waardoor het systeem ook voor textuurloze oppervlakken zeer performant is.

imec_Depth map and 3D image of a box of candy obtained using imec’s active multiview camera.Dieptemap en 3D-beeld van een snoepdoosje verkregen met imecs active multiview camera.

Een waaier aan toepassingen

Met zijn ultrasnelle en erg precieze active-multiview-systemen, mikt imec op toepassingsdomeinen waar die karakteristieken ten volle benut worden. Eén daarvan is robotvisie waar multiview camera’s worden ingezet voor realtime afstandsbepaling en objectherkenning. In deze dynamische omgevingen zijn snelheid en dieptenauwkeurigheid cruciaal.

Een andere toepassing is kwaliteitscontrole in industriële omgevingen. Wanneer het gaat om eenvoudige objecten, dan kan hiervoor een gewone camera worden ingezet. Maar controle van voorwerpen met een complexe vorm vereist vaak nauwkeurige afstandsmetingen. 

Multiview-systemen kunnen ook worden ingezet voor veiligheidstoepassingen. Dieptemetingen maken het bijvoorbeeld mogelijk om personen te tellen of individuen te volgen in een snel bewegende massa mensen. En de technologie kan worden gebruikt om de veiligheid van grote industriële installaties te controleren, bijvoorbeeld op het ontsnappen van gas uit leidingen. 

Een ander mogelijk industrieel toepassingsdomein zijn automated guided vehicles, autonome voertuigen zoals vorkheftrucks die multiview imaging gebruiken voor navigatie in een fabriekshal. 

Van ontwerp tot totaaloplossing

Imec.engineering biedt rond zijn unieke stereovisie- en active multiview-technologie een uitgebreide dienstverlening aan, en kan daarvoor terugvallen op een omvangrijk internationaal octrooiportfolio (meer dan 15 patenten). 

 Imecs aanbod is heel gevarieerd, van ontwerp en modellering van optische componenten (zoals lenzen, collimators, optische filters, enz), over ontwerp van visie-algoritmes voor implementatie in kost/performante systemen, tot prototyping en preproductie.

Bedrijven kunnen bij imec terecht voor volledige systeemoplossingen op maat, of voor één of meerdere deelaspecten van multiview imaging. Het imec.engineering-team doet daarbij een beroep op imecs jarenlange ervaring op het gebied van GPU’s, FPGA’s, processoren en integratie van beeldsensoren.

Heel wat bedrijven kloppen aan bij imec.engineering omdat ze op de markt typisch geen oplossing vinden die voldoet aan hun eisen, en/of omdat er technologische moeilijkheden zijn waarvoor ze een partner nodig hebben om die op te lossen.

Ook heel wat software-bedrijven vinden hun weg naar imec. Bedrijven die zich bijvoorbeeld richten op robotvisie zijn vaak van nature software-geöriënteerd, en gespecialiseerd in algoritmes voor bijvoorbeeld patroonherkenning. Meer en meer willen deze bedrijven zichzelf ook differentiëren op het gebied van hardware, met eigen camera’s die performanter zijn dan die van de concurrent. Dat is een trend die we niet alleen zien bij grote software-bedrijven, maar ook bij middelgrote en kleine ondernemingen. Al deze bedrijven kunnen bij imec terecht voor een unieke cameratechnologie.

De ontwikkeling van multiview-imaging-systemen is met andere woorden een mooi voorbeeld van hoe imec.engineering onderzoek uit de eigen imec-labs matuur maakt en naar productniveau brengt. 

 

Meer weten?

Biografie Peter Lemmens

Peter Lemmens is General Manager van imec Taiwan. Voor hij imec vervoegde in 2007, werkte hij als R&D Manager bij Philips Electronics in België, Nederland en Taiwan. Hij coördineerde ook verscheidene FP7 Europese onderzoeksprojecten voor imec in Leuven, in de domeinen van technology aware design en multicore embedded systems. Peter Lemmens behaalde aan de KU Leuven een MSc in Industrial Engineering, een Major in Micro-Electronics en een BSc in Business Economics.

Deze website maakt gebruik van cookies met als enige doel het analyseren van surfgedrag, zonder enige commerciële insteek. Lees er hier meer over.

Accepteer cookies