Image sensors and vision systems

15 min

Unieke beeldsensor combineert het beste van verschillende werelden op één chip

Imec ontwikkelt de eerste multi-spectrale time-delay-and-integration (TDI)-beeldsensor die gebaseerd is op CCD-in-CMOS-technologie.

Scroll

Intro

Jonathan Borremans (program manager bij imec) en Piet De Moor (senior business development manager bij imec) stellen een nieuwe manier voor om beeldvorming volgens het time-delay-and-integration (TDI)-principe te verzoenen met charge-coupled-device (CCD)-technologie. De nieuwe beeldsensor implementeert de CCD TDI pixels samen met geavanceerde CMOS-aansturing en -uitlezing in één enkele chip. Om de gevoeligheid te verhogen kan deze CCD-in-CMOS-technologie gecombineerd worden met belichting langs de achterzijde (of backside illumination). Ook kunnen multispectrale filters worden toegevoegd om de performantie nog verder te verbeteren. Met deze erg gevoelige en snelle beeldsensoren mikt imec op high-end-toepassingen zoals remote sensing, life sciences en machine vision.

Het principe van time-delay-and-integration

Beeldvorming volgens het principe van time-delay-and-integration (TDI) is een lijn-scanningstechniek die vaak gebruikt wordt in bijv. industriële inspectie en aardobservatie. Deze cameratechniek kan ingezet worden wanneer een object of scène lineair over een beeldsensor beweegt (of omgekeerd), en wanneer de inhoud van die scène gedurende een korte periode niet verandert. In principe volstaat één rij van fotogevoelige pixels om van het object een tweedimensionaal beeld te nemen. Het beeld wordt dan lijn per lijn genomen, vertraagd in de tijd – waarbij de vertraging synchroon verloopt met de lineaire beweging van het object. De resolutie hangt hierbij af van het aantal pixels in de rij. Een slimmere manier bestaat er in om niet één maar een aantal rijen fotogevoelige pixels te nemen. Elke rij detecteert dezelfde informatie als de voorgaande rijen, maar vertraagd in de tijd. Door de overeenkomstige data van alle rijen bij elkaar op te tellen, ontstaat een beter beeld met betere signaal-ruisverhouding. 

imec principle tdi

Schematische voorstelling van het TDI-principe, waarbij 8 rijen fotogevoelige pixels worden gebruikt

CCD – een ‘ruis-loze’ manier om de signalen te collecteren en door te sturen

Charge-coupled-device (CCD)-technologie is de technologie bij uitstek voor het collecteren en doorsturen van de analoge TDI pixel-data. CCD maakt gebruik van pixels die licht kunnen detecteren door de foton-geïnduceerde ladingen onder een CCD-poort te collecteren. Het interessante aan deze techniek is dat de verzamelde ladingspakketjes heel gemakkelijk van de ene poort naar de nadere kunnen doorgestuurd worden, zonder ruis toe te voegen. In een TDI-implementatie kan een ladingspakketje op die manier van de ene pixel naar de andere verplaatst worden (in een kolom, mee met de beweging), in perfecte synchronisatie met de beweging van de scène. Dit principe wordt wel eens vergeleken met de ‘emmertjesbrigade’, een term die gebruikt wordt voor een rij mensen die elkaar emmertjes met water doorgeven. De signalen afkomstig van de verschillende rijen (ook stages genoemd) op verschillende tijdstippen worden uiteindelijk in eenzelfde ladingspakketje verzameld. De signalen worden dus opgeteld in hardware. En aangezien het verzamelen en doorsturen van de signalen zonder ruis gebeurt, wordt er enkel ruis toegevoegd in de laatste stap – de uitlezing – waar lading wordt omgezet in spanning. 

Laten we deze technologie vergelijken met CMOS-beeldvorming – een technologie die vaak verkozen wordt boven CCD voor consumententoepassingen, omdat hij ook elektronische circuits kan integreren. In een CMOS-beeldpixel wordt het signaal (afkomstig van het licht) omgezet in een spanning, en deze stap veroorzaakt een ruistoename in elk pixel. Wanneer deze techniek gecombineerd wordt met TDI, vindt, in tegenstelling tot CCD, de signaaloverdracht en -opslag niet in het ladingsdomein plaats. Rijen (of stages) die dezelfde scène hebben vastgelegd op een verschillend tijdstip moeten nu digitaal worden opgeteld – in software. Deze ‘digitale TDI met CMOS’ is niet alleen onderhevig aan ruis. Er is ook voldoende geheugen en snelle dataverwerking nodig, aangezien de 2D-beelden (frames) nu moeten kunnen worden uitgelezen tegen lijnsnelheid, en opgeteld in het digitale domein. Voor een groot aantal TDI-rijen wordt dit proces erg complex en energiehongerig. Een voordeel van deze TDI is dan weer de hoge graad van integratie, aangezien de snelle uitleeselektronica nu op de beeldsensor-chip zelf kan geïntegreerd worden. 

TDI CCD-in-CMOS – het beste van twee werelden

Een CCD-systeem bestaat gewoonlijk uit een bord met daarop verschillende chips, waaronder de CCD, de aansturing en de uitleeschip. Imec heeft een oplossing uitgewerkt die CCD-pixels en CMOS-uitleescircuits in één technologie integreert. Op die manier verkrijgen we een chip met de functionaliteit van zowel CCD als CMOS. 

Deze unieke technologie combineert het beste van twee werelden: de ruis-loze collectie en overdracht in het ladingsdomein, eigen aan CCD-technologie, met de mogelijkheid tot systeemintegratie, het lage vermogen en de snelle uitlezing die alleen CMOS kan bieden. 

In tegenstelling tot de traditionele beeldsensoren die de pixels per kolom uitlezen en alle data doen samenkomen in één analoog-naar-digitaal-convertor (ADC), maakt de nieuwe beeldsensor gebruik van kolom-ADC’s. In deze configuratie wordt er per kolom één ADC gebruikt, en worden de verschillende kolommen parallel uitgelezen. Op die manier kunnen de data heel snel worden uitgelezen terwijl het vermogen-verbruik laag blijft.

principle of TDI using ccd in cmos

TDI gecombineerd met CCD-in-CMOS

CCD-beeldsensoren worden meestal met heel specifieke processen gemaakt op wafers van 150mm diameter. Imec heeft echter een unieke CCD-procesmodule ontwikkeld die gebruik maakt van imec’s 130nm CMOS procesflow op 200mm wafers, waardoor de fabricage goedkoper wordt. Dit proces is ook compatibel met latere processtappen op niveau van de wafer, zoals backside illumination (belichting aan de achterzijde) en integratie van spectrale filters, en met het CMOS aansturings- en uitleescircuit. Als onderdeel van de CCD-procesmodule worden bovenop een ingegraven CCD-kanaal enkelvoudige poly-CCD-poorten gemaakt die erg dicht tegen elkaar liggen. In een laatste stap worden de beeldsensoren verpakt in een keramische pin-grid-array (PGA)-verpakking. 

wafer image sensor imec

200mm wafer met CCD-in-CMOS beeldsensoren

tdi ccd-in-cmos imec

TDI CCD-in-CMOS beeldsensor

Back-side illumination voor maximale gevoeligheid

In een typische beeldsensor die langs de voorzijde belicht wordt (front-side illumination) komt het licht binnen via de optische lagen en gaat doorheen de zogenaamde ‘back-end-of-line’-lagen vooraleer het lichtgevoelige silicium te bereiken. Deze back-end-of-line bestaat uit lagen metaal en diëlektrische materialen, die een deel van het licht weerkaatsen en zelfs absorberen. Daardoor blijft de kwantumefficiëntie van de beeldsensor (gedefinieerd als de totale efficiëntie waarmee een foton wordt geabsorbeerd en getransfereerd naar een elektron, en het elektron wordt gecollecteerd) ver onder zijn theoretisch maximum van 100%. Zo bereikt een typische beeldsensor die langs de voorzijde wordt belicht slechts een kwantumefficiëntie van 40% in het geel/groene golflengtebereik. Door microlenzen te gebruiken die het licht focusseren kan deze efficiëntie nog worden verhoogd tot 70%.

"De kwantumefficiëntie kan verder worden verbeterd door de beeldsensor langs de achterzijde te belichten (back-side illumination of BSI). In BSI-sensoren wordt het siliciumsubstraat verwijderd en komt het licht direct langs de achterzijde binnen. Imec heeft de technologie om BSI-beeldsensoren te maken volledig op punt gezet."

Volgens deze technologie wordt de 200mm wafer met beeldsensoren via de techniek van bonding aangebracht op een houder (een carrier wafer), en vervolgens verdund langs de achterzijde. Op die manier worden de CCD-poorten blootgesteld aan het licht, dat nu niet meer door metaallijntjes of diëlektrische materialen gehinderd wordt. In deze configuratie is de vulfactor (fill factor, de fractie van het oppervlak dat gevoelig is aan licht) 100% en is ook de kwantumefficiëntie beduidend hoger. Er kunnen ook nog anti-reflectiecoatings worden toegevoegd om een hogere kwantumefficiëntie te bereiken in specifieke gebieden van het spectrum, zoals het zichtbaar licht (meer dan 90% kwantumefficiëntie) of (nabij-)ultraviolet (70%). En door de totale dikte van het silicium te verhogen tot 12 micrometer, kan de beeldsensor ook gevoelig gemaakt worden aan nabij-infrarood.

bsi graph

Belichting langs de achterzijde leidt tot een betere kwantumefficiëntie

Spectrale TDI-sensoren

De technologie van TDI CCD-in-CMOS levert erg gevoelige en snelle beeldsensoren. Deze sensoren hebben evenwel nog één beperking: ze leveren beelden in zwart-wit. 

Onderzoekers bij imec gaan een stap verder en voegen ook spectrale filters toe aan de beeldsensoren. De sensoren worden daardoor performanter en kunnen meer informatie geven over het object dan de traditionele camera’s. 

Om spectrale beeldvorming mogelijk te maken heeft imec een procesmodule ontwikkeld die toelaat om hyperspectrale filters (tot 256) via post-processing toe te voegen aan een (bijv. commerciële) CMOS-beeldsensor. Door verschillende ontwerpen te gebruiken, kunnen de onderzoekers verschillende concepten voor hyperspectrale beeldvorming realiseren en kan de trade-off tussen ruimtelijke en spectrale resolutie voor een bepaalde toepassing worden geoptimaliseerd. Voor bepaalde applicaties zou het ook zinvol zijn om deze hyperspectrale technologie te combineren met TDI-in-CMOS. Maar daar stelt zich een probleem van compatibiliteit. Meerdere spectrale filters zouden dan bovenop een TDI-beeldsensor geplaatst worden, en volgens het TDI-mechanisme zouden de individueel gefilterde signalen voor elke rij worden opgeteld. Maar zo gaat de individuele spectrale informatie bekomen met de verschillende filters verloren, en gaat de technologie voorbij aan de oorspronkelijke bedoeling om spectrale informatie te verzamelen. Dat kan worden opgelost door verschillende TDI-secties (of arrays) te ontwerpen, elk met hun eigen uitlezing, waar de conversie van lading naar spanning plaatsvindt. Door gebruik te maken van CMOS-elektronica kan er dan een gezamenlijk uitleesblok gebruikt worden om de verschillende TDI-arrays tegen hoge snelheid uit te lezen. 

"Zo heeft imec een TDI-beeldsensor ontwikkeld met 7 banden waarop 7 spectrale filters kunnen worden geïntegreerd. Deze versie met 7 banden bevat 7 CCD-arrays met elk 4096 x 256 pixels."

Interessant aan deze beeldsensor is dat hij her-configureerbaar kan gemaakt worden: zowel het aantal actieve banden als het aantal stages per band (1 tot 256 per band) kan worden gekozen. Sommige filters laten misschien minder licht door dan andere, en dat kan dan gecompenseerd worden door de beeldsensor te her-configureren. In de chip zijn 4096 kolom-ADC’s geïntegreerd samen met 32 digitale datatransmitters die kunnen werken aan een snelheid van 1Gbps. Hierbij wordt een lijnsnelheid tot 300kHz beoogd, wat overeenkomt met 57kHz per band wanneer alle banden geactiveerd worden. De efficiëntie waarmee de lading getransfereerd wordt, gemeten per kolom, bedraagt tot meer dan 0.99995 en dit tot 300kHz. Vandaag worden de spectrale filters nog toegevoegd op een glazen afdekking, maar in de nabije toekomst wordt het ook mogelijk om de spectrale filters te processen op wafer-niveau.

multispectral TDI

(Links) Schematische voorstelling en (rechts) foto van imecs multispectrale TDI met 7 banden

Alsmaar meer toepassingen

Eén van de eerste markten die gebruik maakten van TDI-camera’s is aardobservatie vanuit de ruimte. In deze toepassing bewegen grote satellieten in lage banen om de aarde, waardoor de camera lineair beweegt ten opzichte van het aardoppervlak. TDI is voor dit soort toepassingen erg interessant omwille van de grote signaal-ruis-verhouding. CCD-gebaseerde TDI leidt tot een signaal-ruis-verhouding die toeneemt met een factor gelijk aan het aantal TDI-rijen. Door deze technologie te combineren geavanceerde CMOS-uitleeselektronica worden de complexiteit en de afmetingen van het systeem veel kleiner, waardoor de technologie ook zou kunnen gebruikt worden in kleine satellieten en zelfs drones. In aardobservatie-toepassingen is er ook een trend om spectrale en hyperspectrale camera’s te gebruiken. De combinatie van zowel ruimtelijke als spectrale informatie is nuttig voor milieumonitoring, precisielandbouw, rampdetectie en -monitoring, enz.

"Een tweede markt is industriële machine vision waarbij producten typisch lineair op een transportband bewegen. Voorbeelden zijn inspectie van flat-panel televisies, halfgeleiders, printplaten, glas enz. Voor deze toepassingen is de hoge scan-snelheid van de beeldsensor een belangrijke troef."

Ook in deze sector is er interesse in het gebruik van multispectrale TDI-camera’s, zelfs van hyperspectrale camera’s. Daarmee kunnen tegen een hoge snelheid volledige beelden genomen worden over een grote oppervlakte, afzonderlijk voor iedere belangrijke golflengte. Een typische toepassing is de inspectie van bankbiljetten. 

Een opkomend toepassingsdomein is life sciences, waarbij grote hoeveelheden cellen of weefsel aan een erg hoge snelheid moeten gescand worden. Mogelijke toepassingen zijn DNA-sequencing of cel-cytometrie waarbij de cellen bewegen in een micro-fluïdisch kanaal. De TDI CCD-in-CMOS beeldsensor kan bijv. worden gebruikt in combinatie met imecs ‘cell sorter’, een chip die cellen sorteert om circulerende tumorcellen te detecteren. De beeldsensor kan worden ingezet om de cellen, die bewegen tegen een snelheid van ongeveer 1m/s, op beeld vast te leggen, te reconstrueren en te sorteren. Een andere mogelijke toepassing is het ‘imagen’ van dunne plakjes weefsel voor diagnosestelling in pathologie. 

Besluit

Onderzoekers bij imec hebben een TDI-beeldsensor ontwikkeld en gebruikten daarbij CCD-in-CMOS-technologie. Op die manier benutten ze de ruis-loze ladingstransfer eigen aan CCD en de efficiëntie van CMOS (snelle aansturing en uitlezing). De sensoren kunnen gemaakt worden met een CMOS-compatibel proces, waardoor de fabricage eenvoudig en kostenefficiënt is. Via back-side illumination kunnen de beeldsensoren gevoeliger gemaakt worden, en met multispectrale of hyperspectrale kleurfilters kan de performantie worden verhoogd. Vandaag worden deze kleurfilters nog toegevoegd op een glazen afdekking. Binnenkort kunnen de filters ook op wafer-niveau worden gemaakt. De onderzoekers werken ook aan een groter aantal banden en kolommen, wat moet leiden tot een nog betere ruimtelijke en spectrale resolutie. 

"Imec biedt deze beeldsensoren aan via verschillende businessmodellen, gaande van ontwerp op maat tot off-the-shelf prototype TDI sensoren en evaluatiecamera’s."

De prototype TDI-sensoren zijn opgebouwd uit 4096 kolommen en 256 stages per CCD array (of band). Een versie met één CCD-array is beschikbaar, net als een versie met 7 banden waaraan 7 spectrale filters kunnen worden toegevoegd.

 

Dit project kreeg funding van het Electronic Component Systems for European Leadership Joint Undertaking onder grant agreement No 662222. Dit Joint Undertaking project ‘EXIST’ krijgt steun van het Europese Horizon 2020 onderzoeksprogramma en van België, Nederland, Griekenland en Frankrijk.

Biografie Jonathan Borremans

Jonathan Borremans behaalde zijn M.Sc. en doctoraat in Elektrotechniek aan de Vrije Universiteit Brussel, in samenwerking met imec. Hij is auteur van meer dan 80 artikels en patenten. Hij vervoegde imecs onderzoeksgroep rond draadloze communicatie, waar hij het onderzoek leidde naar CMOS herconfigureerbare ontvangers, en waar hij als circuit- en systeemarchitect en principal scientist bijdroeg tot cross-disciplinaire projecten (zoals systemen gebaseerd op MEMS-CMOS). Momenteel staat hij als program manager aan het hoofd van de groep imager design. 

 

Biografie Piet De Moor

Piet De Moor behaalde in 1995 zijn doctoraat in de Wetenschappen (Natuurkunde) aan de Katholieke Universiteit Leuven. In 1998 kwam hij bij imec werken, waar hij verschillende secties en groepen leidde in de domeinen van MEMS-verpakking, 3D integratie en pixel-ontwerp en -test. Gedurende enkele jaren was hij ook program manager imagers. Hij nam de technische coördinatie op zich van verscheidene bilaterale, Europese, ESA en nationale funded projects rond advanced imaging systems. Onlangs werd hij aangesteld tot senior business development manager imagers.

 

Deze website maakt gebruik van cookies met als enige doel het analyseren van surfgedrag, zonder enige commerciële insteek. Lees er hier meer over.

Accepteer cookies