Artificial intelligenceSmart MobilitySmart HealthSmart IndustriesGovernment funded research

Van de cloud naar de edge: als AI snel en dichtbij moet zijn

Denk aan de radars van zelfrijdende voertuigen die mensen of andere obstakels op hun pad detecteren. Die moeten in minder dan tien milliseconden kunnen beslissen. Een heen-en-weertje naar de cloud is er dan echt te veel aan.

AI wordt tegenwoordig al vrij succesvol gebruikt om gezichten en verkeersborden te herkennen, om het weer te voorspellen, of om ziektepatronen op te sporen en de beste behandeling voor te stellen. Hiervoor zijn uiterst krachtige, energieverslindende processoren nodig, die zich in de cloud bevinden. Nochtans is het voor veel toepassingen niet mogelijk om de sensordata eerst naar de cloud te brengen om ze daar te verwerken. De oplossing? AI naar de sensoren brengen en zo het Internet of Things (IoT) écht slim maken. Om dit mogelijk te maken, ontwikkelen imec-onderzoekers – zoals Diederik Verkest – speciale hardware voor AI die geen honderden watts, maar wel één watt tot enkele milliwatts verbruikt. AI op maat van sensoren dus.

De hardwareplatformen die tot nu toe voor machinaal leren (machine learning) worden ingezet, maken meestal gebruik van geavanceerde GPU’s die tot 200 watt verbruiken. Sommige systemen doen een beroep op FPGA’s (field programmable gate arrays) die een tikkeltje efficiënter met energie omspringen, maar ook iets minder presteren. En de kampioenen van de prestatie-energieverhouding zijn een aantal ASICs (application specific integrated circuits) die speciaal voor machinaal leren werden gebouwd en die toch ook nog 50 tot 100 watt slikken. 

Maar het is volstrekt onhaalbaar om een chip die 100 watt verbruikt in mobiele telefoons in te bouwen en al helemaal niet in IoT-sensoren, die veel langer moeten toekomen met veel minder energie.

Toch zullen in de toekomst de meeste data net in de IoT-sensoren worden verzameld: wearables met gezondheidssensoren, radars in voertuigen, sensoren in gebouwen… Door technische of energiebeperkingen is het meestal onmogelijk om al die data naar de cloud te streamen en daar centraal aan AI-processing te doen. Er zijn bovendien ook toepassingen denkbaar die ogenblikkelijk patronen moeten kunnen herkennen. Denk aan de radars van zelfrijdende voertuigen die mensen of andere obstakels op hun pad detecteren. Die moeten in minder dan tien milliseconden kunnen beslissen. Een heen-en-weertje naar de cloud is er dan echt te veel aan.

De behoefte om machinaal leren naar de rand van het IoT te brengen is dus groot.

De leerfase hoeft daarbij niet inbegrepen te zijn. Denk aan het ontgrendelen van je telefoon door gezichtsherkenning. De parameters kunnen gewoon in de cloud worden aangeleerd wanneer je online bent. Maar de inferentiefase, met slimme patroonherkenning, gebeurt in je telefoon zelf en kan ook offline.

Hoeveel energie is er in de egde ter beschikking? In voertuigen moeten chips die maximaal 10 tot 30 watt verbruiken haalbaar zijn. 

Maar voor mobiele toepassingen lijkt 1 watt de bovengrens.

En bijvoorbeeld bij sensoren die op of in het lichaam worden gedragen, is er eerder sprake van minder dan 10 milliwatt of soms zelfs maar 1 milliwatt.

 

Meer weten?

Over Diederik Verkest

Diederik Verkest is een Distinguished Member of Technical Staff verantwoordelijk voor imec’s INSITE- en machinaal leren-programma’s. Nadat hij zijn doctoraat in de micro-elektronica had behaald aan de KU Leuven (België) trad Diederik in 1994 in dienst bij imec, waar hij onder andere verantwoordelijk is voor hardware/software co-design. In 2009 startte hij het imec INSITE-programma dat focust op de co-optimalisatie van ontwerp- en procestechnologie voor geavanceerde technologienodes. Het programma biedt de fabless design-community inzicht in geavanceerde procestechnologieën en verschaft chipmakers en -ontwerpers een uitwisselingsplatform voor technologieën van de volgende generatie.

Deze website maakt gebruik van cookies met als enige doel het analyseren van surfgedrag, zonder enige commerciële insteek. Lees er hier meer over. Lees ook ons privacy statement. Sommige inhoud (video's, iframes, formulieren,...) op deze website zal pas zichtbaar zijn na het accepteren van de cookies.

Accepteer cookies