Kunstmatige intelligentie heeft twee grote nadelen: het vreet energie en vergt zoveel computerkracht, die vaak alleen in een datacentrum of de cloud beschikbaar is. Neuromorphic computing — afgekeken van hoe ons zenuwstelsel werkt — kan data sneller en tot wel 1000 keer zuiniger verwerken zodat dit ook lokaal kan plaatsvinden. Zo lukt het opeens om een vederlichte, insectachtige drone zelfstandig door een plantenkas te laten navigeren.
Kleine autonome drones, nauwelijks zwaarder dan honderd gram en aangestuurd met neuromorphic computing, kunnen een revolutie betekenen voor gewasmonitoring in kassen. Ze kunnen ook een rol spelen in milieuprojecten door bijvoorbeeld helemaal zelfstandig afval op te ruimen in buitenruimtes. Het zijn maar twee voorbeelden uit een visie waar Guido de Croon als hoogleraar Bio-inspired Micro Air Vehicles aan de TU Delft aan werkt.
Zo ver is het nog niet, hoewel zijn onderzoeksgroep al werkende prototypes heeft. In autonoom vliegende microdrones komen alle uitdagingen voor zelfstandig werkende robots samen. De technologie moet ultralicht worden uitgevoerd, extreem energiezuinig zijn en zelfstandig kunnen bewegen in drie dimensies. “Wat nu wordt ontwikkeld voor drones, kan later ook worden toegepast op andere autonome systemen, zoals lopende en rijdende robots.” Het ultieme doel is om robots te ontwikkelen die volledig autonoom opereren, zonder afhankelijk te zijn van externe infrastructuur zoals GPS of WiFi. Dat vergt bijvoorbeeld geavanceerde beeldverwerking voor positiebepaling.
Wat nu wordt ontwikkeld voor drones, kan later ook worden toegepast op andere autonome systemen.”
Afgekeken van het brein
Aan de TU Delft is de afgelopen jaren al veel ervaring opgedaan met de ontwikkeling van drones ter grootte van een insect. Tot voor kort werden die echter bestuurd door een operator. Het zelfstandig vliegen is een fenomeen dat De Croon heeft toegevoegd, onder meer door neuromorphic computing te introduceren. Dat is een relatief nieuwe vorm van dataverwerking die sterk afwijkt van de zogeheten Von Neumann-architectuur. Dit is de basis van de computers die wij dagelijks gebruiken. Traditionele computers werken met een continu, klokgestuurd proces van ophalen, decoderen en uitvoeren van data. Neuromorfische chips daarentegen werken in pieken wanneer een bepaalde drempelwaarde wordt overschreden. Ze worden ook wel omschreven als spiking neural networks. Dit neuromorfische proces lijkt sterk op hoe neuronen in een biologisch brein werken. Een groot voordeel is dat deze neurale netwerken veel minder energie verbruiken. Sander Bohté, die met zijn groep aan het Centrum Wiskunde & Informatica (CWI) en de Universiteit van Amsterdam onderzoek doet aan spiking neural networks, heeft laten zien dat de verwerking van bepaalde algoritmen tot wel een factor 1000 efficiënter kan in een neuromorfische chip in vergelijking met een traditionele chip. Bovendien is de vertraging (latency) veel kleiner, waardoor real-time verwerking mogelijk wordt. Ook leent de aanpak zich heel goed om kunstmatige intelligentie (AI)-taken uit te voeren, doordat er gebruik gemaakt wordt van massaal parallelle gegevensverwerking.
Praten met een speelgoedhond
Neuromorfische verwerking is daarom niet alleen geschikt voor toepassingen waarbij behoefte is aan laag energieverbruik en snelle verwerking, maar ook voor systemen waarbij het belangrijk is dat de verwerking realtime (lage latency) en lokaal plaatsvindt. Bohté wijst bijvoorbeeld op privacybescherming. “Je hoeft dan voor een interactie met een slimme speelgoedhond niet meer alle spraak naar de cloud te sturen. En omdat de verwerking snel is, kun je bijvoorbeeld de achtergrondruis in een gehoorapparaat wegfilteren. Dat filteren moet binnen 25 milliseconden gebeuren, anders ervaart de gebruiker een echo. Lage latency is bij zo’n toepassing nog belangrijker dan een laag stroomverbruik.”
De laatste vijf jaar zijn enorme stappen gemaakt bij het marktrijp maken van neuromorfische technologie. Het Chinees-Zwitserse SynSense maakt bijvoorbeeld al een chip waarmee partners relatief eenvoudig beeldanalyse-apparatuur kunnen maken, zoals een videodeurbel die alleen beelden verzamelt en doorgeeft als er een mens voor de lens verschijnt. Ook Intel werkt aan de ontwikkeling van neuromorphische chips en heeft al de tweede generatie van de Loihi-chip beschikbaar. Het nadeel van de chips van beide bedrijven is dat er ontwerpkeuzes zijn gemaakt waardoor ze niet universeel toepasbaar zijn.
Je hoeft dan voor een interactie met een slimme speelgoedhond niet meer alle spraak naar de cloud te sturen.”
Het Belgische chiponderzoekscentrum imec werkt juist aan neuromorfische hardware die zo flexibel mogelijk is, zodat gebruikers ze maximaal zelf kunnen programmeren, vertellen Kanishkan Vadivel en Yao-Hong Liu. Zij zijn respectievelijk systeemarchitect en wetenschappelijk directeur bij imec. “Wij proberen de beste balans te vinden tussen energieverbruik en schaalbaarheid, wat een uitdaging is bij neuromorphische chips.”
Voordat de neuromorfische aanpak echt op grote schaal kan worden toegepast, zijn nog wel flinke verbeteringen noodzakelijk. Zo wijst De Croon erop dat de Loihi chip die hij gebruikt voor de robotinsecten, weliswaar honderd keer zo snel is als bestaande technologie, maar niet spectaculair zuiniger. “Dat komt vooral doordat de chip nogal wat ‘idle’-power gebruikt. Als je de chip aanzet, verbruikt deze al één watt, net als een traditionele chip. Ga je een traditionele chip gebruiken, komt daar nog twee watt verbruik bij. Ons neuromorfisch neuraal netwerk verbruikt echter maar zeven milliwatt. Je zou dus kunnen zeggen dat het netwerk meer dan honderd keer zuiniger is, maar in praktijk gebruik je maar drie keer minder stroom dan in een traditionele aanpak. Die ‘idle’-power moet dus ook verder omlaag.”
Dat onderwerp staat ook bij imec hoog op de prioriteitenlijst. Vadivel: “Wanneer je een chip aanzet, moet je de data en een aantal initiële parameters laden uit een extern geheugen. Het transport van data kost altijd veel energie.” Vadivel werkt aan verschillende oplossingen zoals gedistribueerd niet-vluchtig (non-volatile) geheugen waardoor het datatransport tot een minimum wordt beperkt. Niet-vluchtig geheugen kennen veel mensen van de USB-sticks die data vasthouden, ook als de stroom wegvalt. De aanpak van imec lijkt op in-memory computing, waarbij het geheugen en de verwerking sterk geïntegreerd zijn. Maar het is niet de gedroomde oplossing, zegt Vadivel er meteen bij. Niet-vluchtig geheugen heeft namelijk weer zijn eigen beperkingen. Zo ‘slijt’ het bijvoorbeeld bij veel schrijfbewegingen waardoor het andere waarden gaat teruggeven dan je verwacht. Op het gebied van de hardware is er dus veel werk te verrichten. Vadivel: “We beschikken hier bij imec over een breed scala aan technologieën en daar experimenteren we mee om het opstarten te verbeteren.”
Catastrofaal vergeten
Een andere grote uitdaging is het trainen van AI-modellen direct op de chips zonder afhankelijk te zijn van cloudtoepassingen, vertelt Bohté. “Deze neuromorfische modellen vergeten nu oude kennis wanneer ze bijleren met behulp van nieuwe data. Dat fenomeen heet ‘catastrophic forgetting’. Het treedt ook op bij de bekende AI-modellen, maar doordat die zo gigantisch groot zijn en er tijdens het bijleren maar een kleine hoeveelheid data bijkomt, heeft dat minder effect.”
Beter geheugen en efficiëntere chips zijn dus nodig om de voordelen van neuromorfische modellen, maximaal te benutten. In Nederland werken diverse onderzoeksgroepen aan het oplossen van de tekortkomingen. Afgezien van het CWI, de Universiteit van Amsterdam en de TU Delft, werkt bijvoorbeeld de Cognigron-groep van de Universiteit Groningen aan nieuwe halfgeleidermaterialen om bijvoorbeeld betere in-memory-verwerking mogelijk te maken. Het Center for Brain-Inspired NanoSystems (BRAINS) en het MESA+ Institute for Nanotechnology, beiden van de Universiteit Twente kijken of de werking van signaaloverdracht van biologische synapsen op moleculaire schaal is na te bootsen. Aan de TU Eindhoven werkt de groep van Yoeri van de Burgt en Marco Fattori aan het on-chip trainen van neuromorfische chips en de groep van Johan Mentink aan de Radboud Universiteit werkt aan nieuwe hardware- en softwareontwerpen die worden afgeleid uit hersenonderzoek.
De ontwikkelingen zijn veelbelovend en hebben al geleid tot diverse publicaties in toonaangevende wetenschappelijke tijdschriften, zoals Nature. Vervolgens moet ook de chipindustrie zich voorbereiden zodat deze de hardware op grote schaal kan produceren. “De ontwikkeling van een krachtige compiler is essentieel voor de adoptie in de industrie”, zegt Vadivel (imec). De compiler moet de neuromorfische modellen omzetten in voor de hardware bruikbare machine-instructies. “Iedereen die gebruik maakt van de nu beschikbare chips bouwt eigen gereedschappen om ze te programmeren. Dat is tijdrovend en kostbaar. Dus wij werken ook aan een flexibele compiler, die in staat is mee te bewegen met veranderingen in de hardware en de algoritmen. Dat is een erg belangrijke stap om het maken van toepassingen voor neuromorfische chips te vereenvoudigen.”
Daarnaast moet ook het hele ecosysteem van toeleveranciers en producenten van toepassingen nog beter bewust worden van deze nieuwe manier van dataverwerking, zegt Yao-Hong Liu (imec). “Wij zijn een onderzoeksinstituut maar zijn gericht op het productierijp maken van chiptechnologie. Daarom is samenwerken met veel industriële partners belangrijk om de hele keten de kracht van neuromorphic computing te laten zien.”
Samenwerken met veel industriële partners is belangrijk om de hele keten de kracht van neuromorphic computing te laten zien.”
Drone uit de box
Nederland heeft een vooraanstaande rol bij deze ontwikkeling in Europa, maar China loopt wereldwijd voorop in het onderzoek aan de technologie. De huidige geopolitieke ontwikkelingen maken het samenwerken met Chinese partijen steeds lastiger door overheidsrestricties op het delen van kennis.
Ondertussen heeft De Croon met zijn neuromorfische drones wereldwijd een toonaangevende positie bereikt. Met de Vici-onderzoeksbeurs van NWO die hij vorig jaar ontving, werkt hij verder aan de integratie van input van steeds meer sensoren die bijdragen aan de onafhankelijkheid van de drone. Samen met de startup Mapture, TNO en Royal Brinkman — technologieleverancier voor de tuinbouwsector — is het innovatieproject ‘Drone-in-the-box’ uitgevoerd. De drone kan zelfstandig opstijgen en op veilige hoogte boven de planten en mensen in de kas, foto’s met hoge resolutie maken en zijn weg weer terugvinden naar het oplaadstation. In dat project werd er nog gebruik gemaakt van radiobakens. Ondertussen is de onderzoeksgroep van de Croon erin geslaagd om een kleine drone van ongeveer 50 gram zijn weg terug te laten vinden door de plaatjes die hij op de terugvlucht maakt te vergelijken met de plaatjes op de heenweg. “We kunnen dat doen met klassieke Von Neumann-chips, waarbij commando’s één voor één worden uitgevoerd. Dat gaat langzaam maar kost ook weinig energie. Echter als je kijkt hoe bijen dat doen, heb je veel meer real-time processing nodig. Bijen kunnen vliegensvlug echt complexe patronen herkennen. Als je bijvoorbeeld wilt voorkomen dat een drone tegen een draad aanvliegt, dan heb je daar echt neuromorphic neural networks voor nodig.”
