Gerald Schut
Onderzoekers van Tencent’s Keen Security Lab zijn er in geslaagd om een Tesla Model S op autopilot – onder heel specifieke omstandigheden – de verkeerde rijbaan op te sturen door drie kleine stickers op de weg te plakken. ‘Dit type aanval is eenvoudig uit te voeren en de materialen zijn makkelijk te verkrijgen,’ schrijven ze in hun onderzoeksverslag.
De onderzoekers pasten een zogenoemde ‘adversarial example’ aanval op het rijbaandetectiesysteem van de Tesla toe. Hierbij wordt het algoritme bewust misleid. Tesla gebruikt verschillende zuiver visuele neurale netwerken voor zijn zelfrijdende modus. Die netwerken zijn met grote hoeveelheden afbeeldingen getraind om een abstractie van het concept ‘rijbaan’ te vormen. Normaliter wordt een ‘adversarial example’ aanval uitgevoerd door moedwillig misleidende informatie in de trainings datatset te introduceren.
De onderzoekers van het Keen Security Lab hebben het concept in de echte wereld toegepast door eerst toegang te verwerven tot de software van de Tesla. Zo konden ze kantelpunten bepalen: wanneer beschouwt het netwerk iets nog net wel of net niet meer als rijbaan? De Tesla is daarbij getraind onder visueel lastige weersomstandigheden (bijvoorbeeld regen, felle zon of stof) een rijbaan als zodanig te blijven herkennen. Die ‘kracht’ hebben de onderzoekers misbruikt door minieme voor de mens betekenisloze, maar voor de Tesla veelzeggende vlekjes te creëren die de auto een rijbaan in tegengestelde rijrichting op sturen. Dit was weliswaar op een afgesloten parkeerplaats waar de eigen rijbaan ophield, maar dit roept toch veiligheidsvragen op. Tesla reageert door te stellen dat er geen gevaar dreigt omdat bestuurders de autopilot altijd kunnen overrulen. Dat is geen bijster geruststellende verdediging.
Tencent’s Keen Security Lab sleegde er ook in om de regensensor van de Tesla te misleiden met een foto van regendruppels, waardoor de ruitenwissers bij droog weer aangingen. Daarnaast konden ze ook met een draadloos game console de controle over een stilstaande Tesla op autopilot overnemen. Bij een rijdende auto lukte dat niet met snelheden boven de 8 km/h.
In bovenstaande video is de misleiding van de rijbaandetectie te zien vanaf 1 minuut 8.
