In steden als San Francisco rijden al autonome voertuigen op de openbare weg. Het lijkt een kwestie van tijd of Europa, inclusief Nederland en België, zal volgen. Maar hoe zorgen we voor een veilige introductie van deze auto’s? Kingsley Adjenughwure en Gerdien Klunder van TNO praten ons bij over het cruciale proces van testen en valideren – en wat daar nog aan te verbeteren valt.
Verschillende steden in de wereld staan automated vehicles toe op de openbare weg. Een bekend voorbeeld is San Francisco in Californië met z’n Waymo- en Cruise-robottaxi’s. Deze taxi’s hebben de stad op de kaart gezet als een automated koploper. Maar ze hebben ook laten zien hoe onvoorspelbaar nieuwe technologie kan zijn. Van hele nachten lang toeteren tot ongevallen met (zwaar) letsel als gevolg: de autonome voertuigen in San Francisco zijn niet van onbesproken gedrag.
Van hele nachten lang toeteren tot ongevallen met (zwaar) letsel als gevolg: de autonome voertuigen in San Francisco zijn niet van onbesproken gedrag.
De les voor andere steden en landen die nadenken over de introductie van zelfrijdende voertuigen, is dat het proces van testen en valideren niet rigoureus genoeg kan zijn. Je wil immers voorkomen dat je op de weg een onvolwassen technologie introduceert die mensen in gevaar kan brengen.
Maar hoe pak je dat testen aan?
Bestuurdersmodellen als benchmark
De lat voor autonome voertuigen ligt hoog: het mag niet onveiliger worden op straat, dus ze moeten zich beter gedragen dan mensen. Menselijke bestuurders zijn daarmee de maatstaf of ‘benchmark’.
Het benchmarken van de voertuigen kan echter niet zomaar in de openbare omgeving plaatsvinden. In plaats daarvan werken we met simulaties. Die bieden een veilige en gecontroleerde omgeving om het autonome voertuigen in interactie met menselijke bestuurders te testen.
Simulaties bieden een veilige en gecontroleerde omgeving om het autonome voertuigen in interactie met menselijke bestuurders te testen.
Met simulaties kunnen we de autonome voertuigen bovendien aan een breed scala van rijscenario’s onderwerpen. Dat scala omvat doorsneescenario’s als rijden in files, maar ook edge cases: zeldzame en risicovolle gevallen waarin bijvoorbeeld een voetganger plotseling oversteekt op een punt waar dit niet de bedoeling is. Handig is ook dat we met simulaties nieuwe, toekomstige scenario’s kunnen genereren. Daarmee kunnen autonome voertuigen voorbereid worden op bijvoorbeeld een uitbreiding van hun Operational Design Domain.1Dit ODD beschrijft de specifieke condities waarvoor een zelfrijdend voertuig is ontworpen.
Een laatste reden voor testen en valideren in simulaties is een praktische: het is fors goedkoper en ook sneller te realiseren dan tests in de echte wereld. Werken in een simulatieomgeving versnelt dan ook de ontwikkelingscyclus en daarmee de uitrol van veilige systemen.
Bestaande modellen
Redenen te over om te werken met simulaties. Maar stel dat een bedrijf als Waymo vandaag bij de instanties in Nederland of België aanklopt om toestemming te vragen voor zijn diensten. Op welke benchmarkmodellen voor menselijke bestuurders kunnen we ons dan verlaten om de robottaxi te testen en valideren?
We hebben om te beginnen twee typen bestuurdersmodellen.2Er zijn in de simulatiewereld nog veel meer menselijke bestuurdersmodellen, maar momenteel worden alleen de twee die we in deze bijdrage bespreken, gebruikt voor het benchmarken. Het zogenaamde Competent and Careful Driver Model, CCDM, simuleert de prestaties van een ‘competente en voorzichtige menselijke bestuurder’, met dito reactietijden en perceptie en waarneming (oplettendheid). Het doel is te beoordelen welke ongevallen een mens bij bijvoorbeeld het invoegen redelijkerwijs kan voorkomen. Dat is dan meteen de standaard voor autonome voertuigen: die moeten minimaal diezelfde ongevallen kunnen afwenden.
Het Fuzzy Safety Model, FSM, maakt gebruik van fuzzy logic om botsrisico’s in te schatten en proportioneel te remmen. Op deze manier bootst het model menselijk defensief rijden na. FSM gaat ervan uit dat een ‘veilige’ bestuurder op bedreigingen anticipeert en soepel afremt om noodstops of al te abrupt remmen te voorkomen.
Naast deze twee bestuurdersmodellen is er ook het zogenaamde Responsibility-Sensitive Safety (RSS)-model. Dit is meer een (wiskundig) kader, speciaal ontworpen om de veiligheid van autonome voertuigen te garanderen. Het definieert duidelijke, geformaliseerde veiligheidsregels op basis van gezond verstand en menselijke rijprincipes, zoals het aanhouden van veilige afstanden en het respecteren van voorrang. Het model bewijst met behulp van natuurkundige regels dat een voertuig dat deze regels volgt, als ‘veilig’ kan worden beschouwd en botsingen onder specifieke omstandigheden zal vermijden. RSS biedt hiermee een gestandaardiseerde aanpak om de veiligheid van geautomatiseerde rijsystemen te evalueren en verbeteren.
Beperkingen
Deze ‘benchmarkmodellen’ zijn zonder meer nuttig. Het probleem is alleen dat het instrumentarium nog te smal is. De drie modellen zijn namelijk vooral ontworpen voor specifieke handelingen, zoals hard remmen, invoegen en uitvoegen. Andere verkeerssituaties, regulier voertuigvolggedrag bijvoorbeeld, blijven met deze modellen buiten de benchmark. Ook houden de modellen geen rekening met variatie in het gedrag van medeweggebruikers.
Ook wat kwaliteit en ‘natuurlijkheid’ betreft kan het beter. Het CCDM en FSM zijn bijvoorbeeld onvoldoende gekalibreerd aan de hand van menselijk gedrag in de echte wereld. Ze voldoen, maar of ze het menselijk gedrag 99, 95 of 75 procent nauwkeurig nabootsen is niet duidelijk.
De modellen zijn onvoldoende gekalibreerd aan de hand van menselijk gedrag in de echte wereld. Ze voldoen, maar of ze het menselijk gedrag 99, 95 of 75 procent nauwkeurig nabootsen is niet duidelijk.
Van de RSS-modellen weten we weer dat ze té conservatieve veiligheidsafstanden aanhouden: afstanden die veel groter zijn dan wat menselijke bestuurders normaal zouden aanhouden.
Gelet op het bovenstaande rest maar één conclusie: benchmarken in simulaties mag dan de juiste weg zijn voor het testen en valideren van autonome voertuigen, maar die weg is nog niet ‘af’. Extra onderzoek en extra ontwikkelinspanningen zijn nodig om de gebruikte modellen te verbeteren en uit te breiden.
Gelukkig is er onlangs interessante progressie geboekt wat de natuurlijkheid van de modellen betreft.
Overwegingen voor toekomstig tests
Eerder onderzoek naar benchmarks was meestal gericht op het ontwerpen van autonome voertuigen die extreem veilig zijn (‘voorzichtig en bekwaam’) – vandaar bijvoorbeeld de conservatieve veiligheidsafstanden. Dat klinkt als een deugd, maar omdat hun gedrag daarmee sterk verschilt van het gedrag van de meeste menselijke bestuurders, zouden de autonome voertuigen het verkeer juist verstoren. Het onderzoek verschuift daarom naar het ontwerpen van zelfrijdende voertuigen die veiliger zijn dan mensen, maar wel een vergelijkbaar rijgedrag vertonen.
Een recente studie door TNO biedt voor deze ontwikkelrichting een stevige basis. De onderzoekers introduceerden een manier om te bepalen hoe goed bestuurders zich houden aan veiligheidsdrempels zoals afstand, snelheid en volgtijd. Dat deden ze door meetdata van daadwerkelijk rijgedrag te vergelijken met een benchmark bestuurdersmodel voor simulatie met veilig rijgedrag waarin geen ongevallen voor kunnen komen. Op basis van verkeersdata van een Nederlandse snelweg konden ze zo laten zien dat bestuurders tussen de 38 en 65 procent van hun rijtijd voldoen aan de veiligheidsdrempels voor snelheid, afstand en tussenruimte. Deze nogal lage score wijst erop dat bestuurders hun reactietijd en remvermogen overschatten – of dat ze simpelweg een hoger risiconiveau aanvaarden.
Uit het onderzoek bleek echter ook dat als we autonome voertuigen met eenzelfde snelheid, afstand en tussenruimte laten rijden, de veiligheidsscores alsnog tot 90 procent toenemen. Dit komt geheel op het conto van betere techniek: autonome voertuigen kunnen sneller reageren dan wij en ze remmen ook beter (harder). Met deze inzichten kunnen we benchmarkmodellen ontwikkelen die autonome voertuigen helpen ‘menselijk’ en toch veilig laten rijden.
Conclusie
Het testen en valideren van autonome voertuigen kan het beste met behulp van simulaties en benchmarkmodellen. Uit de ervaringen tot nu toe wordt duidelijk dat één belangrijke verbeterstap is om bij het verfijnen van de voertuigen de balans te zoeken tussen veiligheid en natuurlijk (menselijk) rijgedrag. De introductie van benchmarkmodellen die menselijke rijpatronen nauwkeuriger weerspiegelen en tegelijkertijd verbeterde reactietijden en remcapaciteiten meenemen, is hiervoor een veelbelovende onderzoeksrichting. Als we het gedrag van autonome voertuigen vervolgens conform deze nieuwe benchmarkmodellen aanpassen, kunnen we mogelijk een win-win creëren: veiligheid én een natuurlijke verkeersstroom. Daarmee zouden we een paar stevige stappen dichter bij een veilige introductie van autonome voertuigen zijn.
_____
De auteurs
Dr. Kingsley Adjenughwure en Gerdien Klunder MSc. zijn respectievelijk onderzoeker Mobiliteit en consultant Intelligent Transport Systems bij TNO.
