Grenzen aan de voorspelbaarheid van verkeer

Verkeer is het resultaat van collectief menselijk gedrag en complexe systeemdynamica. We snappen op zich wel hoe de mechanismen in elkaar steken, maar dit wil zeker niet zeggen dat we het verkeer goed kunnen voorspellen. Dat is vervelend, maar met geavanceerde machine learning-technieken kunnen we in ieder geval inschatten hoe groot de (on)zekerheid is, betoogt hoogleraar Hans van Lint van TU Delft. Hij leidt het NWO-onderzoeksproject MiRRORS.

Hoe voorspelbaar is wegverkeer? Deze vraag wordt maar weinig gesteld. Het is de vraag áchter de vraag die je wel geregeld hoort, namelijk hoe goed model zus-en-zo het verkeer voorspelt. Een duidelijk antwoord op die modelvraag krijg je niet, hooguit iets als ‘beter dan andere methodes.’ Dat het niet veel concreter wordt, is omdat een model moeilijk op waarde te schatten is als we die achterliggende vraag negeren.

Natuurlijk, in congestievrije netwerken zal een model nauwkeurig de exacte reistijden kunnen voorspellen – daar heb je eigenlijk niet eens een model voor nodig. Op een recht stuk weg zonder op- en afritten is de verkeersafwikkeling goed te berekenen, mits we ook de verkeersvraag goed genoeg kunnen voorspellen en de voertuigen rijden alsof ze op de autopilot staan. En verder is het verloop van de verkeersvraag over een weekdag redelijk te voorzien: dat heeft de vorm van een kameel. Maar buiten dit soort afgebakende situaties wordt het snel minder. Reistijden voorspellen op zwaarbelaste netwerken is lastig. De precieze instroom op een moment X en locatie Y voorzien, is nauwelijks te doen. En dynamische herkomst-bestemmingsmatrices zijn heel moeilijk te reconstrueren en voorspellen, omdat zelfs in kleine netwerken het probleem vaak onbepaald is. Kortom, hoe goed een model het doet, hangt af van de gekozen meetlat en systeemgrenzen – en bovenal van die eerste vraag.

Genuanceerd
Het antwoord op die ‘vraag achter de vraag’ is genuanceerd, want afhankelijk van het ruimtelijk schaalniveau (segmenten, corridors, netwerken), de tijdshorizon (komend uur, volgende week, over 20 jaar), de ‘observabiliteit’ (meetbaarheid en afleidbaarheid), en de context en toepassing (extrapolatie, ‘wat als’-voorspelling, optimalisatie).

Die nuances zijn belangrijk. Is er bijvoorbeeld ruimte om kortetermijnvoorspelmodellen van snelheden in netwerken te verbeteren? De literatuur lijkt dat te suggereren: het aantal artikelen in toptijdschriften met nieuwe voorspelalgoritmes, vaak op basis van kunstmatige intelligentie (AI) en machine learning, neemt sterk toe. Maar de verschillen in performance zijn klein en de casus meestal slecht vergelijkbaar, omdat bijvoorbeeld de datasets of de beschouwde netwerken te verschillend zijn. Is het dan beter om energie te steken in het verzamelen van meer en meer gedetailleerde gegevens? Veel publieke en private organisaties kiezen daarvoor vanuit de gedachte dat ook planningsmodellen daarmee beter kunnen worden gevalideerd en mobiliteitsbeleid dus beter wordt. Maar is dat echt zo?

De resultaten van het onderzoeksproject MiRRORS¹MiRRORS staat voor Multi-scale integrated traffic observatory for large road networks. Het is een NWO-project getrokken door TU Delft, met support van NDW, CGI, Royal HaskoningDHV en Mezuro. In het project hebben drie promovendi en twee postdocs nieuwe methodes ontwikkeld voor het schatten en voorspellen van de verkeersvraag en de verkeersafwikkeling op verschillende schaalniveaus, gebruikmakend van kunstmatige intelligentie en verkeerssimulatie. De data komen van NDW, DiTTLAB en Mezuro. wijzen naar een derde marsroute: laten we vooral veel verschillende data verzamelen en investeren in datafusie en rekenen met onzekerheid. Daar komen we in de conclusies op terug.

Onderzoeksproject MiRRORS wijst uit: laten we vooral veel verschillende data verzamelen en investeren in datafusie en rekenen met onzekerheid

In ieder geval geldt: hoe verder in de toekomst, hoe gecompliceerder het netwerk en hoe meer (onbekende) factoren, hoe groter de minimale onzekerheid rond voorspellingen is. Maar hoe bepaal je die ondergrens? Binnen MiRRORS heeft promovendus Guopeng Li zich met dat punt beziggehouden.

Nauwkeuriger wordt het niet
De onzekerheid in voorspellingen van verkeerskundige grootheden is grofweg een optelsom van twee zaken: modelonzekerheid en informatieonzekerheid, ook wel epistemische en aleatorische onzekerheid genoemd.

Om met de modelonzekerheid te beginnen: een wiskundig model maakt áltijd fouten omdat het de werkelijkheid versimpelt. Dat is heel nuttig omdat het zo hoofd- en bijzaken (signaal en ruis) van elkaar scheidt voor een specifiek doel, zoals ‘snelheid voorspellen’. Een complex model kan de werkelijkheid in meer detail beschrijven dan een eenvoudig model, maar complexere modellen hebben wel veel meer data nodig voor kalibratie en validatie – de vloek van dimensionaliteit – en kunnen er ook op veel meer manieren naast zitten. Modelonzekerheid zou in theorie tot nul kunnen worden gereduceerd, maar wordt om voor de hand liggende redenen nooit nul. Het nut van een model is immers abstractie. De prijs die we betalen is onzekerheid, bij voorkeur in de vorm van een keurige en smalle normaalverdeling rond nul (geen systematische fouten).

Informatieonzekerheid gaat over wat het model niet kán voorspellen, omdat de informatie daarvoor ontbreekt in de beschikbare data en de gekozen modelabstractie. Informatieonzekerheid is niet terug te brengen tot nul, ook al zouden we dat graag willen, en is daarmee een grens voor hoe nauwkeurig je kunt voorspellen. Het is bijvoorbeeld onmogelijk om precies te voorspellen welke invoegactie straks gaat leiden tot een verstoring die uitgroeit tot een filegolf, en ook onmogelijk te voorzien hoeveel voertuigen er op een bepaalde locatie en tijd gaan invoegen. De dynamica van verkeerstromen in zwaarbelaste netwerken heeft zelfs chaotische kenmerken, waarbij wat er gebeurt (wel of geen filegolf?) sterk afhangt van toevallige begin- en randcondities, die ook beïnvloed worden door verkeersregelingen, andere technologie, het weer en incidenten.

Informatieonzekerheid is niet terug te brengen tot nul en is daarmee een grens voor hoe nauwkeurig je kunt voorspellen

Guopeng Li heeft nieuwe uncertainty quantification-methodes bedacht om die onzekerheidscomponenten uit elkaar te rafelen en te schatten uit data met behulp van informatietheorie, causale netwerken en zogenaamde deep ensembles. Die methodes hebben we op verschillende voorspelproblemen toegepast, zoals segmentsnelheden en totale drukte in grote snelwegnetwerken en individuele voertuigtrajectoriën bij kruispunten.

Een belangrijke conclusie uit Li’s werk is dat de informatieonzekerheid in veel gevallen een orde groter is dan de modelonzekerheid. Dat betekent vanzelf dat als we beter willen voorspellen, we ons het beste kunnen richten op het verzamelen van andere (= verschillende) data en informatie, zoals routekeuzepatronen of herkomsten-bestemmingen. Daar is meer winst mee te halen dan met het verzamelen van meer van dezelfde data en/of het maar blijven verbeteren van bestaande voorspelmodellen op basis van die data.

Tegelijkertijd moeten we ook niet al te optimistisch zijn over de voorspelbaarheid van de verkeersvraag en de distributie daarvan. Er zijn namelijk heel veel factoren die de pret bederven. Dit weten we weer van het werk van promovenda Zahra Eftekhar en dr. Panchamy Krishnakumari.

Op zoek naar de naald in de hooiberg
Stel je een gebied voor met drie zones die zowel herkomst als bestemming zijn. Stel dat er tussen elk van die zes paren vijf routes worden gebruikt en dat we worden gevraagd om per kwartier te bepalen hoe groot die routestromen zijn. In dit mini-netwerkje zoeken we dan per spits van vier uur al naar 480 (6 x 5 x 4 x 4) onbekende variabelen! Een typisch netwerk telt duizenden zones met veel meer dan vijf route-opties. Het resultaat is een schattingsprobleem met miljoenen onbekende routestromen, waarvan we onvoldoende onafhankelijke informatie hebben. Het probleem is daarmee onoplosbaar, want onbepaald. Deze onbepaaldheid wordt nog groter als er congestie optreedt: dan meet je met een lus immers niet meer de verkeersvraag, maar de capaciteit.

Hoe hiermee om te gaan? Dat kan door (a) slimme aannames doen, (b) kennis, data en algoritmes te combineren en (c) het probleem te verkleinen zodat het wel oplosbaar wordt. Binnen MiRRORS hebben we aan alle drie gewerkt. Krishnakumari heeft een krachtige nieuwe herkomst-bestemmingsschattingsmethode ontwikkeld waarmee we het aantal te schatten variabelen reduceren met wel 95 procent. Bovendien blijkt het mogelijk om de methode te generaliseren tot een datagedreven zwaartekrachtmodel, waarin simultaan herkomst-bestemmingsstromen en (kortste) routes worden geschat, op basis van gemeten reistijden en schattingen van tripproducties per zone.

We hebben een AI-methode ontwikkeld waarmee we de tripproducties van een compleet netwerk kunnen schatten en voorspellen

Eftekhar heeft een AI-methode ontwikkeld waarmee de tripproducties van een compleet netwerk kunnen worden geschat en voorspeld. Niet alleen is haar aanpak veel minder complex dan een aanpak met een separaat model voor elke zone, haar aanpak is ook nauwkeuriger en betrouwbaarder. Eftekhar heeft ook onderzocht hoe goed dynamische tripproductie patronen met machine learning zijn te voorspellen uit ruimtegebruik. Het blijkt ontzettend veel uit te maken hoe de ruimte is opgeknipt in zones. Eenzelfde conclusie volgt uit haar analyse naar fouten die ontstaan in herkomst-bestemmingsschattingen uit GSM-data: de grootte van polling-intervallen en de ruimtelijke spreiding van zendmasten hebben een zeer grote invloed op die fouten.

Wat levert een onsje meer nauwkeurigheid op?
Hoe goed je voorspelling van het verkeer en de verkeersvraag moet zijn, hangt altijd af van de toepassing: waar heb je de voorspelling voor nodig?

Willen we de prestaties van iVRI’s verbeteren, dan moeten we ons richten op het beter voorspellen van de afrijcapaciteit en turnfracties, en op het inwinnen van betrouwbare informatie van individuele voertuigen

Muriel Verkaik-Poelman heeft onderzocht wat we aan nauwkeurigheid en betrouwbaarheid nodig hebben in relatie tot intelligente verkeersregelinstallaties, iVRI’s. Haar resultaten laten zien dat voorspellingen de prestaties van iVRI’s verbeteren, zelfs als ze fouten bevatten. Er zijn wel verschillen: sommige fouten hebben grote consequenties, zeker als we naar netwerken kijken. Zo zijn de prestaties het gevoeligst voor fouten in voorspellingen van afrijcapaciteit en turnfracties. Dat zijn in de praktijk heel lastige grootheden om te voorspellen door gebrek aan informatie van individuele voertuigen en door platooning: een paar trage reacties zijn voldoende om de afrijcapaciteit te halveren. Maar met de inzichten van Verkaik-Poelman is wel duidelijk waar we ons het best op kunnen richten als we de prestaties van iVRI’s willen verbeteren, namelijk op het beter voorspellen van die afrijcapaciteit en turnfracties, en op het inwinnen van betrouwbare informatie van individuele voertuigen.

Verder blijkt uit haar onderzoek hoe belangrijk het is dat regelingen rekening gaan houden met mogelijke fouten in voorspellingen. Regelingen die snel fouten zien en deze ook corrigeren, zijn cruciaal. Dat kan bijvoorbeeld met feedbackregelaars, bij voorkeur zonder opgelegde cycli. De inherente onzekerheid van voorspellingen moet ook expliciet worden meegenomen in het ontwerp van de regelingen. Hier is Verkaik-Poelman in haar onderzoek nog volop mee bezig.

Conclusies
Het nauwkeurig voorspellen van verkeer is belangrijk. Grip krijgen op hoe nauwkeurig het in principe kan worden, is net zo belangrijk. Voor verkeersplanning betekent dit dat we moeten nadenken over schaalniveau. Een dynamische herkomst-bestemmingsmatrix met 2500 zones is niet voorspelbaar, en zelfs als dat wel zo is, dan is de informatieonzekerheid in de resulterende verkeerscondities zo groot dat het concept van een ‘typische’ werkdag betekenisloos wordt. Een enorm brede en scheve distributie van mogelijke verkeerscondities is wél typisch en daar zouden we mee moeten leren rekenen.

Voor netwerkmanagement geldt hetzelfde: we moeten en kunnen zoeken naar principes en methodes die onzekerheid expliciet verdisconteren, met bijvoorbeeld feedbackmechanismen.

Tegelijkertijd hebben de mooie antwoorden die we met MiRRORS hebben gevonden, ook weer tot minstens zo veel nieuwe vragen geleid. We kunnen op zoek naar grenzen van voorspelbaarheid op alle denkbare schaalniveaus en voor alle denkbare modaliteiten. Maar wat betekent dat voor hoe we verkeer en vervoer monitoren? Wat betekent het voor modelleren en simuleren? En welke consequenties zijn er voor netwerkmanagement en mobiliteit in de brede zin? Maar ook dat is een mooi resultaat: nadenken over voorspelbaarheid en manieren vinden om die te meten, leidt tot nieuwe onderzoeksthema’s – thema’s waarmee we het werkveld weer echt verder kunnen brengen.

De auteurs
Prof. dr. ir. Hans van Lint is hoogleraar Traffic Simulation & Computing op de TU Delft. Aan MiRRORS werkten verder de volgende onderzoekers mee: Guopeng Li, Zahra Eftekhar, Muriel Verkaik-Poelman, Panchamy Krishnakumari, Alexander Verbraeck, Ehab El-Khannak, Victor Knoop, Adam Pel en Andreas Hegyi.

_____

Geraadpleegde bronnen

• van Lint, J. W. C., van Zuylen, H. J. & Tu, H. Travel time unreliability on freeways: Why measures based on variance tell only half the story. Transportation Research Part A: Policy and Practice 42, 258-277 (2008).
• Krishnakumari, P., van Lint, H., Djukic, T. & Cats, O. A data driven method for OD matrix estimation. Transportation Research Part C: Emerging Technologies 113, 38-56 (2020).
• Li, G., LI, Z., Knoop, V. & van Lint, H. UQnet: Quantifying Uncertainty in Trajectory Prediction by a Non-Parametric and Generalizable Approach (2023, Under review).
• Li, G., Knoop, V. L. & van Lint, H. Estimate the limit of predictability in short-term traffic forecasting: An entropy-based approach. Transportation Research Part C: Emerging Technologies 138 (2022).
• Li, G., Knoop, V. L. & van Lint, H. Multistep traffic forecasting by dynamic graph convolution: Interpretations of real-time spatial correlations. Transportation Research Part C: Emerging Technologies 128 (2021).
• Laval, J. A. Traffic Flow as a Simple Fluid: Towards a Scaling Theory of Urban Congestion. Accepted for Transportation Research Record (2023).
• Nagel & Paczuski. Emergent traffic jams. Physical review. E, Statistical physics, plasmas, fluids, and related interdisciplinary topics 51 4, 2909-2918 (1995).
• Knoop, V. L., van Lint, H. & Hoogendoorn, S. P. Traffic dynamics: Its impact on the Macroscopic Fundamental Diagram. Physica A: Statistical Mechanics and Its Applications 438, 236-250 (2015).
• Lint, H. v., Cao, Y., Krishnakumaria, P. & Bliemer, M. Data driven origin-destination matrix estimation on large networks — A joint origin-destination-path-choice formulation (2023, Submitted to ISTTT 2024).
• Eftekhar, Z., Behrouzi, S., Krishnakumari, P. & Lint, H. v. The Effects of Considering the Spatial Adjacency of Mobility Zones on Predicting the Trip Production: an Exploratory Study in the Netherlands Presented at TRB 2023, Under review for journal (2023).
• Eftekhar, Z., Pel, A. & Lint, H. v. A Cluster Analysis of Temporal Patterns of Travel Production in the Netherlands: Dominant within-day and day-to-day patterns and their association with Urbanization Levels. Under review (2023).
• Eftekhar, Z., Pel, A. & Lint, H. v. The Effects of PLU Polling Interval on the Reconstructed OD Matrix: A Dutch Case Study Using a Data-Driven Method. Accepted for the Transportation Research Record (2023).
• Poelman, M. C., Hegyi, A., Verbraeck, A. & van Lint, H. Sensitivity Analysis to Define Guidelines for Predictive Control Design. Transportation Research Record Vol. 2674 385-398 (2020).
• Poelman, M. C., Hegyi, A., Verbraeck, A. & van Lint, H Structure-free model-based predictive signal control: A sensitivity analysis on a corridor with spillback. Under review (2023).