Nederland investeert fors in slimme mobiliteitsoplossingen. Er zijn de afgelopen paar jaar meer dan vijftig ITS-proefprojecten opgestart, waarvan er zo’n tien Connected ITS betreffen. Deze laatste categorie wordt gezien als the next step in het vakgebied – en zowel overheid als markt investeren dan ook juist hierin. Maar waar staan we eigenlijk met C-ITS? Wat hebben we tot nu toe van de pilots geleerd? Wat weten we nog niet? En hoe zorgen we ervoor dat we dat zo snel mogelijk wél weten?
In 2013 stippelden overheid en bedrijfsleven een ‘transitieroute’ uit om verkeersmanagement en verkeersinformatie naar een hoger plan te brengen. Met deze Routekaart Beter Geïnformeerd op Weg kwam de focus nadrukkelijk op de ontwikkeling van intelligente transportsystemen, ITS, en dan met name op de connected variant daarvan, C-ITS. Hiermee doelen we op gepersonaliseerde real-time diensten waarbij de weggebruiker via bijvoorbeeld zijn smartphone ‘verbonden’ is met de systemen van een serviceprovider of zelfs met wegkantsystemen en andere voertuigen. Dit maakt innovatieve diensten mogelijk, variërend van slimme navigatie tot gepersonaliseerde snelheidsadviezen. [1]
Mede dankzij de Routekaart is het vakgebied inderdaad flink in beweging gekomen: in een paar jaar tijd is de ene na de andere ITS-pilot gelanceerd. De site itsoverzicht.connectingmobility.nl biedt wat dit betreft een interessant overzicht. Dankzij de input van ruim 100 organisaties weten we dat er inmiddels al meer dan vijftig ITS-projecten zijn ontplooid. Als we specifiek naar C-ITS kijken, komen we op een tiental projecten, waarvan er een aantal al zijn afgerond en een aantal nog lopen. De regio’s Noord-Brabant en Noord-Holland springen er daarbij uit: projecten als Brabant In-car, Spookfiles A58, Compass4D en Praktijkproef Amsterdam zetten de C-ITS-toon voor de rest van het land. Ook regio Drenthe scoort dankzij Sensor City relatief goed.
De nadruk van de C-ITS-projecten ligt op het hoofdwegennet, maar een aantal diensten neemt het onderliggende en het stedelijke wegennet wel mee.
Inhoudelijk gezien betreffen de projecten vooral reisinformatie. Meestal gaat het om de ontwikkeling van slimme mobiele applicaties. De spelers in dit specifieke werkveld zijn grote namen als TomTom en Waze, maar er doet ook een groep relatief kleine spelers mee. Die weten zich met vernieuwende oplossingen, waarbij ze bijvoorbeeld reisinformatie combineren met snelheids- of rijstrookadviezen, goed staande te houden.
Behalve reisinformatiediensten lopen er pilots op het gebied van verkeersveiligheid en milieu (zoals Compass4D, Brabant In-car II en IkBespaar), verkeersregelingen (Freilot) en de integratie van verkeersmanagement (Praktijkproef Amsterdam).
Evaluaties
Dat veel (zo niet alle) C-ITS-projecten in Nederland mede mogelijk worden gemaakt met publiek geld, heeft als groot voordeel dat ze vaak uitvoerig worden geëvalueerd. Voor het samenstellen van dit artikel zijn we in een aantal van die evaluaties gedoken. De studies leren ons wat we al weten over de C-ITS-toepassingen maar ook wat we nog niet weten. In het onderstaande gaan we op hierop in, gebruik makend van de kennis vergaard in Brabant In-car III, Praktijkproef Amsterdam In-car, Smart in Twente en Spookfiles A58. We bespreken hoe we toekomstige evaluatiestudies zo kunnen opzetten, dat er meer kennis beschikbaar komt en we dus sneller stappen vooruit kunnen maken. We sluiten het artikel af met een kort overzicht van de progressie die er in meer algemene zin is geboekt.
Evaluatiestudies
Bij het samenstellen van dit artikel hebben we onder meer geput uit de ervaringen in de volgende projecten:
Brabant In-car III
Het doel van dit project is om het reizen vloeiender, veiliger, schoner en comfortabeler te maken. Er zijn drie smartphone-apps voor in-car adviezen ontwikkeld en beproefd betreffende aspecten als rijsnelheid, afstand tot de voorganger en de rijbaan.
Meer informatie…Praktijkproef Amsterdam In-car
Informatiediensten gericht op 1) woon-werkverkeer en zakelijk verkeer in regio Amsterdam en 2) evenementenverkeer in Amsterdam Zuidoost en RAI. De deelnemers krijgen via een mobiele app informatie en adviezen over een optimale route en parkeermogelijkheden.
Meer informatie…Smart in Twente
Informatiedienst (app) die gebruikers helpt slimmer en bewuster van, naar en in Twente te reizen: files vermijden, groener rijden etc.
Meer informatie…Spookfiles A58
In het project ontwikkelen de partners een coöperatief voertuig-wegkantsysteem, met een spookfiledienst (adviessnelheden met oog op files stroomafwaarts) als eerste applicatie. Deze dienst is al in een ‘connected’ vorm getest en wordt nu ook als coöperatieve dienst beproefd.
Meer informatie…
RESULTATENEVALUATIES: WAT WE WETEN
De partijen in de genoemde C-ITS-projecten zijn in staat gebleken goed werkende diensten te produceren met vaak een nagenoeg 100% uptime. Dat is geen vanzelfsprekendheid: veel C-ITS-diensten worden voor het eerst toegepast in de praktijk en dan is ‘technisch werkt het’ een belangrijk (eerste) resultaat.
In de genoemde projecten is het de partijen gelukt grote aantallen deelnemers te verleiden de nieuwe diensten te gebruiken. Ondanks het feit dat de projecten niet als beloningsprojecten zijn uitgevoerd, zoals bij de spitsmijden-projecten, loopt het aantal downloads van de apps in de honderden (Brabant In-car III), duizenden (Smart in Twente, connected dienst Spookfiles A58) tot vele tienduizenden (Praktijkproef Amsterdam In-car).
Dankzij de evaluaties weten we ook vrij goed welk profiel de deelnemers aan de C-ITS-projecten hebben. Het betreft de typische innovators: hoog opgeleid, werkend, overwegend man, leeftijd 40-55 jaar, interesse in techniek en innovatie. Deze groep is belangrijk om een productinnovatie van de grond te krijgen: als het bij hen aanslaat, volgen al snel de early adopters, die op hun beurt de weg plaveien voor de early en late majority.
Slaan de beproefde diensten aan? Uit de evaluatie van Brabant In-car III-projecten blijkt dat de beoordeling van de apps op 5,5 tot 6,5 ligt. Dat is voldoende, maar laag vergeleken bij de algemene beoordeling van in-car reisinformatie. Navigatiediensten van TomTom en Flitsmeister krijgen van hun gebruikers bijvoorbeeld rapportcijfers rond de 7,5. En de waardering voor de informatievoorziening langs of boven de weg ligt tussen 6,5 en 7,0.
Hoe laat de ‘net voldoende’ bij Brabant In-car zich duiden? Allereerst betreft het pilots en zijn de diensten dus niet 100% uitontwikkeld. Soms zijn er technische rafelrandjes of is er simpelweg nog weinig aandacht besteed aan de usability of de ‘geliktheid’ van een app. Daarnaast zal meespelen dat producten als TomTom en Flitsmeister de beoordeling krijgen van het grote publiek, terwijl de diensten in de ITS-projecten beoordeeld worden door enthousiaste maar wel veeleisende en kritische innovators. In dat licht bezien is een zes als rapportcijfer zo’n slechte start nog niet.
Wat de opvolging van adviezen betreft, kunnen we putten uit de resultaten van enquêtes en uit de loggingdata van de apps of devices. Voor de Brabant In-car projecten geeft 85% van de ondervraagden aan dat hij of zij de (snelheids)adviezen opvolgt. Een analyse van de loggingdata van de apps ondersteunt dit beeld. Voor de in-car apps van de Praktijkproef Amsterdam geldt dat circa de helft de routeadviezen opvolgt. Dit is vastgesteld aan de hand van de logs van het gegeven advies en de afgelegde route.
Interessant is verder dat een aanzienlijk aantal deelnemers de diensten blijft gebruiken, zelfs als het proefproject formeel is afgelopen en er geen campagne meer wordt gevoerd. Neem het Smart in Twente-project: hoewel de dienst momenteel niet actief gepromoot wordt, blijven 200 à 300 deelnemers de app gebruiken. Hetzelfde geldt voor de ‘connected’ app van Spookfiles A58 en apps die binnen Brabant In-car zijn ontwikkeld: een klein maar trouw publiek maakt er nog steeds dankbaar gebruik van.
WAT DE EVALUATIES ONS (NOG) NIET VERTELLEN
Onder het kopje ‘wat we niet weten’ moeten we eerst en vooral terug naar de opvolging van adviezen. Want cijfers als die 85 en 50% zijn mooi, maar er zijn de nodige kanttekeningen te plaatsen.
Eén punt is dat de evaluaties van de C-ITS-projecten vaak alleen vaststellen wat het gerealiseerde gedrag is. De loggings beslaan bijvoorbeeld de adviezen en het daadwerkelijke rij- of routegedrag per tijdsmoment, maar daarmee toon je nog geen oorzakelijk verband aan. Stel bijvoorbeeld dat uit de loggings blijkt dat er een advies is gegeven om snelheid te minderen en dat de bestuurder inderdaad afremde. Remde hij dan af omdat de app dat zei of had hij zonder die ondersteuning toch wel geremd? Hetzelfde geldt natuurlijk voor routeadviezen.
De enquêtes bieden in dit verband weinig extra inzicht, want de vragen zijn vaak algemeen geformuleerd, in de trant van: ‘Heeft u snelheidsadviezen gehad en heeft u die opgevolgd?’ Ook al antwoordt de deelnemer met ‘ja’, dan weten we nog steeds niet of dat gedrag anders is dan in de situatie zonder advies. Het is zelfs de vraag in hoeverre de deelnemer daar iets zinnigs over kán zeggen, omdat rijgedrag in hoge mate gewoontegedrag is waar we normaliter niet al te veel over nadenken. [2]
Een ander punt is dat het advies van de app nooit de enige invloedsfactor is. Ook de adviezen van wegkantsystemen en het rijgedrag van andere weggebruikers bepalen immers het handelen van de deelnemer. Het kan dus ook gebeuren dat een deelnemer een advies wel wil opvolgen, maar dat het overige verkeer hem dat onmogelijk maakt. Dit maakt het meten van het effect van een advies zeer lastig.
Waar we ook weinig over weten, zijn de effecten van C-ITS op de verkeersveiligheid. Het vermoeden bestaat dat apps die on-trip adviezen geven en bijvoorbeeld waarschuwen voor een file stroomafwaarts, gunstige effecten hebben op de verkeersveiligheid, omdat automobilisten eerder geïnformeerd zijn. Maar zeker weten doen we het niet. Het is namelijk niet ondenkbaar dat de gegeven adviezen de deelnemer juist afleiden van zijn rijtaak en dat zou risicoverhogend zijn. Als we vragen naar de eventuele afleiding, dan zijn er weinig automobilisten die zeggen dat dat het geval is. Maar ook hier geldt: is de deelnemer aan de proef wel in staat om zijn eigen (gewoonte)gedrag te beoordelen?
Dan het niet onbelangrijke punt effecten op het verkeer. Over het algemeen geldt dat de omvang van de projecten te laag is om effect te mogen verwachten op afwikkelingsparameters als voertuigverliesuren en de betrouwbaarheid van reistijden. Zelfs in de Praktijkproef Amsterdam, waarbij de app Superroute 35.000 keer werd gedownload en een miljoen keer werd gebruikt, waren de effecten hooguit bescheiden. Bij de proeven met evenementenverkeer werd bij grote evenementen een klein effect vastgesteld in de vorm van kortere reistijden en betere spreiding over de invalsroutes. Maar bij de proeven voor woon-werkverkeer was weer geen effect meetbaar op bijvoorbeeld voertuigverliesuren. De deelnemers bleken de Superroute-app ook vooral pre-trip te gebruiken en in veel mindere mate on-trip. Dat laatste is in lijn met eerdere bevindingen: zeker als deelnemers op bekend terrein rijden, vinden ze het al snel te veel moeite om de smartphone in de cradle te zetten, de app aan te zetten enzovoort.
Overigens toont het evaluatierapport van Praktijkproef Amsterdam op basis van theoretische argumenten aan dat er bij grootschalig gebruik wel degelijk een gunstig netwerkeffect te verwachten is, ook bij woon-werkverkeer. Bij de Brabant In-car projecten zijn de mogelijke effecten met microsimulaties onderzocht. Als je die resultaten extrapoleert, uitgaande van voldoende gebruik, kom je eveneens uit op netwerkeffecten.
KUNNEN EVALUATIEMETHODEN SLIMMER?
Juist omdat de effecten op het verkeer lastig te kwantificeren zijn, is in opdracht van Connecting Mobility en Beter Benutten de Landelijke Ronde Tafel Effecten C-ITS en Automatisch rijden opgericht. DITCM Innovations faciliteert het initiatief, waaraan zowel publieke als private partijen deelnemen. Het doel van de ‘tafel’ is de effectbepaling van C-ITS-projecten in Nederland verder te verbeteren om zo bij te dragen aan de uitrol en opschaling van Smart Mobility. De betrokkenen zien de volgende drie punten als de grote uitdagingen:
- Het bepalen van de effecten op verkeersstroomniveau. Hoe kunnen we de effecten die zijn vastgesteld in een kleinschalige proef op de juiste wijze opschalen?
- Het kwantificeren van effecten. Hoe kunnen we effecten met harde cijfers onderbouwen, zodat er minder aannames nodig zijn?
- Uniformiteit effectbepaling. Hoe komen we tot meer uniformiteit tussen de verschillende evaluatiestudies?
Om deze punten in te vullen heeft de Ronde Tafel allereerst bestaande tools onder de loep genomen, zoals de Leidraad Evaluaties Benutting, de Landelijke Evaluatiemethodiek Regelscenario’s en de Europese methode FESTA. Deze hulpmiddelen zijn echter weinig interdisciplinair en slechts geschikt voor de evaluatie van een bepaald type techniek of dienst.
De Ronde Tafel onderzoekt daarom momenteel de mogelijkheden van de Evaluatiecirkel, een meer generieke evaluatiemethodiek voor C-ITS ontwikkeld door hoogleraar en Ronde Tafel-deelnemer Hans van Lint van TU Delft. Deze methodiek gebruikt veel van de principes uit de genoemde handleidingen, maar het voegt daar een ‘cirkelaanpak’ aan toe. De crux van die aanpak is dat je steeds schakelt tussen een ex-ante en een ex-post benadering – zie bijgaande figuur voor een toelichting.
Overigens draait de Evaluatiecirkel op bestaande (ex-ante en ex-post) evaluatietechnieken, zoals microsimulatie, metingen, enquêtes etc. Ook de doorontwikkeling van die technieken en de ontwikkeling van nieuwe technieken verdient aandacht om de evaluatiestudies een niveau hoger te krijgen. Zo zijn er nog nauwelijks tools om de human factors-kant van C-ITS te kwantificeren, dus daar ligt een enorme opgave.
Juiste opzet project en evaluatiestudie
Met alleen geschikte, (wetenschappelijk) verantwoorde evaluatiemethodieken en -tools zijn we er echter nog niet. Heel belangrijk is dat een project zó wordt opgezet, dat het de evaluatie van de betreffende C-ITS-dienst optimaal ‘bedient’ en dat de evaluatie geen hinder ondervindt van weeffouten in de projectaanpak. Ook de opzet van de Evaluatiestudie zelf is cruciaal – zie stap 2 in de evaluatiecirkel. Aandachtspunten bij het opzetten van het proefproject zelf en de bijbehorende evaluatiestudie zijn onder meer:
- Doel en vraagstelling. Wat is het doel van het proefproject? Daaruit volgt weer: welke vraag willen we met de evaluatie beantwoorden? Gaat het erom de techniek te testen? Om de keten van verkeersinformatie te toetsen? Of is het doel het effect van de dienst op de doorstroming te bepalen?
- Ontwerp proefproject. Maak vooraf een scherp ontwerp van het proefproject en de experimenten daarin. Op basis van die informatie kan ook de evaluatie goed worden ingericht: nul- en éénmeting, data-inwinning (conform doel en vraagstelling), controlegroep, omstandigheden die in proef worden meegenomen (zoals goed/slecht weer, rustig/druk verkeersbeeld) enzovoort.
- Timing. Neem genoeg tijd voor ontwikkeling, testen en inregelen van de nieuwe dienst of techniek zodat uiteindelijk een zo optimaal mogelijk systeem getest wordt. Korte iteratieslagen op technische prestatie en systeemontwerp kunnen immers flinke verbeteringen opleveren.
- Budget. Houd in het projectbudget rekening met de (kosten voor de) evaluatie. In de praktijk wordt evaluatie nog te vaak als sluitpost gezien.
Hoe zwaar er op elk van de punten wordt ingezet, hangt mede af van de vereiste verantwoording richting overheid en bedrijfsleven. Maar niet alleen die factoren zouden leidend moeten zijn. Met het oog op kennis opdoen en de behoefte van opschaling en uitrol elders zijn er ook ‘projectoverschrijdende’ belangen. De Ronde Tafel probeert dit belang bij de verschillende projecten onder de aandacht te brengen.
VEEL VOORUITGANG GEBOEKT
Het feit dat we veel nog niet weten over de effecten van C-ITS en de (extra) aandacht die evaluatie verdient, zouden het beeld kunnen oproepen dat de miljoenen aan investeringen vanuit overheid en markt ons maar weinig verder hebben gebracht. Daarmee zouden we de projecten echter tekort doen.
Los van het feit dat wel degelijk onze kennis hebben verdiept – zoals besproken onder het kopje ‘Wat we wel weten’ – zien we meer in het algemeen ook een consistente ontwikkelingslijn waarbij het ene project een opstapje blijkt naar een volgend, groter project. Neem Brabant In-car: serie I bestond nog uit kleinschalige demonstratieproeven, in serie II werd al opgeschaald naar grote deelnemersgroepen en Brabant In-car III tot slot heeft als doel het (potentieel) oplossen van concrete doorstromingsproblemen op de A67.
Het eerder genoemde Spookfiles A58 is in feite weer een opvolging van Brabant In-car III. In dit project is een coöperatieve infrastructuur ontwikkeld waarop de regio Brabant en Nederland de komende jaren verder kunnen bouwen. Wegkantleveranciers Siemens en Vialis hebben op de A58 tussen Tilburg en Eindhoven in totaal 34 wegkantbakens geplaatst die zijn uitgerust met wifi-p. De apps van serviceproviders FlowPatrol en ZOOF kunnen via een ‘Talking Traffic’-kit in de auto data ontvangen en een snelheidsadvies produceren. De serviceproviders rustten in totaal 1.200 reguliere verkeersdeelnemers uit met zo’n kit. En al testende is het de partners Be-Mobile en Simacan gelukt grote verbeterslagen te maken in de kwaliteit van de data: die werd completer, betrouwbaarder, accurater, sneller en beter schaalbaar.
Een krachtige zet was de keuze om in het project ook uitgebreid aandacht te besteden aan de governance. Markt en overheid maakten gezamenlijk afspraken over een veelheid aan publiek-private zaken. Doordat dit in de beschermde omgeving van het project uitgewerkt en getest kon worden, is (inter)nationaal een flinke voorsprong genomen op het gebied van governance. Dit resulteerde onder andere in een High Level Architecture met koppelvlakken voor de coöperatieve infrastructuur. De leveranciers die bij het project betrokken zijn hebben gezamenlijk strak gespecificeerde koppelvlakken gedefinieerd en deze – waar reeds beschikbaar – gebaseerd op Europese standaarden (ETSI, CEN) en Nederlandse afspraken (NORA, Landelijke Ronde Tafel Dutch Profiles). Daarnaast zijn er procedures rondom servicemanagement vastgesteld, en zijn er testprotocollen en maatregelen voor privacy- en databescherming ontwikkeld.
Veel van deze oplossingen zijn feitelijk te groot voor één project, maar doordat ze binnen een project zijn uitgewerkt, is er waardevolle ervaring opgedaan. Ook is de snelheidsadviesdienst die nu worden getest, slechts het begin. De opgeleverde techniek is in te zetten voor tal van andere diensten, op ook andere (typen) wegen. Denk hierbij aan een waarschuwingssysteem voor wegwerkzaamheden, weersomstandigheden of voor een naderende ambulance, of aan een systeem dat communiceert met verkeerslichten en zo informatie geeft over de time to green. Het is dus niet voor niets dat Brabant aan opschaling werkt, onder meer middels het onlangs opgerichte ITS Bureau Brabantstad.
De Praktijkproef Amsterdam maakt momenteel een doorstart naar de derde fase waarin in-car oplossingen en wegkantoplossingen geïntegreerd worden. Veelbelovend zijn de proeven in Amsterdam-Zuidoost waarin momenteel een slag wordt gemaakt van publiek naar privaat verkeersmanagement.
Tot slot
We zijn in Nederland al heel ver gekomen met C-ITS-projecten waarin mobilisten beter worden geïnformeerd over een efficiëntere reis. Tot echte effecten op de weg heeft dat nog niet geleid – die zullen pas zichtbaar zijn als de penetratiegraad van C-ITS in het verkeer in tijd en ruimte hoog genoeg is. Wel is er veel kennis vergaard en is de algemene ontwikkelingslijn stijgend. Om die lijn zo te houden en een grootschalige uitrol van C-ITS-diensten te faciliteren zal de (inrichting van) de evaluatie van de projecten wel extra aandacht moeten krijgen. De Ronde Tafel Effecten ITS begeleidt en stimuleert die ontwikkeling.
____
Noten
[1] In de internationale literatuur staat C-ITS meestal voor Cooperative ITS: coöperatieve systemen die sterk leunen op korteafstandscommunicatie (via bijvoorbeeld wifi-p) tussen wegkantsystemen en voertuigen. In dit artikel gebruiken we C-ITS voor het bredere begrip Connected ITS. Dit omvat óók diensten die alleen via langeafstandscommuncatie (zoals 3G) met bijvoorbeeld een serviceprovider communiceren.
[2] Voor apps die pre-trip reisinformatie geven, lijken enquêtes bruikbaarder, omdat het dan gaat om keuzes betreffende een complete rit, zoals route en vertrektijdstip.
____
De auteurs
Drs. Paul van Beek is adviseur bij Goudappel Coffeng.
Ing. Suzanne van Lieshout is adviseur Verkeersmanagement bij Royal HaskoningDHV en secretaris van de Ronde Tafel Effecten ITS.
Dr. Kerry Malone is senior advisor bij TNO en expert in het schrijfteam van de Ronde Tafel Effecten ITS.
Verder werkten mee: prof. dr. ir. Henk Meurs (MuConsult), Bram Hendrix (AutomotiveNL) en prof. dr. ir. Hans van Lint (TU Delft, Ronde Tafel Effecten ITS).
