Kwaliteit van monitoring

Aan systemen voor verkeersmonitoring worden hoge kwaliteitseisen gesteld. Effectief verkeersmanagement, bijvoorbeeld, is sterk afhankelijk van de betrouwbaarheid van het monitoringssysteem. En het lukt niet om het reisgedrag van mensen te beïnvloeden wanneer zij de verkeersinformatie niet (meer) vertrouwen. Monitoringsgegevens kunnen dus alleen nuttig worden toegepast als ze betrouwbaar zijn. Fouten in meetinstrumenten kunnen vaak wel worden opgespoord, deels door regelmatige controle en deels door automatische inspectie van de instrumenten. Maar om de kwaliteit in de hele keten te beheersen - van de inwinning tot en met de bewerking en het beschikbaar stellen van de gegevens - is moeilijk. Systemen die nodig zijn om de kwaliteit te waarborgen, zijn complex en worden nu pas langzaam ontwikkeld.

Inleiding[]

De meetgegevens van het hoofdwegennet worden steeds breder ingezet voor allerlei online en offline toepassingen, zoals verkeersinformatie, beleid, onderzoek en dynamisch verkeersmanagement. De kwaliteit van de monitoring wordt daarom steeds belangrijker. Deze kwaliteit is moeilijk te meten, zeker wanneer het om informatie gaat die niet direct meetbaar is (zoals reistijden op basis van lusdata) en helemaal bij complexe situaties met weefvakken en dergelijke. Daarnaast is de benodigde kwaliteit voor data sterk afhankelijk van de toepassing. Soms is het noodzakelijk om een nauwkeurige intensiteit te berekenen, terwijl de snelheid minder belangrijk is. Maar voor de berekening van de reistijd zijn juist nauwkeurige gegevens van snelheden weer heel belangrijk.

Het bepalen en verbeteren van kwaliteit is online aanzienlijk minder goed te doen dan offline. Wanneer er tijdelijk geen gegevens beschikbaar zijn, zijn deze beter aan te vullen wanneer zowel voor als na het "gat" gegevens beschikbaar zijn. In een online situatie is dit niet het geval op het moment dat de gegevens wegvallen. Wanneer de data offline tot een hoog kwaliteitsniveau wordt getild, kunnen deze gegevens ook weer gebruikt worden voor het verbeteren van online systemen.

De Adviesdienst Verkeer en Vervoer van Rijkswaterstaat heeft onderzoek uitgevoerd naar beoordelingscriteria en kwaliteitseisen van monitoringsystemen. Het onderzoek bestond uit een literatuurstudie die is aangevuld met interviews. In dit artikel worden de belangrijkste resultaten van deze studie weergegeven. Voor elke toepassing wordt een indicatie gegeven van de gewenste kwaliteit van de systemen.

Om de kwaliteit van data te verbeteren, moeten foute metingen worden opgespoord en bij voorkeur worden vervangen door betere gegevens. Het opsporen van deze gegevens begint vorm te krijgen in het zogenoemde Da Vinci-project. Het vervangen van missende gegevens gebeurt met een vorm van Datafusie.

Beoordelingscriteria kwaliteit[]

De kwaliteit van metingen wordt bepaald door de sensoren en detectiesystemen. Of de meting van een variabele van voldoende kwaliteit is voor de betreffende toepassing, hangt af van een aantal factoren:

Nauwkeurigheid: Hoe groot mag de meetfout zijn die nog acceptabel is voor een specifieke toepassing? Het gaat er om in hoeverre een foute waarneming leidt tot bijvoorbeeld een verkeerde maatregel.
Ruimtelijke aggregatie: Hoe groot/klein mag het gebied zijn waarover wordt gemeten, of welk blikveld moet in beeld worden gebracht? Onderscheid is te maken naar bijvoorbeeld rijstrook, rijbaan of volledige doorsnede; of naar puntlocatie, wegvak of traject.
Dichtheid meetlocaties: Hoeveel meetlocaties zijn nodig over een bepaalde lengte (een hoeveelheid wegvakken achter elkaar) om de juiste informatie te kunnen verzamelen?
Aggregatie in tijd: Is levering van gegevens noodzakelijk op het niveau van individuele voertuigen, of voor een periode van bijvoorbeeld vijf minuten?
Robuustheid: Wanneer functioneert het wegkantstation nog wel of niet meer (bijvoorbeeld bij vorst, sneeuw)? In welke mate, oftewel: valt het hele systeem uit of een onderdeel daarvan? En in hoeverre is dat dan schadelijk voor de meting? Uit de interviewronde bleek, dat bij het ontwikkelen van het universele wegkantstation gracefull degradation een belangrijk aspect voor signalering is. Hiermee wordt bedoeld dat falende apperatuur niet het hele systeem beschadigd. Dit kan voorkomen worden door te zorgen dat het falen gesignaleerd wordt en de data als nietbetrouwbaar wordt gemarkeerd. Dit concept van gracefull degradation wordt in het kader van kwaliteit belangrijker geacht dan zelfs nauwkeurigheid. Uitval beïnvloedt namelijk de geloofwaardigheid van dergelijke systemen en die is zeer essentieel.
Installatie-eisen: Moet de meting op een zeer specifieke locatie worden uitgevoerd, of kan op elk willekeurig wegvak worden gemeten? Het is van belang om de configuratie-instellingen van de apparatuur te kunnen bijstellen, bijvoorbeeld bij rijstrookwijzigingen.

In de interviews voor het AVV-onderzoek is ook enkele malen het verschijnsel redundantie genoemd als belangrijk kwaliteitsbepalend aspect. Redundante gegevens zijn gegevens die op een andere manier ook al worden gemeten en/of afleidbaar zijn uit andere gegevens. Redundantie houdt feitelijk zowel een voordeel als een nadeel in. Voordeel is dat de meetgegevens direct toetsbaar kunnen worden gemaakt. Nadeel is dat onnodig datacapaciteit wordt gebruikt. Maar omdat de opslagcapaciteit van systemen steeds groter wordt, is dubbele opslag van gegevens geen probleem meer.

Voorbeelden van Kwaliteitseisen[]

Om een beeld te schetsen van de eisen die in diverse projecten aan de kwaliteit worden gesteld, volgt hier een overzicht van een aantal van deze projecten. In deze beschrijvingen zijn veel waarden terug te vinden die als eis aan kwaliteit worden gesteld. Bedenk hierbij dat voor elk project de waarden anders kunnen zijn. Kwaliteit is moeilijk te meten en te benoemen. En wanneer men te zwaar weegt aan de genoemde indicatoren, kan dit averechts werken.

Kwaliteits eisen volgens "Voertuigdetectie, wensen en mogelijkheden"[]

In het rapport "Voertuigdetectie, wensen en mogelijkheden" is een uitgebreide beschouwing van kwaliteitseisen gegeven. Deze eisen zijn onderverdeeld naar doelstelling van de toepassing. Dit onderzoek is gericht op het hoofdwegennet en hier opgenomen om een indicatie te geven van mogelijke kwaliteitseisen bij de volgende toepassingen:

Kwaliteit eisen voor het Nationaal DataWarehouse[]

Het Nationaal Datawarehouse heeft ook strakke kwaliteitseisen opgesteld voor alle data die het NDW gaat verwerken:

Monitoring Rotterdam[]

In het project Monitoring Rotterdam zijn bij de aanbesteding duidelijke eisen vastgesteld waaraan de geleverde gegevens moeten voldoen. Zie voor een overzicht het artikel Beoordelingscriteria Verkeersmonitoring Rotterdam.

Meten van kwaliteit[]

Kwaliteit is een moeilijk te meten grootheid. Eerst moeten de indicatoren voor veiligheid worden bepaald. Het meten is vaak nog bewerkelijk, zeker wanneer de hele keten wordt beschouwd. De kwaliteit van meetsystemen kan het best worden bepaald door periodieke vergelijkingsstudies. Structurele monitoring van de data staat nog in de kinderschoenen, vooral het Da Vinci-project speelt hier op in. Zie voor uitgebreide informatie over het meten van kwaliteit het artikel Bepalen van kwaliteit van data en informatie.

Aanvullen en corrigeren[]

Aangezien meetsystemen nooit perfect zijn, sluipen er altijd fouten in de geleverde datasets. Het is van belang deze fouten in een zo vroeg mogelijk stadium te herkennen en te verbeteren. In het artikel Aanvullen en corrigeren van ruwe data wordt dit proces beschreven. Dit proces is in de praktijk geïmplementeerd in de Module Prepoc van Monibas.

Proces van kwaliteitsbeheersing[]

Niet alleen het meten van de kwaliteit van monitoring is belangrijk, ook het beheersen van de hele keten is van groot belang. Dit betekent dat alle partijen die met de gegeven werken de kwaliteit in de gaten houden en waar nodig ingrijpen. Door AVV is een opzet gemaakt voor het beheersen van kwaliteit door de hele keten van reisinformatie. Een samenvatting hiervan is te vinden in het artikel Proces van kwaliteitsbeheersing .

Kosten van kwaliteit[]

Het begrip "kosten van kwaliteit" is voor meerdere uitleg vatbaar. Letterlijk geïnterpreteerd gaat het om de kosten van het handhaven van kwaliteit en de systemen die de kwaliteit verzorgen en waarborgen. De term Cost of Quality uit de Amerikaanse industrie ([1]) duidt echter ook op de kosten die voortkomen uit gebrek aan kwaliteit, of het herstellen hiervan. Het inzichtelijk maken van deze kwaliteitskosten kan leiden tot minder kosten voor het totale systeem.

Onderdelen van kwaliteitskosten[]

De kosten voor kwaliteit kunnen worden opgedeeld in een aantal verschillende onderdelen. Ze passeren hier kort de revue:

Preventiekosten; de kosten van alle maatregelen die specifiek bedoeld zijn om slechte kwaliteit te voorkomen. Denk hierbij aan kwaliteitsmanagement, productevaluatie en vergelijkbare zaken.
Detectiekosten; deze komen voort uit het meten en evalueren van systemen om zeker te weten dat ze aan alle kwaliteitseisen voldoen.
Correctiekosten; dit zijn de kosten voor het repareren of herstellen van fouten. Over het algemeen worden de correctiekosten opgedeeld in interne en externe kosten. Interne kosten zijn reparaties die vóór voor de verkoop van het product of de dienst worden gemaakt, externe kosten zijn kosten die na de verkoop worden gemaakt.

Deze kosten opgeteld vormen samen de totale kwaliteitskosten. Door naar deze totale kosten te kijken, kan een heldere afweging worden gemaakt tussen preventie-, detectie en correctiekosten.

Het nut van inzichtelijke kwaliteitskosten[]

Door inzichtelijk te maken wat de kosten zijn van het ontbreken van een bepaald kwaliteitsniveau én door de kosten inzichtelijk te maken van het verbeteren hiervan, kan een gefundeerde keuze worden gemaakt over het te handhaven kwaliteitsniveau. Daarnaast kan inzicht in deze kosten leiden tot verbeterd kwaliteitsbeleid, zoals in het figuur hiernaast is te zien.

Kwaliteitskosten en verkeersmonitoring[]

Ook bij het opzetten van een verkeersmonitoringsysteem is het belangrijk om de kwaliteit en de kosten van kwaliteit goed in de gaten te houden. Probleem hierbij is dat het moeilijk is om de kwaliteit van monitoringsystemen in euro's uit te drukken. Moeilijk, maar zeker niet onmogelijk. Dit geeft meteen een waardering aan bepaalde kwaliteitsniveau's. Wanneer de waarde van kwaliteit bekend is, kan deze goed worden vergeleken met de verschillende kosten om die kwaliteit te waarborgen. Hiermee wordt enerzijds bereikt dat de kosten van de kwaliteit zo laag mogelijk zijn, anderzijds is er een onderbouwde keuze van het kwaliteitsniveau met inzichtelijke kosten.