Auditing en process mining

Auditing en process mining
Door het slim inzetten van process mining kan een controle efficiënter uitgevoerd worden. Daarbij wordt het management een breder inzicht in de werking van haar processen geboden: het mes kan aan twee kanten snijden.
Jaap van Bruchem en Youri Soons
Sinds 2012 is de uitvoer van een drietal subsidies en fiscale regelingen (verder genoemd regelingen) bij de Rijksdienst voor Ondernemend Nederland (RVO) volledig gedigitaliseerd. Er wordt geen hardcopy meer gebruikt. Een volledig gedigitaliseerde afhandeling van dossiers biedt de mogelijkheid om tooling zoals process mining toe te passen. Jaarlijks moet RVO zich in het jaarverslag verantwoorden over de afgegeven beschikkingen en gedane uitgaven, die worden gecontroleerd door een accountant. Door process mining slim te combineren met andere controletechnieken is het mogelijk om de controlewerkzaamheden, die vereist zijn voor certificering bij de financiële verantwoording, drastisch te verminderen.
Een van de belangrijkste voorwaarden voor het kunnen toepassen van process mining is dat de volwassenheid van de procesautomatisering hoog genoeg is om een eventlog te creëren. Om van waarde te zijn voor de certificering dient de eventlog minimaal gegevens te bevatten als: individuele dossiernummers, de verschillende stappen die een aanvraag doorloopt, tijdstempels per processtap, de naam van de behandelaar per processtap en het aan de aanvrager toegekende bedrag. De eventlog is de input voor de process-mininganalyse, waarmee men een grafisch overzicht verkrijgt van de dossierstroom zoals deze in werkelijkheid verloopt. Vervolgens kan de conformiteit van deze gegevens gecontroleerd worden, waarmee inzichtelijk wordt waar de realiteit afwijkt van het beoogde proces.
Wat echter lastig is om uit de eventlogs te herleiden, is of de dossiers op een juiste wijze zijn beoordeeld en dus terecht zijn doorgezet naar een volgende stap. In de procesflow is immers vaak alleen te zien op welk moment en door wie het dossier is doorgezet van stap a naar stap b. Je kunt er bijvoorbeeld niet uit afleiden of bedragen terecht zijn toegekend aan de begunstigden. Indien er een hoge mate van procesondersteuning is door het IT-systeem en het procestype zich ervoor leent, is de kans overigens groter dat dit wel af te leiden is met de process-mininganalyses. Bij de regelingen die wij hebben onderzocht is het niet mogelijk om via process mining vast te stellen dat beslissingen juist zijn. Voordat de analyses met de process-miningtool dus echt waarde hebben, voeren we eerst een tweetal andere onderzoeken uit (figuur 1) .
Figuur 1. Eventlog waaruit is af te leiden wanneer dossiers, op welk moment en door wie zijn doorgezet naar een volgende stap
 
Kwaliteit beheersmaatregelen
Als eerste doen we onderzoek naar de kwaliteit van de beheersmaatregelen. Om vast te stellen dat medewerkers juiste beslissingen nemen en dossiers terecht van stap a naar b en verder doorzetten, bekijken we eerst de wijze waarop een medewerker tot zijn beslissing komt. Om het risico dat verkeerde beslissingen worden genomen tot een acceptabel niveau te beperken, dienen alle punten waar een dossier langskomt in het proces voorzien te zijn van passende beheersmaatregelen. Hoe sterker die zijn, des te kleiner is de kans dat er een verkeerde beslissing wordt genomen. Om deze beheersmaatregelen te toetsen hebben we een normenkader opgesteld waarin we per processtap de risico’s in kaart hebben gebracht. Per risico is er een weging aan gegeven: ‘stel dat risico x zich manifesteert, hoe erg is dat voor het uiteindelijke resultaat?’ Vervolgens hebben we middels interviews en documentstudies getoetst hoe de organisatie zijn risico’s heeft geminimaliseerd. Te denken valt aan vragen als: worden er checklists gebruikt?; worden beslissingen gereviewed?; krijgen medewerkers feedback op hun werk en wordt er wat mee gedaan?; hoe wordt er geborgd dat grijze gebieden in afwegingen zoveel mogelijk worden voorkomen?; hoe is geborgd dat er één lijn onder de medewerkers wordt getrokken?
De conclusie van het geheel is of er wel of niet kan worden gesteund op de kwaliteit van de beheersmaatregelen die juiste beslissingen waarborgen.
 
Kwaliteit IT-systemen
Als tweede doen we onderzoek naar de kwaliteit van de onderliggende IT-systemen en bijbehorende procedures. De eventlog wordt opgebouwd uit de gegevens van de verschillende systemen. We willen zeker weten dat de gegevens betrouwbaar zijn. Immers, een logfile of een systeem waar iedereen de gegevens kan manipuleren, is geen betrouwbare basis voor de analyse met process mining. Denk hier bijvoorbeeld aan gebruikers met meerdere accounts die zodoende het vier-ogenprincipe kunnen omzeilen, of beheerders die direct op de database gegevens kunnen aanpassen zonder dat dit herleidbaar is. Dit zijn zaken die niet met process-mininganalyses op te sporen zijn. Ook hier hebben we een normenkader opgesteld met de risico’s waardoor de integriteit van de data geschaad kan worden. Ook aan deze risico’s zijn door ons wegingen gehangen van de impact op de af te geven certificering. Vervolgens hebben we onderzocht welke beheersmaatregelen de organisatie getroffen heeft om deze risico’s te minimaliseren. Bij de uit te voeren controles valt te denken aan: het testen van application controls; het onderzoeken van het wijzigingsbeheer; autorisatiebeheer; databasebeheer.
Ook na deze controle volgt er een conclusie of er wel of niet vertrouwd kan worden op de kwaliteit van de IT die de betrouwbaarheid van de gegevens waarborgt.
Wanneer blijkt dat gesteund kan worden op de kwaliteit van de beheersmaatregelen en de onderliggende IT, kan de analyse met process mining beginnen. Daarmee krijgen we zekerheid over de werking van de procesflow. Deze analyse kan eenmaal per jaar worden uitgevoerd, of bijvoorbeeld maandelijks waarbij je dan zou kunnen gaan spreken van continuous monitoring . Wanneer blijkt dat niet gesteund kan worden op de kwaliteit van de beheersmaatregelen of de onderliggende IT, zullen resultaten met process-mininganalyse niet bruikbaar zijn voor af te geven certificeringdoeleinden. Dit kan reden zijn om de process analyse niet uit te voeren. De grote winst van deze aanpak is dat wanneer gesteund kan worden op de beide deelonderzoeken en er geen significante risico’s zijn, er in jaar twee en drie op deze beheersmaatregelen afgegaan kan worden (figuur 2) .
 
Figuur 2. De controleaanpak met process mining

Uiteraard kan ook gekozen worden om eerst een analyse met process mining te doen, om daarna met die resultaten het onderzoek naar de kwaliteit van de beheersmaatregelen en onderliggende IT-systemen aan te vliegen. Hierbij kan dan worden ingezoomd op de uitzonderingen. Wij kozen ervoor dit niet te doen, omdat wij eerst wilden onderzoeken waar in de basis in het proces de zwakke plekken zitten. Om daar vervolgens met de process-mininganalyse op in te zoomen.
 
Voordelen aanpak
Een belangrijk voordeel van deze aanpak is dat de controledruk voor de organisatie in met name jaar twee en drie omlaag gaat en daarmee ook de inspanning van de controlerende partij. Bij een van de regelingen bevonden wij ons in jaar twee en hebben we enkele IT-tekortkomingen uit jaar één opnieuw beoordeeld. Voor de overige beheersmaatregelen konden wij steunen op de resultaten uit jaar één, wat vele uren besparing heeft opgeleverd. Door alle dossiers te analyseren met process mining krijgen we grote zekerheid over het werkelijke verloop van de onderzochte processen en zijn afwijkingen ten opzichte van de norm snel te isoleren. Een ander groot voordeel is dat het inzicht dat verkregen is over het verloop van de processtromen, niet alleen gebruikt hoeft te worden voor de certificering, maar ook voor efficiencydoeleinden gebruikt kan worden. De manager kan direct zien waar de bottlenecks in het proces zich bevinden en kan zelfs aan de auditor vragen om daar nader onderzoek op uit te voeren. Daarmee kan de auditor zijn toegevoegde waarde voor de organisatie vergroten.
 
Type process-mininganalyses
Wij hebben voor de drie regelingen van RVO process mining toegepast als hulpmiddel bij de certificering van de verantwoording. Het zijn regelingen die specifieke kennis vereisen om tot een beslissing te kunnen komen. De organisatie heeft het risico op een onjuiste beslissing geminimaliseerd door in haar processen te borgen dat er altijd een tweede en/of derde persoon is die de beslissing van de vorige medewerker moet goedkeuren. Uit de onderzoeken naar de kwaliteit van de beheersmaatregelen en de kwaliteit van de IT kwamen geen materiële tekortkomingen, zodat we daarop konden steunen bij onze controle. Met de process-mininganalyses zijn we vervolgens op zoek gegaan naar dossiers die niet de geijkte paden hebben doorlopen voordat een aanvraag beschikt of afgewezen wordt. Een dossier dat afwijkend is behandeld, heeft wellicht een controle gemist, waardoor een verkeerde beslissing is genomen en de aanvraag niet terecht is toegekend. Kortom, we richten ons op het controleren van de conformiteit van de procesflow.
Niet alle afwijkingen zijn dusdanig ernstig dat ze de juistheid van de beslissing in gevaar brengen. Vooraf hebben wij dan ook per regeling een normenkader opgesteld met de belangrijkste conformance checks die we uitvoeren. Dit zijn:
 
1. Afwijkende volgordes in het proces van afhandeling
Elk dossier dient een aantal stappen te doorlopen in een vaste volgorde, het zogenaamde ‘happy path’ . Denk hierbij aan een volgorde als: toets op juistheid aanvraag; in behandeling name; advies eerste beoordelaar; definitief beschikken. Het zou vreemd zijn als dossiers in een andere volgorde zijn behandeld. Dit zou een signaal kunnen zijn dat de uiteindelijke beslissing niet juist is (figuur 3) .
Figuur 3. Het ‘happy path’
 
2. Overgeslagen stappen
Dossiers waarvan een stap is overgeslagen, hebben waarschijnlijk een controle gemist. Dat kan gevolgen hebben voor de juistheid van de uiteindelijke beschikking (figuur 4) .
Figuur 4. De process-miningtool laat zien welke dossiers stappen overslaan
 
3. Doorbreken van functiescheiding
Het beslissen of een aanvrager al dan niet recht heeft op een positieve beschikking is lang niet altijd eenvoudig. Regelingen zijn vaak complex en vereisen de nodige vakkennis om een aanvraag te beoordelen. Om te waarborgen dat juiste beslissingen worden gemaakt, moeten altijd minimaal twee verschillende medewerkers naar een aanvraag kijken. Indien een aanvraag slechts door één medewerker is afgehandeld, bestaat de kans dat de beslissing niet geheel juist is of kan het zelfs een signaal voor fraude zijn (figuur 5) .
 
Figuur 5. De stappen ‘advies’ en ‘beslist’ worden door één persoon afgehandeld. Daarmee wordt de vereiste functiescheiding doorbroken
 
4. Korte doorlooptijden
Het bepalen of een aanvraag in aanmerking komt voor een positieve beschikking kan complex zijn en vraagt derhalve enige tijd om te beoordelen. Als een aanvraag in een significant kortere termijn is afgehandeld dan gebruikelijk, kun je je afvragen of er wel een gedegen beoordeling heeft plaatsgevonden en de aanvraag niet blind geaccordeerd is. Aanvullend kun je onderzoeken of de aanvragen die snel zijn afgehandeld altijd door dezelfde koppels worden uitgevoerd, wat mogelijk ook een signaal kan zijn voor een onjuiste beslissing (figuur 6) .
Figuur 6. De stappen ‘advies’ en ‘beslist’ zijn in enkele minuten afgehandeld, een significant verschil als de gebruikelijke doorlooptijd minimaal een dag is
 
Een afwijking betekent niet meteen dat een beslissing onjuist is. Er kunnen meerdere redenen zijn waardoor de afwijking is ontstaan. Afwijkingen dienen derhalve uitgezocht en verklaard te worden. Wij hebben in een presentatie aan de klant de door ons aangetroffen afwijkingen laten zien, waarna we vervolgens met de klant hebben afgesproken welke dossiers zij zullen uitzoeken. Indien een afwijking niet verklaard kan worden en wij het risico dat door de afwijking een onjuiste beslissing is gemaakt aanzienlijk achten, zal de klant de aanvraag opnieuw moeten beoordelen. De analyses hebben wij uitgevoerd met de tool Disco van Fluxicon. Een prettig werkende tool waarmee je snel inzicht krijgt in de werkelijke procesgang. Ook is het relatief eenvoudig om alle afwijkende dossiers te isoleren en aan de klant te presenteren.
 
Lessons learned
Een lastig punt blijft het samenstellen van een bruikbare eventlog. Door de omvang, hoeveelheid gegevens en maatwerk in een systeem kan het een hele puzzel zijn om de benodigde gegevens te vinden en samen te voegen in een eventlog. Daarbij zijn onderliggende databases vaak reeds meerdere jaren oud en niet ontworpen voor toolingdoeleinden zoals process mining. Onze ervaring is dat vooraf goed nadenken over welke vragen je wilt beantwoorden en welke informatie je daarvoor nodig hebt, helpt bij het vinden van de juiste gegevens. Weet je eenmaal waar de gegevens in de tabellen staan, dan is het voor de volgende keer zeer eenvoudig om de eventlog samen te stellen.
Een andere lesson learned bij het onderzoek naar de kwaliteit van de IT is dat de managers nog niet in alle gevallen ‘the next step’ hebben gezet. Ze hebben wel hun processen volledig gedigitaliseerd, maar waren zich nog niet bewust van wat er allemaal geregeld moest zijn om in control te zijn qua IT-aspecten die de integriteit van de data dienen te waarborgen. Dit bracht met zich mee dat er aanvullende werkzaamheden verricht moesten worden door de organisatie en door ons om de benodigde zekerheid te verkrijgen over de integriteit van de data. Het is belangrijk dat de organisatie het procesdenken stimuleert en dat gezorgd wordt dat aan de start van ieder (her) ontwerp, meteen sturing wordt meegenomen en niet pas achteraf.
Ook blijft het lastig om te bepalen hoe je om dient te gaan met alle afwijkingen die je tegenkomt. Laat je ze allemaal uitzoeken, dan is de organisatie nog meer tijd kwijt dan wanneer er op de ‘ouderwetse’ manier wordt gecontroleerd. Wij kiezen ervoor om alleen de afwijkingen die van belang zijn op de af te geven certificering te laten verklaren, zoals het doorbreken van de functiescheiding, beslissingen buiten mandaat of wanneer één persoon het proces geheel zelf had doorlopen. Daarbij hebben we de afwijkingen zoveel mogelijk gegroepeerd waarbij één oorzaak een antwoord kon zijn op meerdere afwijkingen. Het blijft zo dat een tool geen wondermiddel is, maar een hulpmiddel. De auditor en de gecontroleerde moeten niet verwachten dat wanneer je een eventlog hebt en een process-miningtool, je verder niets meer hoeft te doen. Verwachtingenmanagement is dan ook geen overbodige luxe.
 
KADER: Reactie manager RVO
“De methodiek van process mining waarmee de auditdienst onze dossierstromen van het afgelopen jaar in beeld heeft gebracht, bood mij als manager een interessant overzicht over het functioneren van mijn team. De kwaliteit van het werkproces komt goed in beeld, waarbij de doorlooptijden en de mate waarin de spelregels van de administratieve organisatie worden gehouden voor mij belangrijke uitkomsten vormen. Ik zou een dergelijke rapportage best jaarlijks willen hebben. Ook voor sommige Lean-analyses biedt dit interessant materiaal voor het vinden van knelpunten en mogelijkheden voor efficiencyverbetering.”
 
Toekomst
Nu ligt de rol van het toepassen van process mining nog bij de auditor, die zoals vaak de voortrekkersrol neemt1, maar we verwachten dat de interne controllers van de organisatie deze rol gaan overnemen. Wij als auditor hoeven dan slechts de werkzaamheden van de interne controle te reviewen. Hierdoor zal de controle-inspanning nog verder omlaag gaan.
 
Drs. J. van Bruchem RO EMIA is auditmanager bij Auditdienst Rijk. E-mail: j.bruchem@minfin.nl
 
Ing. Y.J.L. Soons RE  is senior auditor bij Auditdienst Rijk. E-mail: y.j.l.soons@minfin.nl
 
[1] KPMG (2012), Continuous auditing and continuous monitoring: The current status and the road ahead-KPMG’s EMA region survey (pp12), Nederland, KPMG
 

Tag

Onderwerp



Niet gevonden? Vraag het de redactie!

Heeft u het antwoord op uw vraag niet gevonden, of bent u op zoek naar specifieke informatie? Laat het ons weten! Dan zorgen we ervoor dat deze content zo snel mogelijk wordt toegevoegd, of persoonlijk aan u wordt geleverd!

Stel uw vraag