Efficiëntere loopbaanbegeleiding

Efficiëntere loopbaanbegeleiding
De Vlaamse Dienst voor Arbeidsbemiddeling en Beroepsopleiding gebruikt process mining-technieken om het loopbaanbegeleidingsproces te analyseren. In een pilotproject werd het online registratieplatform onder de loep genomen. De analyses tonen aan dat verbeteringen op het vlak van gebruiksvriendelijkheid, effectiviteit, en conversie mogelijk zijn.
Ellen Van Molle, An Vanderloock, prof. dr. Jochen De Weerdt e.a.
De Vlaamse Dienst voor Arbeidsbemiddeling en Beroepsopleiding (VDAB) heeft als missie om voor alle Vlaamse burgers ruimte te scheppen om hun loopbaan te ontwikkelen en op die manier de arbeidsmarktwerking vlotter te maken. Om de werkzoekende, werkende of werkgever een zo efficiënt mogelijke service aan te bieden streeft VDAB ernaar om met de nieuwste informaticatoepassingen te werken. Een voorbeeld hiervan is de ‘Mijn Loopbaan’-applicatie, een online platform dat zowel de werkzoekenden als werkenden ondersteunt, bijvoorbeeld tijdens de zoektocht naar werk. Verscheidene diensten worden aangeboden, zoals vacatures zoeken, solliciteren, cv’s beheren, begeleiding aanvragen, en opleiding- of loopbaancheques bestellen. Een cruciale stap in het loopbaanbegeleidingsproces bestaat uit de matching van het doel en de werksituatie van een nieuwe gebruiker met de juiste functionaliteiten in de ‘Mijn Loopbaan’applicatie. Omdat er verschillende gegevens nodig zijn om werkzoekenden en/of werkenden zo optimaal mogelijk te helpen, werden twee verschillende initiële subprocessen uitgetekend die in de vorm van een interactieve wizard (figuur 1) de nodige data (bijvoorbeeld studies, talenkennis, functievoorkeur) verzamelen. Het subproces voor niet-werkzoekenden is significant korter omdat minder informatie noodzakelijk is om hen efficiënt te helpen.
Figuur 1. Startscherm ‘Mijn Loopbaan’-applicatie met een keuze-wizard. Als de gebruiker ‘Ja’ of ‘Nee’ aanvinkt, komt hij in respectievelijk de lange of de korte wizard
 
Dataverzameling
Midden 2013 besloot VDAB om meer data te verzamelen over wat de gebruikers doen binnen ‘Mijn Loopbaan’. Zo wordt elke aanvraag om het dossier te wijzigen geregistreerd in de auditlogs. In november werd besloten om met behulp van process mining (van der Aalst, 2011) te onderzoeken hoe de klanten ‘Mijn Loopbaan’ in werkelijkheid gebruiken. De auditlogs hebben de volgende structuur (figuur 2) . In de eerste kolom staat het unieke interne klantennummer van de klant en in de tweede kolom de unieke gebruikersnaam waarmee deze klant is ingelogd. Eén van deze kolommen kan gebruikt worden voor de identificatie van de case. In de derde kolom staat de rol van de gebruiker. In dit geval keken we enkel naar de burgers waardoor de rol steeds ‘interne klant’ (IKL) is. In de vierde kolom staat de verstuurde aanvraag en in de vijfde kolom staat de timestamp waarop de aanvraag toekomt. Tot slot voegen we nog een artificiële sessie-ID toe.
Figuur 2. Fragment van de procesdata zoals verkregen uit de auditlogs van de applicatie
 
Tijdens de dataverzameling werden de volgende acties ondernomen om te kunnen omgaan met problemen van datakwaliteit en scope:
• De dataset bevat meerdere ‘duplicate records’ waardoor een aantal cijfers in de verdere analyses benaderend geïnterpreteerd moeten worden.
• Enkele cases werden geselcteerd waarbij de werkzoekende zelf, zonder hulp van een consulent, de applicatie gebruikt.
• Er werd een tijdsframe van drie weken gehanteerd. In samenspraak met bedrijfsexperts leek dit een goed evenwicht om enerzijds de hoeveelheid data te beperken en anderzijds voldoende generieke conclusies te kunnen trekken.
 
Toepassing process mining
Tot voor kort werden statische rapporten gegenereerd (aantal werklozen, scholingsgraad, et cetera), maar een effectieve analyse over hoe de applicatie werkelijk wordt gebruikt is niet beschikbaar. Hierdoor bestaan er binnen de organisatie enkel wilde veronderstellingen over de efficiëntie en effectiviteit van de applicatie uiteenlopend van “Niemand doorloopt de inschrijvingswizard volledig en als ze ze zich toch succesvol inschrijven, dan hebben ze er heel lang over gedaan”, “Ze gebruiken MLB alleen om een inschrijvingsbewijs aan te vragen (en dus om een uitkering te kunnen krijgen)”, tot “Onze gebruiker begrijpt dat niet”. Met de data die tot kort werd bijgehouden, kon ook niet direct een antwoord op deze vragen geboden worden. Daarom is er midden 2013 besloten ook de transactiedata, die weerspiegelt hoe de burger de applicatie gebruikt, te gaan loggen. Zeer snel bleek dat process mining-technieken een ideaal hulpmiddel kunnen zijn om adequaat en met beperkte mankracht een globaal beeld te schetsen van het proces dat gebruikers doorlopen. De toegepaste methodologie sluit voor een groot deel aan bij de beschrijving in De Weerdt et al. (2013). Aan de hand van de onderliggende data kon bovendien objectief geïillustreerd worden of bepaalde veronderstellingen of meningen klopten met de werkelijkheid of niet. Daarenboven blijken de analyses ook uiterst nuttig om op een onderbouwde manier na te denken over proces- en applicatieoptimalisaties. We belichten de drie belangrijkste inzichten.
 
Inzicht 1: Gebruiksvriendelijkheid & Efficiëntie
Gegeven de inherente klantgerichte focus van het loopbaanbegeleidingsproces vereist de applicatie een maximaal niveau van gebruiksvriendelijkheid. De analyses tonen echter aan dat verscheidene registratieactiviteiten veel hogere doorlooptijden hebben dan verwacht. Zo duurt het bijvoorbeeld gemiddeld drie minuten alvorens de gebruiker zijn of haar studies correct heeft ingevoerd, een bevinding die absoluut niet strookt met de verwachtingen van VDAB.
Figuur 3 geeft een globaal beeld van de prestaties (doorlooptijden) van het registratie-subproces. Activiteiten waarbij geen gegevens worden gewijzigd worden niet als dusdanig geregistreerd en geven aanleiding tot zogenaamde ‘skips’ in het ontdekte procesmodel. Naast de activiteit ‘Studie toevoegen’ geeft figuur 3 aan dat er nog twee activiteiten zijn die er qua doorlooptijd uit springen. Na afstemming met de bedrijfsexperts bleek het echter normaal dat enerzijds de activiteit waarbij de werkzoekende verplicht een gewenste baan dient te kiezen en dient aan te geven op welke tijdstippen hij/zij het liefst zou werken, relatief gesproken meer tijd in beslag neemt. Anderzijds is de activiteit waarbij aangeduid moet worden hoe goed de competenties (die bij de gekozen baan horen) reeds verworven zijn, onderhevig aan oplopende doorloop tijden. Omdat het hier gaat om het scoren van gemiddeld twintig competenties, is de langere doorlooptijd van de stap eenvoudig te verklaren.
Figuur 3. Performantieanalyse van het registratie-subproces (Disco® tool)
 
Inzicht 2: Effectiviteit
De process mining-analyses legden ook twee effectiviteitsproblemen bloot. Ten eerste zijn er veel gebruikers die vroegtijdig afhaken. Zo werd gevonden dat 4 procent van de gebruikers een inspanning leverde om persoonsgegevens in te geven, maar er uiteindelijk toch de brui aan gaven zodra ze naar één van de varianten van het registratie-subproces werden geleid. Voor de specifieke groep van werkzoekenden slaagde meer dan 10 procent er niet in om het volledige registratie-subproces te doorlopen. Een meer gedetailleerde analyse geeft aan dat de stap waarbij de studies moeten worden ingevoerd een groot struikelblok vormt aangezien ongeveer 40 procent van de werkzoekenden die niet succesvol de wizard doorlopen, afhaken bij deze stap. In combinatie met de efficiëntie-observatie, geeft dit duidelijk aan dat de activiteit waarbij gevraagd wordt naar de gevolgde studies, een belangrijke hinderpaal is voor de optimale werking van ‘Mijn Loopbaan’. Concrete aanbevelingen omtrent de ontwikkeling van een oplossing, bijvoorbeeld het omvormen van de huidige boomstructuur naar een intelligentere tekstgebaseerde zoekprocedure, werden naar voor geschoven. Een tweede effectiviteitsprobleem komt voor bij het selecteren van de juiste variant van het registratie-subproces. Frequent worden gebruikers teruggeleid naar de uitgebreidere variant voor werkzoekenden nadat ze de procedure als niet-werkzoekende hebben voltooid. 13 procent van de gebruikers die het verkorte registratieproces doorlopen, wijzigen nadien hun werksituatie. Indien de gebruiker hier aangeeft dat hij toch werkloos is, is dit een aanleiding om de uitgebreide wizard te starten omdat voor deze gebruikers meer data nodig is om hen optimaal te helpen. Bij 72 procent van de werksituatiewijzigingen, weten we dat de lange wizard getriggerd werd en tenminste gedeeltelijk doorlopen werd. Met deze analyses werd deels de opinie bevestigd die bij bedrijfsexperts leeft, dat voor eindgebruikers de complexiteit van het interactieve platform te groot is en ze daarom vroegtijdig afhaken tijdens het registratieproces. Concreet werd vastgesteld dat ongeveer 10 procent van de gebruikers afhaken of verkeerde keuzes maken bij het registratieproces. Anderzijds werd ook ontkracht dat ‘niemand’ het snapt, aangezien ongeveer 90 procent van de gebruikers zichzelf succesvol kan registreren.
 
Inzicht 3: Conversie
Het derde belangrijke inzicht is conversie na het doorlopen van het registratie-subproces. Aangezien de grootste meerwaarde voor de gebruiker ligt in de uitvoering van acties ná het doorlopen van de wizard, zoals bijvoorbeeld solliciteren, is sturing van de gebruikers na de registratie een zeer belangrijk aspect. De process discoveryanalyses tonen duidelijk aan dat er geen eenduidig pad, of eventueel meerdere eenduidige varianten, gevolgd wordt.
Idealiter zouden de activiteiten na het registratie-subproces gelijkaardige patronen vertonen over alle gebruikers heen omdat dit aantoont dat ze maximaal gebruik maken van de aangeboden functionaliteiten. In deze studie ligt de focus op de nieuwe gebruiker. Daarnaast zijn beperkte analyses uitgevoerd met betrekking tot wat de gebruiker doet indien hij/zij op een later tijdstip terugkeert naar ‘Mijn Loopbaan’. Wat betreft de bestaande gebruiker, werd aangetoond dat er een groot verschil bestaat met betrekking tot de gebruiksfrequentie van de functionaliteiten die aangeboden worden. Solliciteren (15 procent van de sessies) of wijzigen van de werksituatie (20 procent van de sessies) zijn vaak voorkomende handelingen. Op dit punt was het belangrijk om met de bedrijfsexperts samen te zitten en te bestuderen of de huidige observaties stroken met de verwachtingen. Uit initiële besprekingen blijkt inderdaad dat deze waarnemingen overeenkomen met de verwachtingen: het op tijd wijzigen van de werksituatie is een cruciale stap in het verkrijgen van een werkloosheidsuitkering, en was naar ieders verwachtingen een veel gebruikte functionaliteit. Het solliciteren op een vacature via VDAB, wat toch één van de kernfunctionaliteiten binnen ‘Mijn Loopbaan’ is, zou idealiter nog frequenter gebruikt moeten worden.
Daarom zal in een vervolgstudie in meer detail nagaan worden hoeveel vacatures een eindgebruiker bekijkt en hoeveel tijd hij/zij aan iedere vacature besteedt. Op basis van deze objectieve bevindingen kunnen de bedrijfsexperts betere beslissingen nemen voor het toekomstige (her)ontwerp van ‘Mijn Loopbaan’. Indien bepaalde functionaliteiten idealiter frequenter worden benut, kan er gebruik worden gemaakt van gerichte sturingselementen om de gebruikers beter te begeleiden. Anderzijds moet er ook kritisch nagedacht worden over weinig gebruikte functionaliteiten. Het kan nuttig kan zijn om bepaalde functies niet meer aan te bieden zodat de onderhoudskosten kunnen dalen. Ook kan het inzicht leiden tot het stimuleren van gedragsveranderingen zodat nuttige functies meer gebruikt worden. Deze gevalstudie is daarom een belangrijk startpunt om discussies hieromtrent cijfermatig te funderen opdat het gebruik van de applicatie nog beter kan inspelen op de behoeften van werkzoekenden én werkenden.
 
Conclusies
Het gebruik van process mining-technieken in het kader van het loopbaanbegeleidingsproces resulteerde in opmerkelijke resultaten. De objectiviteit van de analyses speelt een cruciale rol omdat meningen en opinies omtrent de kwaliteit van de ‘Mijn Loopbaan’-applicatie werden bevestigd of weerlegd op basis van hoe de werkzoekende/werkende in werkelijkheid gebruikmaakt van het interactieve platform. Concrete inzichten op het vlak van gebruiksvriendelijkheid, effectiviteit en conversie werden naar voren gebracht, waardoor specifieke verbeteringsinitiatieven op korte termijn zullen worden uitgevoerd.
We merken op dat het zo goed als onmogelijk zou zijn om gelijkaardige inzichten te verwerven wat betreft het loopbaanbegeleidingsproces enkel en alleen aan de hand van beschrijvende statistische analyses. De in deze studie toegepaste process mining-technieken (process discovery, filtering, variantenanalyse, visualisatie, en performantieanalyse) lieten het toe om op een doeltreffende manier een belangrijk onderdeel van het loopbaanbegeleidingsproces nauwkeurig in kaart te brengen.
 
Vervolg
De succesvolle toepassing van process mining in de context van het loopbaanbegeleidingsproces geeft ook aanleiding tot potentieel diepgaandere analyses in de toekomst. Vooreerst lijkt het ons nuttig om wat de dataverzameling betreft de auditlogs aan te vullen met additionele events uit de access-logs van de VDAB-webomgeving. Dit maakt een nog betere analyse mogelijk van de wijze waarop de applicatie wordt gebruikt. Een tweede belangrijk element bestaat uit de identificatie van gebruikersprofielen. Additionele variabelen zoals leeftijd en werksituatie kunnen gekoppeld worden aan procesvarianten van de loopbaanbegeleiding. Zo kunnen specifieke acties ondernomen worden naar bepaalde groepen. Een dergelijke aanpak op maat sluit nog beter aan om elke burger een zo persoonlijk mogelijke ondersteuning aan te bieden. Een derde mogelijk vervolgonderzoek is het in kaart brengen van de activiteiten van VDAB-consulenten. Zij zijn een cruciale actor in het loopbaanbegeleidingsproces en het lijkt ons haalbaar om de data hierover te correleren met de activiteiten van de gebruiker en op die manier een totaalbeeld te schetsen van de volledige levensloop van iedere klant. Dit zou ons niet alleen in staat stellen om de impact van de tussenkomst van de consulenten objectief in te schatten, maar zou ook kunnen helpen om gericht na te gaan of de initiatieven om werkzoekenden te stimuleren om zelf actiever gebruik te maken van de functionaliteiten effect hebben. Het doel is om vanuit de huidige nulmeting een aantal concrete verbeteringen door te voeren en in een vervolgproject na te gaan of deze verbeteringen effect hebben.
 
Prof. Dr. Jochen De Weerdt is Assistant Professor, KU Leuven. E-mail: jochen.deweerdt@kuleuven.be
Mede-auteurs van dit artikel zijn:
prof. dr. Luc Sels, prof. dr. Bart Baesens, prof. dr. Wilfried Lemahieu (allen Full Professor, KU Leuven)
Ellen Van Molle (Data Scientist), An Vanderloock (Functional Analyst), Erik Klewais en Dominiek Bouckaert (beide projectleider ICT - Innovatie, VDAB).
 
Literatuur
van der Aalst, W.M.P. (2011). Process Mining - Discovery, Conformance and Enhancement of Business Processes. Heidelberg: Springer. De Weerdt, J., Schupp, A., Vanderloock, A., Baesens, B. (2013).
Process Mining for the multi-faceted analysis of business processes - A case study in a financial services organization. Computers in Industry 64, 57-67.
 

Tag

Onderwerp



Niet gevonden? Vraag het de redactie!

Heeft u het antwoord op uw vraag niet gevonden, of bent u op zoek naar specifieke informatie? Laat het ons weten! Dan zorgen we ervoor dat deze content zo snel mogelijk wordt toegevoegd, of persoonlijk aan u wordt geleverd!

Stel uw vraag