Hoe Houd Je Voorspellende Fraudemodellen Accuraat In Uitzonderlijke Tijden?

De schappen in de supermarkt vertoonden nog steeds lege plekken toen ik afgelopen week boodschappen deed. Herkenbaar? We worden constant gerustgesteld dat bevoorradingsketens geen gevaar lopen, maar volgens een onderzoek van het Institute for Supply Management had driekwart van de bedrijven op 11 maart al last van verstoringen in de toeleveringsketen.

Er lijkt nog steeds een tekort te zijn aan veel artikelen, nu gezinnen zoveel mogelijk thuisblijven vanwege COVID-19. Mensen die gewend waren veel uit eten te gaan, koken nu meestal thuis. Velen hamsteren pasta, wc-papier en zaken die de gemiddelde consument voorheen zelden kocht, zoals gist. Het zijn rare tijden.

Technologie laat ons in de steek

Het is niet zo moeilijk te begrijpen waarom we lege schappen zien in de supermarkt. Mensen proberen de kosten van levensonderhoud zo laag mogelijk te houden. Ze leren zelf brood bakken. En de noodzaak van wc-papier is duidelijk. Maar er is nog een reden dat de winkels leeg zijn: de wetenschappelijke gegevensmodellen laten ons in de steek.

De toeleveringsketens in de detailhandel zijn in hoge mate afhankelijk van modellen die voorspellen hoeveel artikelen wanneer nodig zijn. We weten bijvoorbeeld dat de vraag naar ijsjes in de zomer hoger is dan in de winter. Voor grote sportevenementen worden de voorraden chips en bitterballen aangevuld. Als de herfst zijn intrede doet, wordt zonnemelk vervangen door truien met lange mouwen.

Afwijkingen zorgen voor verstoring

Deze voorspellende modellen maken gebruik van gegevens en trends van de afgelopen jaren om een zo accuraat mogelijke inschatting te doen van de vraag in de komende periode. In de modellen wordt rekening gehouden met algemene trends, nationale feestdagen, dagen van de week, etc. En ze zitten er zelden naast. Echter, COVID-19 heeft laten zien dat deze modellen hun beperkingen kennen en niet altijd betrouwbaar zijn... en het soms volledig laten afweten. Daarom worstelen veel retailers met het volgende:
-De gegevens van voor COVID-19 zeggen niets over de vreemde sprongen die de vraag van consumenten maakt tijdens de crisis
-De gegevens die tijdens COVID-19 zijn verzameld, zijn te beperkt om nauwkeurige voorspellingen te doen
-De gegevens van na COVID-19 geven de toekomst niet accuraat weer en zijn daarmee niet bruikbaar

Omgaan met uitzonderlijke tijden

Modellen zijn altijd onderhevig aan invloeden en de kwaliteit van modellen neemt na verloop van tijd af. Eric Weinsbert van Novarica stelt dat voorspellende modellen averechts kunnen werken in deze tijd. Dit zijn natuurlijk bijzondere tijden en ons team heeft veel tijd geïnvesteerd om te achterhalen welke uitwerking dit kan hebben op onze modellen. In tijden van crisis, economische onzekerheid of andere verstoringen, neemt het team van FRISS een aantal belangrijke maatregelen om te zorgen dat onze modellen optimaal presteren:
-De prestaties van de modellen worden voortdurend gecontroleerd op nauwkeurigheid en succespercentage
-Modellen worden periodiek aangepast, waarbij nieuwe gegevens worden toegevoegd, in de zoektocht naar nieuwe functionaliteit en trends
-Klanten wordt om feedback gevraagd, waarmee we de effectiviteit van onze modellen behouden en vergroten

Controle houden

We hebben onlangs een daling gezien van het aantal claims als gevolg van COVID-19, waarbij enkele activiteiten een afname van 50% vertoonden. Tegelijkertijd zien we dat onze modellen op hetzelfde hoge niveau presteren als voor de uitbraak van COVID-19. Het virus heeft onze voorspellende modellen niet onbruikbaar gemaakt.

Als Hoofd Data Science van FRISS ben ik trots dat het ons is gelukt de controle te behouden in deze uitzonderlijke tijden. Daarbij helpt het zeker dat ik in het gezelschap verkeer van een fantastisch team van zeer bekwame Data Scientists. Als je meer wilt weten over de manier waarop wij onze voorspellende fraudemodellen inzetten, bekijk dan vooral even de volgende vlogs van Daan Bakker en Gian Luigi Chiesa.

Daan Bakker: De voordelen van real-time risicoinschatting voor verzekeraars
Gian Luigi Chiesa: De noodzaak van verklaarbare modellen bij kunstmatige intelligentie