Een marketingmanager lanceert een campagne, ziet het aantal conversies stijgen en concludeert dat de campagne werkt. Drie weken later merkt een collega op dat de stijging samenvalt met een seizoenspiek. Zonder grondige statistische analyse berust de beslissing om de campagne te herhalen op drijfzand. Precies dit soort valkuilen helpen statistische data-analysemethoden voorkomen.
Correlatie en causaliteit: de valkuil die zakelijke beslissingen ondermijnt
Een statistisch verband wordt regelmatig verward met een oorzakelijk verband. Twee variabelen veranderen tegelijk en daaruit wordt afgeleid dat de ene de andere veroorzaakt. Die fout kan duur uitpakken wanneer ze invloed heeft op een budget of productstrategie.
Een statistisch verband bewijst op zichzelf geen causaal effect. Om een werkelijk effect vast te stellen, is een geschikte onderzoeksopzet nodig: randomisatie, een controlegroep of op zijn minst een analyse die rekening houdt met verstorende variabelen. En zelfs bij een correcte randomisatie geldt het resultaat alleen voor de onderzochte steekproef, en niet noodzakelijk voor de volledige doelgroep.
Voordat je een conclusie trekt, is het verstandig om jezelf twee afzonderlijke vragen te stellen: houden de variabelen verband met elkaar? En vooral: wat zou een concrete interventie veranderen? De eerste vraag valt onder beschrijvende statistiek. De tweede vereist een experimenteel of quasi-experimenteel kader. Die twee verwarren is toeval aanzien voor bewijs. Wie zich verder wil verdiepen in de methoden voor statistische data-analyse die bij elke situatie passen, doet er goed aan de aanpak rechtstreeks af te stemmen op de vraag.
Statistische toetsen: wat een niet-significant resultaat werkelijk zegt
Een wijziging op een e-commercewebsite wordt getest. De A/B-test laat geen significant verschil zien tussen de twee versies. Een veelvoorkomende conclusie: de wijziging heeft geen nut. Die interpretatie is vaak onjuist.
Een niet-significant resultaat bewijst niet dat er geen effect is. Het kan simpelweg betekenen dat de steekproef te klein is of de schatting te onnauwkeurig om een verandering te detecteren die er wel degelijk is. Dit onderscheid is essentieel voor de besluitvorming: een veelbelovende mogelijkheid laten varen op basis van een test met te weinig statistische power is potentieel verspillen.
Om te concluderen dat er werkelijk geen verschil is, is een specifieke onderzoeksopzet nodig. We spreken dan van een equivalentie- of non-inferioriteitsanalyse, waarvoor vooraf een marge moet worden vastgesteld waarbinnen een verschil als verwaarloosbaar wordt beschouwd. Zonder zo’n marge zegt een klassieke toets niets over de afwezigheid van een effect.
Steekproefgrootte en power van de toets
De power van een toets is het vermogen om een effect te detecteren wanneer dat bestaat. Die hangt rechtstreeks af van de steekproefgrootte en de omvang van het gezochte effect. Hoe kleiner het verwachte effect, hoe meer waarnemingen nodig zijn om het op te sporen.
In de praktijk bereken je de benodigde steekproefgrootte voordat je de test start, niet achteraf. Veel teams verzamelen gegevens gedurende een willekeurig gekozen periode en voeren daarna pas de toets uit. Door de steekproefgrootte vooraf vast te stellen, voorkom je overhaaste conclusies.
Meervoudige analyses en opportunistisch stoppen: zelfgecreëerde fout-positieven
Een analist onderzoekt de klanttevredenheid per leeftijdsgroep, regio, acquisitiekanaal en producttype. Van de twintig geteste subgroepen laat er slechts één een significant resultaat zien. Dat resultaat wordt uitgelicht in het rapport. Het probleem: hoe meer toetsen je uitvoert, hoe groter de kans dat je automatisch een fout-positief vindt.
Veel indicatoren of subgroepen testen en vervolgens alleen het gunstige resultaat rapporteren, heet statistisch cherry-picking. Het risico op een fout-positief, dat normaal gesproken is afgestemd op één toets, neemt explosief toe zodra je meerdere toetsen uitvoert zonder correctie.
De valkuil van voortijdig stoppen
Een andere veelvoorkomende praktijk: je start een test, bekijkt de resultaten elke dag en stopt zodra er significantie wordt bereikt. Dit gedrag vertekent de beslisdrempel van de klassieke toets volledig, omdat die uitgaat van een steekproef met een vaste omvang.
Er zijn twee oplossingen om deze behoefte aan doorlopende monitoring op te vangen:
- Correctie voor meervoudig toetsen (Bonferroni, Holm): de significantiedrempel wordt aangepast aan het aantal uitgevoerde vergelijkingen, waardoor het risico op een fout-positief afneemt
- Sequentiële methoden: deze zijn ontworpen om tussentijdse analyses mogelijk te maken en tegelijk het totale foutenpercentage te beheersen. Ze leggen vóór de start van de gegevensverzameling een stopregel vast
- Voorregistratie van de analyse: vooraf worden de getoetste hypothesen, onderzochte subgroepen en besliscriteria vastgelegd, zodat selectief kiezen achteraf wordt voorkomen
De juiste statistische methode kiezen op basis van de praktijkvraag
De keuze voor een methode hangt af van de aard van de gegevens en de vraag die je wilt beantwoorden. In het bedrijfsleven kom je doorgaans drie terugkerende situaties tegen.
De eerste: samenvatten wat je waarneemt. Beschrijvende statistiek, gemiddelden, medianen en spreiding. Je probeert de verdeling van een verschijnsel te begrijpen voordat je een model opstelt. Deze stap wordt vaak afgeraffeld, terwijl ze al bruikbare trends en afwijkingen aan het licht kan brengen die nader onderzoek verdienen.
De tweede: groepen of perioden vergelijken. Hypothesetoetsen en betrouwbaarheidsintervallen. Je wilt weten of een waargenomen verschil op een echte verandering wijst of slechts statistische ruis is. Dit is typisch voor een A/B-test in marketing of kwaliteitscontrole in de productie.
De derde: voorspellen of verklaren. Regressie en multivariate modellen. Je onderzoekt welke variabelen een resultaat beïnvloeden en in welke mate. Lineaire regressie is nog altijd het toegankelijkste hulpmiddel voor dit soort vragen, mits je controleert of de gegevens voldoen aan de aannames van het model.
De keuze tussen deze benaderingen kan afhangen van de beschikbare hoeveelheid gegevens en de gewenste nauwkeurigheid: soms volstaat een beschrijvende analyse om snel richting te geven aan een beslissing, terwijl een voorspellend model een omvangrijkere dataset en validatie vereist.
De rol van visualisatie bij de interpretatie
Voordat je een toets of model uitvoert, helpt het visualiseren van de ruwe gegevens interpretatiefouten te voorkomen. Een histogram of spreidingsdiagram brengt uitschieters, scheve verdelingen of afzonderlijke subgroepen aan het licht die in een cijfermatige samenvatting verborgen blijven.
Met tools zoals geavanceerde spreadsheets of gespecialiseerde statistische software kun je deze visualisaties maken zonder programmeerkennis. Het gaat niet om grafische verfijning, maar om het vermogen om in de gegevens te herkennen wat de oorspronkelijke hypothese tegenspreekt.
Betere beslissingen nemen op basis van statistische gegevens vereist geen beheersing van geavanceerde wiskunde. Correlatie van causaliteit onderscheiden, toetsen correct dimensioneren en niet ongecontroleerd steeds meer analyses uitvoeren: daarmee voorkom je de meeste fouten in de besluitvorming. Voor het overige komt het neer op een zorgvuldige uitvoering.
