Onzekerheidsmarges geven? Dat is zó passé

IK KOM ER toch nog even op terug: de ‘Global Drug Survey’, dat onderzoek waaruit zou blijken dat Nederland na Ierland en Denemarken hét land is met de meeste probleemdrinkers. Breeduit in het nieuws geweest, van Nieuwsuur tot Metro, ook al viel er van alles op het onderzoek af te dingen – lees vooral deze factcheck erop na, of bekijk anders het filmpje onderaan deze pagina.

Maar het alcoholische muisje heeft een bizar staartje.

Want terwijl de schijnwerper van de media-aandacht zich weer op andere zaken richtte, vroeg ik nog wat door. Want zo’n top drie van probleemdrinkende landen, snijdt dat eigenlijk wel hout? Het gaat hier immers om steekproefonderzoek. En uitkomsten van steekproeven, daar horen onzekerheidsmarges bij. Zou Nederland nog steeds op drie staan als je die meerekent? Misschien verschilt onze probleemdrinkscore wel helemaal niet significant van landen als Schotland, België of Mexico.

armslag gds
De waarschuwing in het GDS-rapport: niet te gebruiken voor landelijke schattingen!

Vooruit dus, graag even die onzekerheidsmarges. Maar op zó’n vraag had Floor van Bakkum van de Jellinek-kliniek, die de resultaten in ons land met veel enthousiasme in het nieuws verkondigde, niet gerekend. Onzekerheidsmarges? Nee, die had Van Bakkum niet. Misschien wisten ze het op het hoofdkantoor in Engeland.

Maar ook daar bleek men de marges rond de getallen niet zomaar te kunnen leveren. ‘Aangezien dit voorlopige analyses zijn, verschaffen we dit soort aanvullende details normaal gesproken niet,’ mailde de coördinator van het onderzoek, psychiater Adam Winstock.

Pardon, de onzekerheidsmarges, een ‘aanvullend detail’? Ik besloot door te vragen.

Want waarom brengt de Global Drug Survey zijn onderzoeksresultaten eigenlijk naar buiten in de vorm van hippe ranglijstjes? Het is toch zeker geen wedstrijdje veelzuipen of zoiets? In het rapport staat nota bene nadrukkelijk een disclaimer: onze cijfers gaan alleen over de uitgaansscene, en beslist niet over de héle bevolking van de onderzochte landen.

Het werd een paar dagen stil, maar daarna antwoordde Winstock uitgebreid en openhartig.

‘Jaren van ervaring’ hebben ertoe geleid dat men de nuances maar wegliet, mailde Winstock. ‘De competitie om ruimte betekent vaak dat er toch weinig ruimte is om onze methodes en beperkingen aan te geven – hoewel die worden benadrukt in onze rapporten, op onze website en vooral in de wetenschappelijke publicaties.’

‘We beseffen dat sommige media onderzoeksbevindingen graag vergelijken en tegen elkaar afzetten, op zoek naar een haakje om het verhaal te vertellen. We kunnen wel foutmarges presenteren, maar dat zou mediapartners er toch niet van weerhouden om landen in volgorde te zetten en met elkaar te vergelijken.’

Dus eigenlijk: de media maken toch overal een wedstrijd van, dus doen wij het alvast zelf. Het is net zoiets als alvast je eigen voordeur forceren, omdat anders die inbrekers het maar zouden doen. Raarrrr. En dom: uit onderzoek blijkt dat bij medisch nieuws veel van de overdrijvingen niet bij de media zitten – maar in de persberichten.

En die onzekerheidsmarges?

Die heb uiteindelijk gewoon zelf even ruw berekend. En zoals viel te verwachten is Nederland niet per se derde van de ongeveer 30 onderzochte landen, net zo min als Denemarken eerste is en Ierland tweede. We zitten ergens in een kopgroep van landen waar men in de uitgaansscene veel en heftig drinkt, samen met Denemarken, Noorwegen, Zweden, Canada, Nieuw-Zeeland, Ierland, het Verenigd Koninkrijk, Colombia en België.

Zie je nou wel dat het best kan, onderzoeksresultaten brengen zonder gedoe over wie op kop loopt en wie niet?

Moeten die onderzoekers alleen wél de onzekerheidsmarges erbij geven.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s