Statistikken er i tillegg såpass komplisert at det kan være ganske enkelt å trikse med resultatene uten særlig risiko for å bli oppdaget.
- Det skal mye til å sette seg inn i data, metoder og utregninger i en studie. Det er ganske få som har kompetansen til å gå grundig inn i andres statistiske analyser, sier Holden, som er administrerende direktør i Norsk Regnesentral (NR).
Krise!
Hvorfor er statistikk så viktig i forskning? Statistiske metoder gjør det mulig å undersøke et utvalg for å trekke konklusjoner om en helhet. Medisiner prøves ut på grupper med forsøkspersoner i flere runder, før det kan antas at de vil virke bra for folk flest. En utvalgt gruppe mennesker får spørsmål om sine politiske preferanser så samfunnsforskeren kan vurdere hvor stor oppslutning de ulike partiene har for tiden.
«Reproduserbarhetskrisen» er navnet på et mye omtalt uføre forskningen har stått i de siste tiårene - og det handler ikke om at forskere har problemer med å formere seg. En stor andel publiserte forskningsfunn kan ikke gjenskapes.
Selv med tilgang til de originale dataene og regneverktøyene, så går det ikke. Selve dataanalysene lar seg ikke repetere. Forskeres misbruk og/eller manglende forståelse av statistikk blir nesten alltid trukket frem som en viktig forklaring på krisen.
- Det er så utrolig mye som kan gjøres feil. Flere ting enn det forskerne har beskrevet i en studie, kan ha innvirkning, sier Anders Løland, assisterende forskningssjef ved NR.
Her er sju vanlige feilskjær:
1. Dårlig datagrunnlag
Størrelsen på utvalget og utvelgelsesmetodene er viktige valg for alle forskere.
- Det er en vanlig misforståelse at det alltid er best med et stort utvalg og masse data. Et utvalg som ikke er representativt, er mye verre enn et lite utvalg, sier Jan Terje Kvaløy, professor ved Universitetet i Stavanger.
Han ser for seg et tenkt eksperiment hvor forskere spør 10 000 næringslivsledere om synet på norsk EU-tilknytning.
- Det vil ikke akkurat gi representative data for befolkningen som helhet. Et representativt utvalg på 500 personer vil gi et mye riktigere bilde, sier professoren.
Andre ganger er det mindre åpenbart at et utvalg er skeivt, som i en amerikansk undersøkelse fra 2015. Den så på 35 000 tenåringer som kom til legevakten etter ATV-ulykker, og viste at det gikk bedre med de som ikke hadde brukt hjelm.
- Problemet er at
