Kvantitativ analyse: velg riktig test og tolk ærlig

Statistikk er et verktøy for ærlighet, ikke for overbevisning. Riktig test og full rapportering slår imponerende p-verdier hver gang.

Test etter design, ikke etter resultat

Valget av test følger av datatype, antall grupper og spørsmål: sammenligning, sammenheng eller endring over tid. Bestem analysen før du ser dataene. Å prøve tester til noe blir «signifikant» (p-jakt) er en av de alvorligste feilene i kvantitativ forskning, og fagfeller ser det raskt.

Rapporter mer enn p-verdien

En p-verdi alene sier lite. Oppgi effektstørrelse, konfidensintervall og utvalgsstørrelse, slik at leseren kan vurdere både den statistiske og den praktiske betydningen. En liten p-verdi med en ubetydelig effekt er ikke en oppdagelse.

Forhåndsregistrering av hypoteser og analyse styrker troverdigheten og motvirker p-jakt — stadig mer forventet i seriøs forskning.

Sjekk forutsetningene

Enhver test hviler på forutsetninger — normalfordeling, varianshomogenitet, uavhengighet. Å sjekke og rapportere disse, og velge robuste alternativer når de brytes, er det som skiller pålitelig analyse fra tallmagi. Vær åpen når forutsetningene ikke holder.

Vanlige feller

• Å prøve tester til noe blir signifikant (p-jakt).
• Å rapportere p-verdi uten effektstørrelse.
• Å ignorere testens forutsetninger.

Klar til å gå videre når…

• Testen er valgt ut fra design, ikke resultat.
• Effektstørrelse og konfidensintervall er rapportert.
• Forutsetningene er sjekket og omtalt.