Tidsskrift for norsk psykologforening
04.07.2017
Når vi forsøker å gjøre tidligere studier om igjen, får vi ikke alltid de samme resultatene. Replikasjonskrisen har kastet skygger over psykologifaget. Hva kan gjøres?
I henhold til etiske prinsipper for nordiske psykologer (Norsk psykologforening, 1998) skal vår praksis bygge på vitenskapelige prinsipper og vitenskapelig kunnskap. Dette har vi gjerne tolket som at vi skal basere arbeidet vårt på effekter som er vist i vitenskapelige studier publisert i fagfellevurderte tidsskrift. Vi har stolt på den vitenskapelige metoden, forskernes praksis, fagdisiplinens tradisjoner for publisering og formidling, og at det er mekanismer for selv-korreksjon som gjør at psykologifaget stadig kommer nærmere en riktig beskrivelse av hvordan sinnet fungerer.
Det har imidlertid de siste årene blitt tydelig for oss at det kan være brister i fundamentet som psykologien bygger på. Når forskere forsøker å gjenta tidligere forskningsstudier, altså «å replikere» studiene, klarer de ofte ikke å finne de samme resultatene. Den økende oppmerksomheten rundt dette kalles ofte for «replikasjonskrisen», og kan få konsekvenser for psykologifagets forskning og praksis.
SKUFFENDE REPLIKASJONER
Noen av studiene som har vist seg å ikke få samme resultat når forskere forsøker å gjøre dem på nytt, er studier som har etablert grunnleggende antagelser om hvordan vi fungerer. Dette gjelder studier som har vist at detaljer i omgivelsene som vi ikke legger merke til, kan ha en stor innvirkning på hvordan vi oppfører oss («goal priming»-forskning), at motivasjon er en begrenset ressurs («ego-depletion» effekten), at våre ansiktsuttrykk påvirker humøret («facial-feedback» hypotesen), at menn blir mer konkurranserettede når det er kvinner i nærheten («romantic priming»), eller at selvbildet vårt blir viktigere for oss av å tenke på døden («terror management theory»). Andre studier som har vært vanskelige å replikere, har gått på mer perifere effekter, som at bestemte kroppsholdninger gjør oss mer selvsikre («power posing»), at vi får bedre forståelse for andre av å lese skjønnlitteratur, eller føler et behov for å vaske oss etter å ha gjort noe umoralsk («Macbetheffekten»). Noen av disse studiene må nå sies å være «falsifisert» av nyere forskning, mens andre har blitt trukket i tvil, og vi venter på mer endelige studier for å avgjøre kontroversen.
Det har vært mest oppmerksomhet om slike problemer innenfor grunnforskning i sosialpsykologi (Kahneman, 2012), men det får nå også mer oppmerksomhet innenfor andre eksperimentbaserte retninger, som kognitiv psykologi og nevrovitenskapelig forskning. For eksempel var det et lovende forskningsfelt som så på hvordan hormonet oxytocin spilte en rolle i menneskelig tilknytning, mens vi i dag er mer usikre på dette (Lane et al. , 2015). Videre ble det nylig (Poldrack et al. , 2017; Szucs & Ioannidis, 2017; Yarkoni, 2009) pekt på at fMRI-studier oftest har for lav statistisk kraft til å trekke konklusjoner, at effektene ofte er små, at det er en rekke urapporterte valg som tas i analysen, og at noen av de statistiske metodene har svakheter (Eklund, Nichols, & Knutsson, 2016).
Så langt har høydepunktet for replikasjonskrisen kommet fra forskningen knyttet til «Reproducibility initiative project» (Open Science Collaboration, 2015). Der samarbeidet 270 forskere fra flere land om å replikere 100 studier som ble publisert i tre av psykologiens ledende tidsskrift mellom 2010 og 2012. Selv med hjelp fra de opprinnelige forskerne klarte de bare å få samme resultat i mindre enn halvparten av replikasjonene. Resultatene ser ut til å ha overrasket og skuffet en del forskere og fagfolk som antok at flertallet av publiserte studier ville la seg replikere.
Inntrykket vi sitter igjen med etter replikasjonskrisen, er en mistanke om at mye av den publiserte forskningen ikke er reliabel, noe som tvinger oss til å være kritiske til en del av teoriene og praksisene som er utviklet på feltet. Vi kan ikke regne effekter som etablerte selv om de ser ut til å teste troverdige hypoteser, resultatene er kompatible med tidligere forskning, metoden virker solid, forskerne er kompetente, og artikkelen er fagfellevurdert i velrennomerte tidsskrift. Det er ikke noe spesielt som kjennetegner de studiene som ikke har latt seg replikere - faktisk ser det ut til at replikasjonsraten kan være lavere for hyppig siterte studier publisert i topp-tidsskrift (Ioannidis, 2005).
Hovedproblemet er kanskje ikke at noen studier har vist seg å være vanskelige å replikere, men at vi svært sjelden forsøker å replikere studier. Det meste av forskningen tar for gitt at det som er publisert er riktig, og forsøker å bygge videre på det, heller enn å se behovet for å replikere tidligere studier.
For mange av oss har replikasjonskrisen ført til en skepsis både til tidligere funn og ny forskning, og en endring i hva vi tenker på som robust psykologisk forskning.
ÅRSAKER TIL REPLIKASJONSKRISEN
Årsakene til replikasjonskrisen kan føres tilbake til svakheter ved måten psykologisk forskning vanligvis gjøres på, og til mekanismer som påvirker hvordan forskerne jobber, og hva som publiseres.
Forskningspraksiser som årsak
Det meste av publisert psykologisk forskning baserer seg på «null-hypotese-signifikanstesting. » For å bli publisert med en slik tilnærming er det avgjørende at du kan vise en statistisk test med en signifikansverdi lavere enn et gitt kriterium (ofte satt til p = 0,05). Det fører til at forskeren er sterkt motivert til å finne signifikante resultater i analysene sine. Selv om det har vært flere høyt profilerte tilfeller av juks i psykologisk forskning, regner vi med at dette bare i mindre grad bidrar til replikasjonskrisen. Derimot har det blitt vist (John, Loewenstein, & Prelec, 2012) at det er relativt utbredt med forskningspraksiser som ligger i gråsonen for det akseptable. Det å forsøke en rekke statistiske tilnærminger for å finne et signifikant resultat kalles noen ganger «p-hacking». Dette kan være ulike metodiske grep som ligger i spennet mellom «allmenn» og «uetisk» forskningspraksis, som å forsøke ut flere utfallsmål og interaksjoner, fjerne avvikende datapunkt, eller å samle mer data, til en finner en effekt som er statistisk signifikant. En annen tilnærming er at hypotesene kan være temmelig vage og uspesifiserte i begynnelsen av studien, men at de justeres, tilpasses og konkretiseres etter at en har sett på dataene (såkalt HARKing - «hypothesizing after the results are known»). I den publiserte forskningsartikkelen ser det da ut som at en har klart å predikere nøyaktig den sammenhengen som viste seg i data, heller enn at dette bare er en av man
Gå til medietDet har imidlertid de siste årene blitt tydelig for oss at det kan være brister i fundamentet som psykologien bygger på. Når forskere forsøker å gjenta tidligere forskningsstudier, altså «å replikere» studiene, klarer de ofte ikke å finne de samme resultatene. Den økende oppmerksomheten rundt dette kalles ofte for «replikasjonskrisen», og kan få konsekvenser for psykologifagets forskning og praksis.
SKUFFENDE REPLIKASJONER
Noen av studiene som har vist seg å ikke få samme resultat når forskere forsøker å gjøre dem på nytt, er studier som har etablert grunnleggende antagelser om hvordan vi fungerer. Dette gjelder studier som har vist at detaljer i omgivelsene som vi ikke legger merke til, kan ha en stor innvirkning på hvordan vi oppfører oss («goal priming»-forskning), at motivasjon er en begrenset ressurs («ego-depletion» effekten), at våre ansiktsuttrykk påvirker humøret («facial-feedback» hypotesen), at menn blir mer konkurranserettede når det er kvinner i nærheten («romantic priming»), eller at selvbildet vårt blir viktigere for oss av å tenke på døden («terror management theory»). Andre studier som har vært vanskelige å replikere, har gått på mer perifere effekter, som at bestemte kroppsholdninger gjør oss mer selvsikre («power posing»), at vi får bedre forståelse for andre av å lese skjønnlitteratur, eller føler et behov for å vaske oss etter å ha gjort noe umoralsk («Macbetheffekten»). Noen av disse studiene må nå sies å være «falsifisert» av nyere forskning, mens andre har blitt trukket i tvil, og vi venter på mer endelige studier for å avgjøre kontroversen.
Det har vært mest oppmerksomhet om slike problemer innenfor grunnforskning i sosialpsykologi (Kahneman, 2012), men det får nå også mer oppmerksomhet innenfor andre eksperimentbaserte retninger, som kognitiv psykologi og nevrovitenskapelig forskning. For eksempel var det et lovende forskningsfelt som så på hvordan hormonet oxytocin spilte en rolle i menneskelig tilknytning, mens vi i dag er mer usikre på dette (Lane et al. , 2015). Videre ble det nylig (Poldrack et al. , 2017; Szucs & Ioannidis, 2017; Yarkoni, 2009) pekt på at fMRI-studier oftest har for lav statistisk kraft til å trekke konklusjoner, at effektene ofte er små, at det er en rekke urapporterte valg som tas i analysen, og at noen av de statistiske metodene har svakheter (Eklund, Nichols, & Knutsson, 2016).
Så langt har høydepunktet for replikasjonskrisen kommet fra forskningen knyttet til «Reproducibility initiative project» (Open Science Collaboration, 2015). Der samarbeidet 270 forskere fra flere land om å replikere 100 studier som ble publisert i tre av psykologiens ledende tidsskrift mellom 2010 og 2012. Selv med hjelp fra de opprinnelige forskerne klarte de bare å få samme resultat i mindre enn halvparten av replikasjonene. Resultatene ser ut til å ha overrasket og skuffet en del forskere og fagfolk som antok at flertallet av publiserte studier ville la seg replikere.
Inntrykket vi sitter igjen med etter replikasjonskrisen, er en mistanke om at mye av den publiserte forskningen ikke er reliabel, noe som tvinger oss til å være kritiske til en del av teoriene og praksisene som er utviklet på feltet. Vi kan ikke regne effekter som etablerte selv om de ser ut til å teste troverdige hypoteser, resultatene er kompatible med tidligere forskning, metoden virker solid, forskerne er kompetente, og artikkelen er fagfellevurdert i velrennomerte tidsskrift. Det er ikke noe spesielt som kjennetegner de studiene som ikke har latt seg replikere - faktisk ser det ut til at replikasjonsraten kan være lavere for hyppig siterte studier publisert i topp-tidsskrift (Ioannidis, 2005).
Hovedproblemet er kanskje ikke at noen studier har vist seg å være vanskelige å replikere, men at vi svært sjelden forsøker å replikere studier. Det meste av forskningen tar for gitt at det som er publisert er riktig, og forsøker å bygge videre på det, heller enn å se behovet for å replikere tidligere studier.
For mange av oss har replikasjonskrisen ført til en skepsis både til tidligere funn og ny forskning, og en endring i hva vi tenker på som robust psykologisk forskning.
ÅRSAKER TIL REPLIKASJONSKRISEN
Årsakene til replikasjonskrisen kan føres tilbake til svakheter ved måten psykologisk forskning vanligvis gjøres på, og til mekanismer som påvirker hvordan forskerne jobber, og hva som publiseres.
Forskningspraksiser som årsak
Det meste av publisert psykologisk forskning baserer seg på «null-hypotese-signifikanstesting. » For å bli publisert med en slik tilnærming er det avgjørende at du kan vise en statistisk test med en signifikansverdi lavere enn et gitt kriterium (ofte satt til p = 0,05). Det fører til at forskeren er sterkt motivert til å finne signifikante resultater i analysene sine. Selv om det har vært flere høyt profilerte tilfeller av juks i psykologisk forskning, regner vi med at dette bare i mindre grad bidrar til replikasjonskrisen. Derimot har det blitt vist (John, Loewenstein, & Prelec, 2012) at det er relativt utbredt med forskningspraksiser som ligger i gråsonen for det akseptable. Det å forsøke en rekke statistiske tilnærminger for å finne et signifikant resultat kalles noen ganger «p-hacking». Dette kan være ulike metodiske grep som ligger i spennet mellom «allmenn» og «uetisk» forskningspraksis, som å forsøke ut flere utfallsmål og interaksjoner, fjerne avvikende datapunkt, eller å samle mer data, til en finner en effekt som er statistisk signifikant. En annen tilnærming er at hypotesene kan være temmelig vage og uspesifiserte i begynnelsen av studien, men at de justeres, tilpasses og konkretiseres etter at en har sett på dataene (såkalt HARKing - «hypothesizing after the results are known»). I den publiserte forskningsartikkelen ser det da ut som at en har klart å predikere nøyaktig den sammenhengen som viste seg i data, heller enn at dette bare er en av man
