Men PISA-undersøkelsen er ikke mye verdt, skal vi tro de to danske forskerne og statistikerne Peter Allerup og Inge Henningsen. I den nye boken Pisa-matematik kommer de med knallhard metodisk kritikk av det som er verdens største elevtest.
- Bare underholdning?
Pedagogikkprofessor Peter Allerup sier til nyhetsportalen Alltinget at PISA ikke har predaktiv validitet - altså evnen til å bruke resultatene fremadrettet.
- Den kan ikke brukes til å forutsi noe som helst om hva barn kan. Man må derfor spørre seg hvorfor i huleste de lager undersøkelsen. Er det bare for daglig underholdning og sammenligning skolene imellom. Er det bare et fastelavnseventyr? spør han.
Forskerne er for eksempel svært kritiske til elevinndelingen som PISA legger opp til på bakgrunn av PISA-scoren. Her legger man, ifølge forskerne, opp til at 17-18 prosent av alle elevene i samtlige land havner i kategorien funksjonelle analfabeter. Dette tallet er fullstendig tilfeldig valgt, ifølge forskerne.
- PISA-konsortiumet har på forhånd bestemt at det skal være 18 prosent, og ikke for eksempel 12 eller 14 prosent, funksjonelle analfabeter. Selv om denne gruppen, som har fått den laveste PISA-scoren, har forbedret seg, vil det i PISAs beregninger stadig være 18 prosent funksjonelle analfabeter, sier Inge Henningsen i en pressemelding.
PISA-sjokk i Norge
PISA-resultatene får fyldig dekning i norske medier når de legges frem. De middelmådige resultatene i 2001 ga Norge Pisa-sjokk, og daværende utdannings- og forskningsminister Kristin Clemet (H) uttalte at det var nesten som å komme hjem fra et vinter-OL uten en eneste norsk medalje. PISA-resultatene var mye av bakgrunnen for den store skolereformen Kunnskapsløftet i 2006.
Men ifølge de danske forskerne er det en rekke feil i PISA-undersøkelsen, og Peter Allerup beskylder statistikerne i OECD for å jukse. Hver PISA-undersøkelse har nemlig ekstra oppmerksomhet rettet mot ett fag. I 2015 var det naturfag, og i 2012 var det matematikk.
- Hvis matematikk er hovedfaget, får for eksempel 4000 en matteprøve. Men gruppen deles i to, hvor 2000 får en leseprøve og 2000 får en såkalt science-prøve. Men jammen viser ikke de internasjonale dataene at alle elevene har svart på begge prøvene, sier Allerup, ifølge Alltinget.
Han utdyper:
- Man gjetter på hva elevene ville fått i den prøven de ikke har tatt. Resultatet i den ene prøven brukes til å gjette på hvordan de vil klare seg i den andre. Det legger man inn som verdi i databanken. Med det er jo juks og bedrag. Juks heter på teknisk språk imputation. OECD imputerer de manglende verdier, sier Allerup.
-Er ikke et forskningsprosjekt
Professor emeritus Svein Sjøberg ved institutt for lærerutdanning og skoleforskning ved Universitetet i Oslo har markert seg som en skarp kritiker av PISA-undersøkelsen.
- Dette er en veldig viktig kritikk. Det blir aldri kommunisert at det er store problemer med måten de beregner denne scoren på. Det er veldig usikkert hvordan dette tallet oppstår. Og hvis vi ikke kan stole på tallene, hva kan man stole på da? spør han. Han synes det blir feil å felle dommer over elevene på bakgrunn av en to timers test. - Og å kalle nesten 20 prosent av elevene for funksjonelle analfabeter, blir som tenk på et tall, sier han.
Sjøbergs største innvendinger mot PISA handler imidlertid ikke om metode.
- Det blir omtalt som et forskningsprosjekt, men det er det ikke. Det er et rent politisk og normativt prosjekt. OECD, i sin uendelige visdom, finner ut hva slags kompetanser barn i alle land må ha for å møte en usikker fremtid. Tallet som kommer ut av det brukes som målestokk for hele utdanningssystemets kvalitet, uten å ta innover seg at ulike land har ulike verdier, kulturer og grunnlag for å lage skole, sier han.
-I tillegg så viser altså denne danske boken at det er store metodeproblemer med å regne seg fram til de tallene som blir publisert. Selv fageksperter har problemer med å forholde seg til dette, avslutter han.
De danske forskerne anfører også at man ikke uten videre kan måle elevenes kompetanser uten å ta hensyn til variabler som kultur, nasjonalitet og sosiokulturell bakgrunn.
Det er forskere ved Institutt for lærerutdanning og skoleforskning ved Universitetet i Oslo som lager den norske PISA-rapporten. Forskerforum har bedt om kommentarer fram dem. Denne artikkelen vil bli oppdatert når kommentarer foreligger.
Image-text:
PISA-undersøkelsen har fått mye oppmerksomhet i Norge. Fra år 2000 til 2013 sto resultatene i Norge omtrent på stedet hvil. Men i 2015 var Norge for første gang bedre enn OECD-snittet i alle fagene PISA måler - lesing, matte og naturfag.
