Les innlegget: Hva gjør vi når dataene er feil?
Hvorfor så høy gjennomføringstid i evalueringsrapporten?
Todoroska og kollegaer ved EPINOR har sett på tallene for deres egne deltakere og har beregnet nøyaktig gjennomføringstid (netto og brutto) for alle 47 deltakere i skolen som har disputert med utgangspunkt i FS (Felles studiesystem). De finner en betydelig lavere gjennomføringstid enn hva vi gjør i vår rapport: en nettotid på 3,034 år (reell tid brukt på utdanningen), og en bruttotid på 3,706 år (hele perioden fra start til disputas, inkludert permisjoner og lengre sykefravær). De spør: hvordan kan NIFU (som har brukt bruttotall) lande på 5,3 år - altså betydelig høyere enn deres 3,7 år?
For det første, tallet 3,706 fra EPINOR fremkommer ved å beregne gjennomsnitt av 47 personer, mens vårt tall (5,3) er basert på tre personer (men der ingen brukte så kort tid som 3,7 år). For det andre, vi baserer oss på individdata fra NSDs Database for statistikk om høgre utdanning (DBH) over kandidatenes startdato (finansiering) for doktorgradsprosjektet, og tidspunkt for disputas fra NIFUs Doktorgradsregister. Hvis EPINOR er interessert (og hvis NSD gir tillatelse) kan de selv få navn på de tre personene, sjekke i eget register og se selv at nettopp disse tre har brukt 5,3 år slik vi skriver. Med mindre EPINOR har en annen definisjon på «oppstart» enn oss. Det fremkommer ikke i innlegget deres.
Vi har evaluert den nasjonale satsingen på forskerskoler og konklusjonene er basert på data for alle forskerskolene, mens EPINOR er opptatt av sin egen skole. Det er forståelig, og vi kan være enig i at et tall for gjennomføringstid ved en forskerskole basert kun på tre doktorgradsstipendiater ikke burde ha vært med i vår tabell over gjennomføringstiden ved ulike skoler. Vår rapport er imidlertid ingen evaluering av hver enkelt av de forskjellige forskerskolene, men av selve ordningen med forskerskoler, der formålet er å se om det er sammenheng mellom de som har gått på en forskerskole (1,169 studenter) og de som har tatt doktorgrad uten å ha gått på forskerskole (9,487 studenter). Her finner vi ingen forskjell i gjennomføringstid mellom de to gruppene, også etter å ha kontrollert for studentenes faglige bakgrunn.
Les saken: Forskerskoler: Effektene uteblir
Vi er heller ikke særlig opptatt av å rangere skolene etter gjennomføringstid, men av å se på studentenes fagbakgrunn og hvorvidt «forskerskole-studenter» innen et visst fag (og de kan komme fra flere forskerskoler) har kortere/lengre gjennomføringstid enn øvrige studenter fra samme fag. Vi mener naturligvis ikke at man kan konkludere noe om effektiviteten ved en enkelt forskerskole ut fra tallene for tre deltakere. Derimot kan vi si noe om hvorvidt den ene gruppen (med 1,169 studenter) og den andre (med 9,487 studenter) er forskjellige mht. gjennomføringstid når de måles etter de samme kriteriene for oppstart og sluttdato og når vi korrigerer for studentenes faglige bakgrunn.
Hvorfor så få EPINOR-studenter i evalueringsrapporten?
EPINOR spør hvorfor vi har valgt ut (kun) tre av deres medlemmer til vår analyse av gjennomføringstid ved forskerskolene, når EPINOR selv kan vise til tall for 2014-2017 der tallet på kandidater som har disputert er 47. Er de tilfeldig valgt, spør EPINOR. Det er de selvsagt ikke. I forbindelse med denne evalueringen ba Norges forskningsråd alle forskerskoler om å sende liste (som NIFU skulle bruke) med navn på nåværende og tidligere medlemmer av forskerskolen. Fra EPINOR mottok vi en liste med 149 navn. Denne avviker mye fra den listen vi finner på EPINORs hjemmeside over skolens 67 deltakere som har disputert (som vi undersøkte i dag). Av disse 67 er det 46 personer som ikke stod oppført på navnelisten vi mottok fra EPINOR. 15 av de 67 er kandidater som har disputert i 2018, mens våre analyser, slik det framgår av rapporten, gjelder de som disputerte fram til og med 2017. Dermed gjenstår det kun seks aktuelle kandidater fra den listen.
Hvis vi så ser på navnelisten som vi mottok fra EPINOR (149 navn) finner vi 20 personer som disputerte i 2018 (og som dermed ikke var mulig å inkludere i vår evaluering) og 118 personer som fremdeles holder på med doktorgraden sin per dags dato eller som vi ikke finner noe informasjon om verken i DBH, Doktorgradsregisteret eller ved å søke på internett eller institusjonenes hjemmesider. Vi inkluderte tre kandidater fra EPINOR som har fullført, og det gjenstår dermed åtte personer fra EPINORs liste. Disse disputerte høsten 2017, men er ikke inkludert i våre analyser som ble gjort i januar 2018 ettersom disputasdata for høsten 2017 fremdeles ikke var lagt inn i Doktorgradsregisteret. Vi er tydelige i rapporten på at de kvantitative analysene vi gjør har en helt annen dekning for skolene etablert i 2008 enn for skolene som ble etablert i 2012 (inkludert EPINOR) med tanke på hvor mange kandidater som inkluderes. Årsaken til denne differansen på åtte personer kunne vært oppklart dersom EPINOR hadde kontaktet oss og spurt oss om årsaken til det lave antallet i tabellen.
Det kan tenkes at de åtte studentene fra EPINOR som disputerte høsten 2017 gjorde det raskere enn de tre som inngår i vår analyse. Hadde vår evaluering vært gjennomført litt senere i 2018 ville disse kommet med, og da ville kanskje EPINORs gjennomsnittlige gjennomføringstid gått noe ned. Men mener EPINOR at dette rokker ved de funn som vi ellers konstaterer for totalt 10,656 doktorgradsstudenter i analysen?
Kvalitet i doktorgradsutdanningen
Todoroska spør hvorfor gjennomføringstid er den eneste styringsparameteren for kvalitet satt av Kunnskapsdepartementet til ph.d.-utdanningen. Strengt tatt er det vel ikke et kvalitetsmål, men et effektivitetsmål. Vi gjentar flere ganger i rapporten vår at effektivitet og kvalitet ikke er det samme. På side 104 i rapporten konkluderer vi således: «It is beyond the scope of this evaluation, and we do not have data to test whether the national research school scheme has increased the scientific quality of the doctoral dissertations, but this is a question that the RCN should consider investigating, because it is arguably the most important contribution of the research school scheme». På neste side i rapporten skriver vi om tidligere spørreundersøkelser blant doktorgradsstudenter som peker i retning av at studenter som har vært tilknyttet en forskerskole er mer tilfreds med utdanningen sin enn studenter som ikke har vært tilknyttet en forskerskole.
Vi er derfor overrasket også over kritikken fra Tore Furevik og Thomas Spengler i Forskerforum 7. september, som sier at de er overrasket over rapportens funn, da deres erfaring er: «at forskerskolene har betydd enormt mye for å løfte kvaliteten på norsk forskerutdanning - og norsk forskning - innen klima».
Les innlegget: Slår tilbake mot kritikken: - Forskerskolene har levert
Det står ikke noe i vår rapport som motsier dette. Mandatet for vår evaluering var å vurdere forskerskolene ut fra fire kriterier: gjennomføringsgrad, gjennomføringstid, nasjonalt samarbeid og internasjonalt samarbeid. Det er dette vi har sett på i rapporten, fordi det var det oppdraget gikk ut på. På de to første målene finner vi ingen effekt av forskerskolene, på de to siste finner vi effekter. I rapporten mener vi at vi gir en balansert fremstilling av disse to dimensjonene (effektivitet og samarbeid), og vi drøfter også fraværet av en tredje viktig dimensjon: kvalitet. I anledning de ulike debattinnleggene i Forskerforum om vår rapports angivelig ensidige fokus på effektivitet, er vår for øvrig vår artikkel om evalueringen som skulle kommet i oktober-nummeret av fagbladet Forskningspolitikk nå lagt ut online.
Stillinger
Se alle stillinger
Seniorrådgiver forskerstøtte
Prorektor for utdanning - åremål
Prorektor for forskning og utvikling - åremål
Forsker
Forskningsleder/seksjonsleder
Mest lest
Universitetene er i ferd med å bli høgskoler
Ber om å slippe nynorsk - vil heller ha engelsk
Vi har opplevd et stille kupp
Hun vil at forskere skal ut av cellekontorene
Er det greit med shorts og korte skjørt på universitetet?
