Fagfellevurdering er tidkrevende, og det lett å overse småfeil. De nye teknologiene skal gjøre jobben lettere.
I sommer begynte for eksempel forlagsgiganten Elsevier å bruke et dataprogram som heter StatReviewer. Dette sjekker blant annet om statistikken og metodene i artiklene holder mål. ScholarOne, som er en plattform for fagfellevurdering brukt av mange tidsskrifter, skal nå samarbeide med det danske selskapet UNSILO, som bruker kunstig intelligens til å analysere manuskripter.
For eksempel klarer programmet deres å trekke ut det den oppfatter som viktige elementer i teksten, og det skriver et sammendrag. Programmet identifiserer viktige nøkkelord. Dette gir ifølge salgsdirektør Neil Christensen vanligvis en bedre oversikt enn nøkkelordene som forfatterne selv legger ved artikkelen.
- Vi finner viktige fraser i det de faktisk har skrevet, i stedet for å bruke det de kom opp med fem minutter før de leverte artikkelen, sier han til Nature.
Sjekker p-verdier
Deretter identifiserer programmet hvilke av disse frasene som mest sannsynlig handler om forskningsfunn. Videre kartlegger det om funnene ligner tidligere publiserte funn. Slik kan de blant annet oppdage plagiat.
Det er flere programmer som har automatisk plagiatsjekk. Tjenester som Penelope.ai undersøker for eksempel også om artikkelens referanser og struktur møter tidsskriftenes krav.
Nederlandske forskere har utviklet et program som ser spesielt på p-verdier. Da de kjørte artikler publisert i psykologiske tidsskrifter, fant de at rundt halvparten av dem inneholdt et minst én statistisk feil. I hver åttende artikkel var feilen alvorlig nok til at den kunne endre den statistiske signifikansen for det publiserte resultatet.
- Det er urovekkende, sier Michèle Nuijten, som er en av de som har utviklet programmet, til Nature.
- Ikke alle fagfeller har tid til å gå over alle tallene. Du fokuserer på hovedfunnene og hovedhistorien, sier hun.
Algoritmene ikke smarte nok
Men det er også fallgruver ved å bruke kunstig intelligens i fagfellevurderning. For eksempel er det en bekymring for at programmer reproduserer forutinntatthet. Og hvis programmet gir artikkelen en bestemt score, kan det være fristende for redaktører å avvise den utelukkende på bakgrunn av denne verdien. Algoritmene er ennå ikke smarte nok til at man kan anta eller avvise en artikkel utelukkende basert på programmenes analyser, sier Andrew Preston, som har utviklet et program for fagfellevurdering, til Nature.
Image-text:
Fagfellevurdering er tidkrevende, og det lett å overse småfeil. De nye teknologiene skal gjøre jobben lettere. Illustrasjonafoto: Shutterstock
