Skriftlig spørsmål fra Elise Waagen (A) til kunnskapsministeren

Dokument nr. 15:1244 (2023-2024)
Innlevert: 14.02.2024
Sendt: 14.02.2024
Besvart: 21.02.2024 av kunnskapsminister Kari Nessa Nordtun

Elise Waagen (A)

Spørsmål

Elise Waagen (A): Kan statsråden opplyse om når hun forventer at Utdanningsdirektoratet vil kunne reestimere resultatene for nasjonale prøver i perioden 2014-2021 og redegjøre for hvordan feilen har oppstått?

Begrunnelse

I besvarelse nr. 674 (2023-2024) fra kunnskapsminister Kari Nessa Nordtun til stortingsrepresentant Abid Raja sto det at Utdanningsdirektoratet «er i ferd med å ferdigstille en reanalyse av trend i nasjonale prøver for perioden 2014–2021», og at disse sannsynligvis skulle bli ferdige i løpet av januar. Ifølge besvarelsen fra statsråden hadde Utdanningsdirektoratet allerede avklart at de nye tallene vil avvike fra det som har vært rapportert tidligere for perioden. Siden nye resultater ennå ikke er publisert, tillater jeg meg å spørre statsråden om hvor saken nå står, og når nye analyser av trend fra 2014-2021 kan forventes.

Kari Nessa Nordtun (A)

Svar

Kari Nessa Nordtun: I perioden 2014-2021 benyttet Utdanningsdirektoratet (Udir) en annen metode og en annen programvare for å måle trend i de nasjonale prøvene enn det de gjør i dag. Analysene fra 2014-2021 har tidligere vist seg å undervurdere endring i elevenes resultater på prøvene over tid. Udir har nå bragt på det rene at feilen også har berørt elevenes prøveskårer det enkelte år. Siden prøveskårene ligger til grunn for inndelingen av elever i ulike mestringsnivåer, har feilen også virket inn på fordelingen av elever på mestringsnivåene det enkelte år. Dette gjelder for alle prøvene i regning og engelsk fra 2014-2021, og alle prøvene i lesing fra 2016-2021. Nasjonale prøver i lesing på samisk er ikke berørt.
Hovedårsaken til feilen ligger i den programvaren som Udir benyttet for å analysere dataene fra prøvene mellom 2014-2021. I beregningsmodellen i dette programmet er det lagt inn en forutsetning som gir feil resultater. Dette er blant annet avdekket ved hjelp av analyser og undersøkelser foretatt ved Frischsenteret, og har ikke vært synlig i dokumentasjonen som fulgte med programmet.
Det er alvorlig at vi har fått feil resultater på nasjonale prøver over så lang tid. Per i dag er det imidlertid uklart hvor store avvikene er, og hvilke konsekvenser feilen har hatt. Lærere har fått riktig informasjon om hvilke oppgaver hver enkelt elev har fått til og ikke, og derfor er det ikke grunn til å tro at oppfølging av elevene er særlig berørt. Den relative plasseringen på resultatskalaen - av elever, skoler og kommuner innenfor samme år - er ikke berørt av feilen. Samtidig kan feil innplassering av elever på mestringsnivåer, og undervurderingen av endring fra år til år, ha gitt kommunene et skjevt bilde av tilstanden og utviklingen for sine skoler. På nasjonalt nivå er nasjonale prøver én av flere informasjonskilder om tilstanden i sektoren. Vi vil få et klarere bilde av konsekvensene når re-estimeringen foreligger.
Fagfeltet om måling av elevenes kunnskap og ferdigheter («Psykometri») er i stadig utvikling. Arbeidet med å re-estimere resultatene fra 2014-2021 har vært krevende og tatt lengre tid enn forventet. Udir ønsker en åpen fagdebatt før nye resultater på nasjonalt nivå offentliggjøres, og vil snart invitere relevante kompetansemiljøer til et fagseminar der direktoratets forslag til ny trendmåling 2014-2021 kan drøftes. Udir tar sikte på å publisere re-estimeringen av resultatene på nasjonalt nivå etter at oppfølgingen av seminaret og kvalitetssikringen av de nye analysene er ferdig.
I tillegg til ny nasjonal trend, vil re-estimeringen kunne gi et bilde av omfanget av elever på nasjonalt nivå som er feilplassert på mestringsnivå. Det vil ikke være mulig å få sikker informasjon om hvor store avvikene er for den enkelte elev, og dermed heller ikke på den enkelte skole og i den enkelte kommune. De dataene som slike beregninger ville kreve er slettet i tråd med personvernprosedyrene.
Departementet har bedt Udir om å formidle informasjon om feilen og hvilke konsekvenser feilen kan ha hatt for tolkning av resultatene til relevante aktører i skolesektoren og aktører innen forskning og statistikk. Det vil skje ved bruk av Udirs nettsider, gjennom masseutsendinger og direkte dialog.
Udir benytter nå en ny metode og en ny programvare for analyse av de nasjonale prøvene. Feilen som er oppdaget har derfor ikke noen innvirkninger på rapporteringen av elevenes resultater på nasjonale prøver fra 2022 og fremover. Som nevnt er fagfeltet i stadig utvikling, og Udir forventer å gjøre justeringer i analysevalg og modeller også de nærmeste årene.