Blind tro på statistikk

Innlegg: Vi lar oss blende av vitenskapelig forskning, men hvis noe synes for godt til å være sant, er det som regel det, skriver professor Jan Ubøe.

08.05.2015 - Jan Ubøe

New Zealands eminente pedagogikkprofessor John Hattie har blitt mye debattert i mediene. Jeg har stor sans for Hattie og synes han kommer med gode, viktige og originale bidrag. Hattie generaliserer på tvers av alle fag og sammenhenger, men det betyr samtidig at konklusjonene ikke nødvendigvis holder i alle tilfeller.

Selv om jeg leser Hattie med stor interesse, er jeg svært skeptisk til måten resultatene blir overtolket og til dels misbrukt i politisk øyemed. Resultatene fremstilles som om de har kirurgisk presisjon, mens meningsinnholdet ofte er enkelt og tilsvarende sårbart for kritikk.

Hattie hevder at antall elever i klassen har liten betydning. Jeg tror på det. Så lenge læreren følger det samme undervisningsopplegget, spiller det ingen rolle om det er 25, 100 eller 400 elever i klassen. Elevene blir eksponert for nøyaktig samme informasjon og får naturligvis like godt eller dårlig utbytte.

Like sikkert som at utsagnet er riktig, fins det situasjoner der det åpenbart er galt. Når klassestørrelsen går ned, får læreren mer tid til å utarbeide nye undervisningsopplegg. Hvis læreren legger om undervisningen i retning av de mest effektive tiltakene som Hattie nevner, vil resultatene nærmest pr. definisjon bli bedre. Mindre klasser er altså viktig hvis det frigjør tid til forbedring av opplegget.

Hattie hevder at lærernes faglige kvalifikasjoner har liten betydning, og det generelle utsagnet gir god mening i mine ører. Hvis læreren har anstendige fagkunnskaper, er det vanskelig å dra veksler på høyere og mer abstrakt utdannelse.

Men utsagnet er åpenbart galt i noen tilfeller. I en periode uteksaminerte lærerhøyskolene lærere som var helt uten kunnskap i matematikk, og de fikk lisens til å drepe interessen for faget. I en slik situasjon har kvalifikasjonene avgjørende betydning. Det finnes glitrende pedagoger blant norske matematikere, og slik ekstrem ferdighet er bare mulig ved en dyp, indre forståelse av faget. Utsagnet blir dermed galt også i den andre enden av skalaen.

Tilsvarende kirurgisk presisjon som den vi finner hos Hattie, finner vi også i Pisa-undersøkelsene. Som samfunn lurer vi på hvordan det står til med barnas matematiske ferdigheter og hvilke konsekvenser det kan få for norsk konkurranseevne. Med største iver rapporterer Pisa resultater med stor nøyaktighet.

Presisjonen i Pisa er ikke feil, men problemet er at Pisa ikke svarer på det opprinnelige spørsmålet. Går vi tilbake til dette spørsmålet, blir presisjonen heller dårlig. Det fins undersøkelser som rapporterer et negativt samsvar mellom Pisa-resultat og evne til entreprenørskap. Slike undersøkelser skal naturligvis tas med en stor klype salt, men de viser at sammenhengen ikke er opplagt og at ikke engang retningen er klar.

Enkle sammenhenger blir ikke dypere av å oppgis med mange desimaler. Når jeg leser om statistiske undersøkelser i mediene, får jeg ofte inntrykk av at forfatterne kan gå på vannet. Etter en rask kikk på kildematerialet, sitter jeg like ofte igjen med en triviell sammenheng som jeg like gjerne kunne fått fra en tilfeldig valgt person på gaten.

Vi lar oss ofte blende av vitenskapelig forskning, men hvis noe synes for godt til å være sant, er det som regel det. Det er en god leveregel her som ellers i livet.

Statistisk tallmateriale er notorisk vanskelig å behandle, og det er snarere en regel enn et unntak at analysene har alvorlige feil. Når man som Hattie vekter sammen likt og ulikt, kan det ikke gå helt bra. Substansen i Hatties undersøkelser bør derfor ikke oppfattes som noe annet enn en grov pekepinn om hva som virker.

Leser vi Hattie på denne måten, mener jeg mannen har mye å si oss. Han besitter en dyp, indre innsikt i pedagogikk og er slik sett et perfekt moteksempel til at kvalifikasjoner ikke har betydning.

Innlegget var på trykk i BT 8. mai