Etkinlik Ölçümünde Veri Zarflama Analizi

Det er ingen grunn til å tro at pilotskolene er direkte sammenlignbare med sammenligningsskolene.

Dette skyldes at (1) det er ikke tilfeldig hvilke skoleeiere og dermed skoler som ble valgt til å delta i lærerspesialistordningen, (2) av de som ikke ble valgt til å delta i ordningen er det ikke tilfeldig hvilke skoleledere som sa ja til at skolen kunne delta som sammenligningsskole og (3) at lærere som svarte på undersøkelsen ved sammenligningsskoler, kan være systematisk forskjellige fra lærere som svarte på undersøkelsen ved pilotskoler. Samtidig er denne gruppen skoler sannsynligvis mer

sammenlignbar enn en tilfeldig gruppe skoler ville ha vært, da alle skolene har det til felles at skoleeierne søkte om å delta på ordningen. I tillegg, selv om det er skjevheter i hvem som sa ja til å være sammenligningsskole, trenger ikke dette å reflektere skjevheter i utvalget så lenge hver skole er nokså representativ når det gjelder holdninger til lærerspesialistordningen.

I dette kapittelet analyseres utvikling over tid, så selv om pilotskoler og sammenligningsskoler ikke nødvendigvis er sammenlignbare på et gitt tidspunkt, kan det være at de er sammenlignbare over tid, som er en mindre streng antakelse. For å undersøke denne antakelsen må vi vite om skoletypene har en lik utvikling i utfallsmålene før lærerspesialistordningen tredde i kraft. Dette er informasjon vi dessverre ikke har, og kan dermed ikke undersøke om denne antakelsen holder. Resultatene i dette kapittelet kan gi oss en indikasjon på om lærerspesialistordningen har ført til endringer hos kolleger, men vi har ikke tilstrekkelig informasjon for å konkludere at eventuelle forskjeller skyldes

lærerspesialistordningen. Vi kan med andre ord ikke konkludere at det er en årsakssammenheng mellom lærerspesialistordningen og utfallsmålene våre.

Det første spørsmålet vi kan stille er om pilotskoler og sammenligningsskoler er signifikant forskjellig i målene i 2015. Dette gjør vi ved å bruke modell 2 og begrense utvalget til besvarelser fra 2015.

Resultatene er oppgitt i tabell 8.3.

Forskjeller mellom pilotskoler og sammenligningsskoler i 2015 kan skyldes at de ikke er direkte sammenlignbare, eller at lærerspesialistordningen, som så vidt var kommet i gang høsten 2015, allerede hadde endret målene. Det er mest nærliggende å tenke at det første er tilfellet for målene (1)-(7), mens de siste to målene kan påvirkes av at kolleger har rukket å bli kjent med ordningen og dermed har en annen oppfatning enn sammenligningskolleger.

Kolleger skårer signifikant høyere enn sammenligningskolleger på samarbeid og teamlæring, mens de skårer signifikant lavere på spørsmålet om hvilken grad de kunne tenke seg å bli lærerspesialist (10 % nivå). Størrelsen på koeffisienten for samarbeid og teamlæring tilsvarer 6 % av gjennomsnittsverdien, mens størrelsen på koeffisienten for i hvilken grad de kunne tenke seg å bli lærerspesialist tilsvarer 17

% av gjennomsnittsverdien. Alle de andre målene er positive, men ingen er signifikante. Det virker som erfaring med ordningen ikke har gjort kollegene mindre positive til ordningen, men har ført til at de i mindre grad selv kunne tenke seg å bli lærerspesialister.

Tabell 8.3 Forskjellen mellom pilotskoler og sammenligningsskoler i 2015.

TREAT

Koeffisient (SE) N

(1) Dialog 0.159 (0.1192) 1,381

(2) Kontinuerlig læring 0.0445 (0.1117) 1,371

(3)

Samarbeid og

teamlæring 0.251* (0.1340) 1,370

(4) NDLOQ 0.142 (0.1159) 1,383

(5) Samarbeid med kolleger 0.132 (0.0885) 1,347

(6)

Takle forandringer og

utfordringer 0.0557 (0.0838) 1,348

(7) NTSES 0.0957 (0.0807) 1,348

(8)

Positive til

lærerspesialistordningen 0.105 (0.0805) 1,536 (9) Vil bli lærerspesialist -0.447*** (0.1375) 1,341

*** signifikant på 1 % nivå, ** signifikant på 5 % nivå, * signifikant på 10 % nivå, standardfeil klustret på skolenivå.

Selv om det er forskjeller mellom skolene som gjør at skolene ikke nødvendigvis er direkte sammenlignbare, er vi fortsatt interessert i om disse forskjellene endrer seg over tid. Det kan for eksempel være at lærerne ved pilotskoler er bedre til å samarbeide enn hva som er tilfelle på sammenligningsskoler, uavhengig av lærerspesialistordningen, men har lærerspesialistordningen bidratt til at samarbeid har økt mer i pilotskoler enn i sammenligningsskoler? Denne metoden kalles forskjell-i-forskjeller, og måler om det er en endring mellom pilot- og sammenligningsskoler (forskjell) over tid (i forskjeller). Dette gjør vi ved å bruke modell 3. Antakelsen er at forskjellen mellom skolene hadde vært lik på begge tidspunkt om det ikke var for lærerspesialistordningen (at de har lik tidstrend), og dersom man finner at forskjellene øker/reduseres kan dette skyldes lærerspesialistordningen.

Resultatene er gjengitt i tabell 8.4. Vi ser at «TREAT» reflekterer forskjellene vi observerte i tabell 8.3 (dette er tilsvarende resultat som vi ville fått ved i tabell 2 dersom vi også hadde inkludert 2017 observasjonene). Det er en signifikant forskjell mellom pilot- og sammenligningsskoler i de samme to målene. I «POST» kolonnen er koeffisienten for «positive til lærerordningen» signifikant og positiv, som vil si at man er mer positiv til lærerspesialistordningen i 2017 enn i 2015. Størrelsen for koeffisienten tilsvarer 4 % av gjennomsnittsverdien. «POST*TREAT» har ingen signifikante koeffisienter. Det har altså ikke vært en signifikant endring ved pilotskoler sammenlignet med sammenligningsskoler.

Tabell 8.4 Forskjell-i-forskjeller mellom pilotskoler og sammenligningsskoler fra 2015 til 2017.

TREAT POST POST*TREAT

Koeffisient (SE) Koeffisient (SE) Koeffisient (SE) N

(1) Dialog 0.159 (0.1193) 0.0659 (0.0960) -0.129 (0.1033) 2,510

(2) Kontinuerlig læring 0.0445 (0.1117) 0.0139 (0.1070) -0.0264 (0.1134) 2,494 (3)

Samarbeid og

teamlæring 0.251* (0.1340) 0.0767 (0.1065) -0.127 (0.1130) 2,490

(4) NDLOQ 0.142 (0.1159) 0.0460 (0.1043) -0.0893 (0.1099) 2,513

(5) Samarbeid med kolleger 0.132 (0.0885) -0.00252 (0.0635) -0.0432 (0.0709) 2,459 (6)

Takle forandringer og

utfordringer 0.0557 (0.0838) 0.122 (0.0761) -0.0693 (0.0847) 2,457 (7) NTSES 0.0957 (0.0808) 0.0580 (0.0606) -0.0565 (0.0671) 2,460 (8)

Positive til

lærerspesialistordningen 0.105 (0.0806) 0.130** (0.0661) -0.0772 (0.0774) 2,795 (9) Vil bli lærerspesialist -0.447*** (0.1375) 0.0515 (0.1318) -0.0451 (0.1389) 2,438

*** signifikant på 1 % nivå, ** signifikant på 5 % nivå, * signifikant på 10 % nivå, standardfeil klustret på skolenivå.

Det neste vi kan undersøke er en spesifikasjon som inkluderer skolefaste effekter. Denne

spesifikasjonen tar hensyn til at kolleger/pilotkolleger kommer fra samme skole, og ser på endringer over tid innad i skolen. Dette er vår foretrukne forskjell-i-forskjeller modell. Tabell 8.5 gjengir

resultatene for denne spesifikasjonen. «TREAT» oppgis ikke lenger da man ikke kan se på forskjell i status (pilot- eller sammenligningsskole) innad i en skole.

Tabell 8.5 Forskjell-i-forskjeller mellom pilotskoler og sammenligningsskoler fra 2015 til 2017.

Skolefaste effekter.

POST POST*TREAT

Koeffisient (SE) Koeffisient (SE) N, skoler

N, individer

(1) Dialog 0.0828 (0.0914) -0.129 (0.0992) 185 2,510

(2) Kontinuerlig læring 0.0338 (0.1022) -0.0293 (0.1085) 185 2,494 (3)

Samarbeid og

teamlæring 0.126 (0.0927) -0.158 (0.1001) 185 2,490

(4) NDLOQ 0.0667 (0.0973) -0.0917 (0.1033) 185 2,513

(5) Samarbeid med kolleger 0.0312 (0.0593) -0.0554 (0.0678) 185 2,459 (6)

Takle forandringer og

utfordringer 0.148** (0.0702) -0.0789 (0.0799) 185 2,457

(7) NTSES 0.0880* (0.0530) -0.0674 (0.0610) 185 2,460

(8)

Positive til

lærerspesialistordningen 0.111 (0.0678) -0.0278 (0.0790) 185 2,795 (9) Vil bli lærerspesialist 0.00323 (0.1327) 0.00704 (0.1405) 184 2,438

*** signifikant på 1 % nivå, ** signifikant på 5 % nivå, * signifikant på 10 % nivå, standardfeil klustret på skolenivå.

I kolonnen «POST» ser vi at «(6) takle forandringer og utfordringer» har hatt en signifikant økning fra 2015 til 2017, som også gjenspeiles i at NTSES har blitt positiv på 10 % nivå. Størrelsen på

koeffisienten for det å takle forandringer og utfordringer tilsvarer 3 % av gjennomsnittsverdien. Ingen av målene i «POST*TREAT» er signifikante. Det har altså ikke vært en signifikant endring ved pilotskoler sammenlignet med sammenligningsskoler.

Vi har ingen indikasjon på at lærerspesialistordningen førte til en bedring i målene hos kollegene kontra sammenligningskollegene. Kolleger bedret ikke målene fra NDLOQ og NTSES, ble ikke mer positive til ordningen eller kunne i større grad tenke seg å bli lærerspesialister i forhold til

sammenligningskolleger.