Sådan fungerer Eco Heroes’ effektundersøgelser
Skoler kan måle, hvad Eco Heroes ændrer for deres elever. Denne side forklarer trin for trin, hvordan en effektundersøgelse gennemføres, hvad der bliver spurgt om, hvordan resultaterne beregnes, og hvordan elevernes privatliv beskyttes.
Undersøgelsen på ét minut
Før og efter
Eleverne besvarer det samme korte spørgeskema før forløbet, lige efter og cirka ti uger senere.
En retfærdig sammenligning
Deres udvikling sammenlignes med lignende klasser, der starter på Eco Heroes et semester senere. Alle klasser får forløbet.
Ingen navne
Svarene kobles over tid via en anonym kode ud fra elevens plads i klassen, aldrig via et navn eller en e-mailadresse.
Resultater fra 10 elever
En lærer ser kun klassens resultat, når mindst 10 elever har svaret både før og efter, og ser aldrig den enkelte elevs svar.
De spørgsmål, undersøgelsen besvarer
Hovedspørgsmål: Får elever i Eco Heroes-klasser mere viden om FN’s 17 verdensmål end elever i sammenligningsklasser?
- Ændrer deres holdninger til naturen og deres tro på, at de kan gøre en forskel, sig mere?
- Fortæller de om flere konkrete bæredygtige handlinger, og holder de ti uger senere?
- Føler lærerne sig mere sikre i at undervise i verdensmålene, og hvor let synes de, platformen er?
- Hænger mere brug (gennemførte mål, udførte missioner) sammen med større fremgang?
Design: sammenligning med venteliste
De deltagende klasser deles i to grupper. Den første starter på Eco Heroes nu; den anden starter et semester senere og er sammenligningsgruppe indtil da. Hvis en skole eller et netværk er indforstået, fordeles klasserne ved lodtrækning, som er det stærkeste design; ellers matches sammenligningsklasserne på aldersgruppe, skoletype og land.
Vælg en runde for at se, hvad der sker.
T0 · Før. Runde T0, før første lektion. Begge grupper svarer. Det er udgangspunktet for alle målinger.
T1 · Efter. Runde T1, ved afslutningen af det ti uger lange forløb. Begge grupper svarer; forskellen mellem grupperne er hovedresultatet.
T2 · 10 uger senere. Runde T2, cirka ti uger senere. Viser, om effekten holder. For sammenligningsklasserne er det også deres eget »før«, så undersøgelsen får endnu en før-og-efter-sammenligning.
To versioner af videnstesten
Videnstesten findes i to lige svære versioner, A og B. Halvdelen af hver klasse besvarer A først og B senere, den anden halvdel omvendt, så en højere score ikke kan skyldes, at eleverne husker spørgsmålene.
Hvad elever og lærere svarer på
Cirka 10 til 12 minutter i timen for eleverne og cirka 10 minutter for lærerne. Hvor der findes en publiceret, afprøvet skala, bruges den som publiceret, på elevens sprog.
Elever 9–12 år
- Viden om de 17 verdensmål: 15 multiple choice-spørgsmål (version A eller B).
- Holdninger til naturen (2-MEV): 16 udsagn om at passe på naturen og bruge den. Publiceret skala, Manoli m.fl., 2019.
- Troen på, at man kan gøre en forskel: 4 udsagn med en billedskala.
- Handlinger de sidste 7 dage: 8 spørgsmål, for eksempel at slukke lyset eller tale om et verdensmål derhjemme.
- Glæde og engagement: 5 udsagn, efter forløbet.
- Tre åbne spørgsmål efter forløbet: hvad du har lært, hvad du har ændret, hvad du ville forbedre.
Elever 13–17 år
- Viden om de 17 verdensmål: 15 multiple choice-spørgsmål (version A eller B).
- Handlekompetence (SPACS-Q): 12 udsagn om at vide, hvad man kan gøre, tro på, at det betyder noget, og være villig til at handle. Publiceret skala, Olsson m.fl., 2020.
- Handlinger de sidste 7 dage: 8 spørgsmål, for eksempel at slukke lyset eller tale om et verdensmål derhjemme.
- Glæde og engagement: 5 udsagn, efter forløbet.
- Tre åbne spørgsmål efter forløbet: hvad du har lært, hvad du har ændret, hvad du ville forbedre.
Elever 6–8 år
- Yngre elever udfylder ikke et spørgeskema. Deres lærer udfylder et kort observationsskema for hele klassen (6 udsagn: vist viden, deltagelse, handlinger).
Lærere
- Sikkerhed i at undervise i de 17 verdensmål: 8 udsagn, før og efter.
- Tid og praksis i undervisningen om bæredygtighed dette semester: 4 spørgsmål, før og efter.
- Hvad der blev gennemført (lektioner, mål, missioner, minutter): 4 spørgsmål, efter.
- Hvor let platformen er at bruge: System Usability Scale med 10 udsagn (Brooke, 1986), efter.
- Tre åbne spørgsmål: hvad der virkede, hvad der ikke gjorde, hvordan eleverne reagerede.
Data fra platformen tilføjer et objektivt lag: gennemførte mål, quizscorer og registrerede missioner, koblet til den samme anonyme kode.
Sådan beregnes resultaterne
Hovedresultat: Videnscoren efter forløbet sammenlignes mellem de to grupper, under hensyn til hver elevs startscore og aldersgruppe og til, at eleverne er samlet i klasser. Den rapporteres som en effektstørrelse (Hedges’ g) med tilhørende 95 %-konfidensinterval.
- Den samme metode bruges til holdninger, handlekompetence, handlinger og lærernes sikkerhed. Fordi flere sekundære resultater testes, justeres p-værdierne (Holms metode), så tilfældige fund ikke rapporteres som effekter.
- Hver skalas reliabilitet kontrolleres (Cronbachs alfa eller KR-20 for videnstesten) med 0,70 som minimum.
- Åbne svar kodes i temaer af to personer uafhængigt af hinanden for en del af svarene; enigheden skal nå en Cohens kappa på 0,70, før én person koder resten.
- Svar, der er givet usædvanligt hurtigt, et forkert besvaret kontrolspørgsmål eller ens svar på en hel skala markeres og kontrolleres, men slettes ikke automatisk.
Hvor mange klasser der er brug for
Flyt skyderen for at vælge den mindste effekt, det er værd at kunne påvise. Tallene forudsætter 22 elever pr. klasse, at 10 % af variationen ligger mellem klasser, en starttest, der forklarer halvdelen af slutresultatet, et frafald på 15 % af eleverne, 80 % styrke (power) og et signifikansniveau på 5 %.
| Mindste effekt, der er værd at påvise | Klasser pr. gruppe | Elever pr. gruppe |
|---|---|---|
| 0.40 (moderat til stor) | 9 | 198 |
| 0.30 (moderat) | 15 | 330 |
| 0.25 (lille til moderat) | 21 | 462 |
Privatliv og beskyttelse
Undersøgelsen er en del af skolens egen evaluering af sin undervisning. Skolen er dataansvarlig; Eco Heroes behandler dataene for skolen i henhold til databehandleraftalen.
Elev
Svarer på en af klassens enheder efter at have indtastet klassekoden. Kan springe ethvert spørgsmål over eller stoppe. Der gives ingen karakterer.
Lærer
Ser, hvor mange elever der har svaret, og klassens resultat (gennemsnit før og efter, andelen af elever, der forbedrede sig, de verdensmål, klassen kender mindst til), når 10 eller flere elever har svaret begge gange. Ser aldrig den enkelte elevs svar.
Forælder
Får besked fra skolen før første runde og kan framelde sit barn; hvor loven eller skolens regler kræver det, bedes der i stedet om skriftligt samtykke.
Eco Heroes
Ser samlede, anonymiserede resultater på tværs af klasser til forskning og rapporter. Fritekstsvar filtreres automatisk, når de sendes: e-mailadresser og telefonnumre fjernes, og svar, der matcher en kort liste over ord, som kan vise, at et barn er i fare, tages ud af undersøgelsens data og gives kun videre til den kontaktperson for børnebeskyttelse, som skolen har udpeget. Navne fjernes ikke automatisk; de forskere, der læser svarene, markerer mulige navne og nævner dem aldrig i en rapport. En mulig betroelse gives videre til skolens udpegede kontaktperson inden for én skoledag. Har skolen ikke udpeget nogen, går disse svar til skolens administratorer; for en klasse, der ikke er knyttet til en skole (for eksempel en klasse, der kun bruges via en læringsplatform), til Eco Heroes' ansvarlige for børnebeskyttelse.
Der indsamles ingen navne, e-mailadresser eller fødselsdatoer.
E-mailadresser og telefonnumre, der skrives i et svar, fjernes.
Der vises intet resultat for færre end 10 elever.
Svarene slettes 24 måneder efter undersøgelsens sidste runde.
Mål fastsat på forhånd
Disse mål fastlægges i den offentlige undersøgelsesplan før første runde, så de ikke kan flyttes, når resultaterne foreligger. Resultater under et mål offentliggøres også.
| Måling | Mål |
|---|---|
| Viden i Eco Heroes-klasser sammenlignet med sammenligningsklasser efter forløbet | Effektstørrelse på 0,30 eller mere |
| Fremgang i viden i Eco Heroes-klasser | Mindst 20 procentpoint; 70 % af eleverne forbedrer sig |
| Viden, der er bevaret ti uger senere | Mindst 80 % af fremgangen |
| Holdninger og handlekompetence | Effektstørrelse på 0,15 eller mere |
| Elever, der gennemfører mindst én konkret mission | 60 % eller flere |
| Lærernes sikkerhed i at undervise i verdensmålene | +0,5 på en 5-punktsskala |
| Brugervenlighed (System Usability Scale) | 75 eller mere (gennemsnit på tværs af undersøgelser: 68) |
| Svarprocent | 85 % før; 75 % af eleverne matchet før og efter |
Spørgsmål
Går en klasse, der venter, glip af noget?
Nej. Alle klasser får Eco Heroes; sammenligningsklasserne starter et semester senere. Derfor er dette design retfærdigt over for eleverne.
Kan en elev sige nej?
Ja. Ethvert spørgsmål kan springes over, en elev kan stoppe når som helst, og forældre kan framelde deres barn på forhånd.
Bliver resultaterne offentliggjort?
Ja, som samlede resultater, der ikke kan identificere en klasse eller en elev, også resultater under målet. Undersøgelsesplanen registreres offentligt før første runde.
Hvorfor ti elever?
Gennemsnit af færre elever kan afsløre enkeltes svar og er for usikre til at betyde noget.
Hvem har udviklet spørgeskemaerne?
Videnstesten og spørgsmålene om handlinger er skrevet af Eco Heroes ud fra lektionernes mål, og en pilottest med elever afprøver hvert spørgsmål, før en undersøgelse starter. Skalaerne for holdninger og handlekompetence er publicerede skalaer, der bruges under deres åbne licenser.
Ord, der bruges på denne side
- Effektstørrelse
- Hvor stor en forskel er, målt i standardafvigelser. 0,2 er lille, 0,5 middel, 0,8 stor.
- Konfidensinterval
- Det interval, som den sande værdi ligger i med 95 % sikkerhed.
- Reliabilitet
- Hvor konsekvent en skala måler. 0,70 eller mere er det anerkendte minimum.
- Sammenligning med venteliste
- Et design, hvor sammenligningsklasserne får forløbet senere i stedet for slet ikke.