Hoe het effectonderzoek van Eco Heroes werkt
Scholen kunnen meten wat Eco Heroes voor hun leerlingen verandert. Op deze pagina lees je stap voor stap hoe een effectonderzoek verloopt, wat er gevraagd wordt, hoe de resultaten worden berekend en hoe de privacy van leerlingen wordt beschermd.
Het onderzoek in één minuut
Voor en na
Leerlingen vullen dezelfde korte vragenlijst in vóór het programma, direct erna en ongeveer tien weken later.
Een eerlijke vergelijking
Hun verandering wordt vergeleken met die van vergelijkbare klassen die één periode later met Eco Heroes beginnen. Elke klas krijgt het programma.
Geen namen
Antwoorden worden door de tijd heen gekoppeld via een anonieme code van de plaats van de leerling in de klas, nooit via een naam of e-mailadres.
Resultaten vanaf 10 leerlingen
Een leerkracht ziet het klasresultaat pas als minstens 10 leerlingen vóór en na hebben geantwoord, en ziet nooit de antwoorden van één leerling.
De vragen die het onderzoek beantwoordt
Hoofdvraag: krijgen leerlingen in Eco Heroes-klassen meer kennis van de 17 duurzame-ontwikkelingsdoelen dan leerlingen in vergelijkingsklassen?
- Veranderen hun houding tegenover de natuur en hun overtuiging dat ze iets kunnen veranderen meer?
- Melden ze meer echte duurzame acties, en houden die tien weken later nog stand?
- Voelen leerkrachten zich zekerder bij het lesgeven over de doelen, en hoe gemakkelijk vinden ze het platform?
- Gaat meer gebruik (voltooide doelen, uitgevoerde missies) samen met grotere vooruitgang?
Opzet: een vergelijking met wachtlijst
De deelnemende klassen worden in twee groepen verdeeld. De eerste begint nu met Eco Heroes; de tweede begint één periode later en is tot dan de vergelijkingsgroep. Als een school of netwerk akkoord gaat, worden klassen door loting ingedeeld, de sterkste opzet; anders worden vergelijkingsklassen gematcht op leeftijdsgroep, schooltype en land.
Kies een meetronde om te zien wat er gebeurt.
T0 · Vooraf. Meetronde T0, vóór de eerste les. Beide groepen vullen in. Dit is het startpunt voor elke meting.
T1 · Achteraf. Meetronde T1, aan het eind van het programma van tien weken. Beide groepen vullen in; het verschil tussen de groepen is het hoofdresultaat.
T2 · 10 weken later. Meetronde T2, ongeveer tien weken later. Laat zien of het effect blijft. Voor de vergelijkingsklassen is dit ook hun eigen ‘vooraf’, zodat het onderzoek een tweede voor-en-navergelijking krijgt.
Twee versies van de kennistoets
De kennistoets heeft twee even moeilijke versies, A en B. De helft van elke klas maakt eerst A en later B, de andere helft andersom, zodat een hogere score niet kan komen doordat leerlingen de vragen nog weten.
Wat leerlingen en leerkrachten invullen
Ongeveer 10 tot 12 minuten in de klas voor leerlingen en ongeveer 10 minuten voor leerkrachten. Waar een gepubliceerde, geteste schaal bestaat, wordt die gebruikt zoals gepubliceerd, in de taal van de leerling.
Leerlingen 9–12
- Kennis van de 17 doelen: 15 meerkeuzevragen (versie A of B).
- Houding tegenover de natuur (2-MEV): 16 uitspraken over zorgen voor de natuur en de natuur gebruiken. Gepubliceerde schaal, Manoli en anderen, 2019.
- Overtuiging dat je iets kunt veranderen: 4 uitspraken met een plaatjesschaal.
- Acties in de afgelopen 7 dagen: 8 vragen, bijvoorbeeld het licht uitdoen of thuis over een doel praten.
- Plezier en betrokkenheid: 5 uitspraken, na het programma.
- Drie open vragen, na het programma: wat je hebt geleerd, wat je hebt veranderd, wat je zou verbeteren.
Leerlingen 13–17
- Kennis van de 17 doelen: 15 meerkeuzevragen (versie A of B).
- Handelingsbekwaamheid (SPACS-Q): 12 uitspraken over weten wat je kunt doen, geloven dat het ertoe doet en bereid zijn om te handelen. Gepubliceerde schaal, Olsson en anderen, 2020.
- Acties in de afgelopen 7 dagen: 8 vragen, bijvoorbeeld het licht uitdoen of thuis over een doel praten.
- Plezier en betrokkenheid: 5 uitspraken, na het programma.
- Drie open vragen, na het programma: wat je hebt geleerd, wat je hebt veranderd, wat je zou verbeteren.
Leerlingen 6–8
- Jongere leerlingen vullen geen vragenlijst in. Hun leerkracht vult een kort observatieformulier in voor de hele klas (6 uitspraken: getoonde kennis, deelname, acties).
Leerkrachten
- Zekerheid bij het lesgeven over de 17 doelen: 8 uitspraken, vooraf en achteraf.
- Lestijd en lespraktijk rond duurzaamheid deze periode: 4 vragen, vooraf en achteraf.
- Wat er is gegeven (lessen, doelen, missies, minuten): 4 vragen, achteraf.
- Hoe gemakkelijk het platform te gebruiken is: de System Usability Scale met 10 items (Brooke, 1986), achteraf.
- Drie open vragen: wat werkte, wat niet, hoe leerlingen reageerden.
Platformgegevens voegen een objectieve laag toe: voltooide doelen, quizscores en vastgelegde missies, gekoppeld aan dezelfde anonieme code.
Hoe de resultaten worden berekend
Hoofdresultaat: de kennisscore na het programma wordt tussen de twee groepen vergeleken, rekening houdend met de beginscore en de leeftijdsgroep van elke leerling en met het feit dat leerlingen in klassen zijn gegroepeerd. Het wordt gerapporteerd als effectgrootte (Hedges’ g) met het bijbehorende 95%-betrouwbaarheidsinterval.
- Dezelfde methode wordt gebruikt voor houding, handelingsbekwaamheid, acties en de zekerheid van leerkrachten. Omdat er meerdere secundaire resultaten worden getoetst, worden de p-waarden gecorrigeerd (methode van Holm), zodat toevalsbevindingen niet als effecten worden gerapporteerd.
- Van elke schaal wordt de betrouwbaarheid gecontroleerd (Cronbachs alfa, of KR-20 voor de kennistoets), met 0,70 als minimum.
- Open antwoorden worden voor een deel van de antwoorden door twee mensen onafhankelijk van elkaar in thema’s gecodeerd; de overeenstemming moet een Cohens kappa van 0,70 halen voordat één persoon de rest codeert.
- Antwoorden die ongewoon snel zijn gegeven, een fout beantwoorde controlevraag of identieke antwoorden op een hele schaal worden gemarkeerd en gecontroleerd, niet automatisch verwijderd.
Hoeveel klassen er nodig zijn
Verschuif de schuifregelaar om het kleinste effect te kiezen dat de moeite waard is om aan te tonen. De getallen gaan uit van 22 leerlingen per klas, 10% van de variatie tussen klassen, een begintoets die de helft van het eindresultaat verklaart, 15% uitval van leerlingen, 80% power en een significantieniveau van 5%.
| Kleinste effect dat het aantonen waard is | Klassen per groep | Leerlingen per groep |
|---|---|---|
| 0.40 (middelgroot tot groot) | 9 | 198 |
| 0.30 (middelgroot) | 15 | 330 |
| 0.25 (klein tot middelgroot) | 21 | 462 |
Privacy en veiligheid
Het onderzoek maakt deel uit van de eigen evaluatie van het onderwijs door de school. De school is verantwoordelijk voor de gegevens; Eco Heroes verwerkt ze voor de school volgens de verwerkersovereenkomst.
Leerling
Antwoordt op een apparaat van de klas na het invoeren van de klascode. Kan elke vraag overslaan of stoppen. Er zijn geen cijfers.
Leerkracht
Ziet hoeveel leerlingen hebben geantwoord en, zodra 10 of meer leerlingen beide keren hebben geantwoord, het klasresultaat (gemiddelde vooraf en achteraf, aandeel leerlingen dat vooruitging, de doelen die de klas het minst kent). Ziet nooit de antwoorden van één leerling.
Ouder
Wordt vóór de eerste meetronde door de school geïnformeerd en kan het kind afmelden; als de wet of het beleid van de school dat vereist, wordt in plaats daarvan om schriftelijke toestemming gevraagd.
Eco Heroes
Ziet samengevoegde, geanonimiseerde resultaten van meerdere klassen voor onderzoek en rapporten. Antwoorden in vrije tekst worden bij het verzenden automatisch gefilterd: e-mailadressen en telefoonnummers worden verwijderd, en antwoorden die overeenkomen met een korte lijst woorden die erop kunnen wijzen dat een kind in gevaar is, worden uit de onderzoeksgegevens gehaald en alleen doorgegeven aan de aandachtsfunctionaris kindbescherming die de school heeft aangewezen. Namen worden niet automatisch verwijderd; de onderzoekers die de antwoorden lezen, markeren mogelijke namen en nemen ze nooit op in een rapport. Een mogelijke onthulling wordt binnen één schooldag doorgegeven aan de door de school aangewezen contactpersoon. Heeft de school niemand aangewezen, dan gaan deze antwoorden naar de beheerders van de school; bij een klas die niet aan een school is gekoppeld (bijvoorbeeld een klas die alleen via een leerplatform wordt gebruikt), naar de verantwoordelijke voor kindbescherming van Eco Heroes.
Er worden geen namen, e-mailadressen of geboortedata verzameld.
E-mailadressen en telefoonnummers die in een antwoord zijn getypt, worden verwijderd.
Er wordt geen resultaat getoond voor minder dan 10 leerlingen.
Antwoorden worden 24 maanden na de laatste meetronde van het onderzoek verwijderd.
Lees de Privacyverklaring voor kinderen en het Trust Centre →
Vooraf vastgelegde streefwaarden
Deze streefwaarden worden vóór de eerste meetronde vastgelegd in het openbare onderzoeksplan, zodat ze niet kunnen worden verschoven als de resultaten binnen zijn. Ook resultaten onder een streefwaarde worden gepubliceerd.
| Meting | Streefwaarde |
|---|---|
| Kennis in Eco Heroes-klassen vergeleken met vergelijkingsklassen na het programma | Effectgrootte van 0,30 of meer |
| Kennisgroei binnen Eco Heroes-klassen | Minstens 20 procentpunten; 70% van de leerlingen gaat vooruit |
| Kennis die tien weken later behouden is | Minstens 80% van de groei |
| Houding en handelingsbekwaamheid | Effectgrootte van 0,15 of meer |
| Leerlingen die minstens één echte missie voltooien | 60% of meer |
| Zekerheid van leerkrachten bij het lesgeven over de doelen | +0,5 op een 5-puntsschaal |
| Gebruiksgemak (System Usability Scale) | 75 of meer (gemiddelde over onderzoeken: 68) |
| Respons | 85% vooraf; 75% van de leerlingen gekoppeld vooraf en achteraf |
Vragen
Loopt een klas die wacht iets mis?
Nee. Elke klas krijgt Eco Heroes; de vergelijkingsklassen beginnen één periode later. Daarom is deze opzet eerlijk voor leerlingen.
Mag een leerling weigeren?
Ja. Elke vraag kan worden overgeslagen, een leerling kan op elk moment stoppen en ouders kunnen hun kind vooraf afmelden.
Worden de resultaten gepubliceerd?
Ja, als samengevoegde resultaten waaruit geen klas of leerling te herkennen is, inclusief resultaten onder de streefwaarde. Het onderzoeksplan wordt vóór de eerste meetronde openbaar geregistreerd.
Waarom tien leerlingen?
Gemiddelden van minder leerlingen kunnen individuele antwoorden prijsgeven en zijn te onzeker om iets te betekenen.
Wie heeft de vragenlijsten ontworpen?
De kennistoets en de vragen over acties zijn door Eco Heroes geschreven op basis van de lesdoelen, en een pilot met leerlingen controleert elke vraag voordat een onderzoek begint. De schalen voor houding en handelingsbekwaamheid zijn gepubliceerde schalen, gebruikt onder hun open licenties.
Begrippen op deze pagina
- Effectgrootte
- Hoe groot een verschil is, in standaarddeviaties. 0,2 is klein, 0,5 middelgroot, 0,8 groot.
- Betrouwbaarheidsinterval
- Het bereik waarin de werkelijke waarde met 95% betrouwbaarheid ligt.
- Betrouwbaarheid
- Hoe consistent een schaal meet. 0,70 of meer is het algemeen aanvaarde minimum.
- Vergelijking met wachtlijst
- Een opzet waarbij vergelijkingsklassen het programma later krijgen in plaats van helemaal niet.