So funktionieren die Wirkungsstudien von Eco Heroes
Schulen können messen, was Eco Heroes für ihre Schülerinnen und Schüler verändert. Diese Seite erklärt Schritt für Schritt, wie eine Wirkungsstudie abläuft, was gefragt wird, wie die Ergebnisse berechnet werden und wie die Privatsphäre der Kinder geschützt wird.
Die Studie in einer Minute
Vorher und nachher
Die Schülerinnen und Schüler beantworten denselben kurzen Fragebogen vor dem Programm, direkt danach und etwa zehn Wochen später.
Ein fairer Vergleich
Ihre Veränderung wird mit ähnlichen Klassen verglichen, die ein Halbjahr später mit Eco Heroes beginnen. Jede Klasse bekommt das Programm.
Keine Namen
Antworten werden über die Zeit mit einem anonymen Code verknüpft, der sich aus dem Platz des Kindes in der Klasse ergibt – nie über einen Namen oder eine E-Mail-Adresse.
Ergebnisse ab 10 Kindern
Lehrkräfte sehen das Klassenergebnis erst, wenn mindestens 10 Schülerinnen und Schüler vorher und nachher geantwortet haben, und nie die Antworten eines einzelnen Kindes.
Die Fragen, die die Studie beantwortet
Hauptfrage: Erwerben Schülerinnen und Schüler in Eco-Heroes-Klassen mehr Wissen über die 17 Ziele für nachhaltige Entwicklung als in den Vergleichsklassen?
- Verändern sich ihre Einstellungen zur Natur und ihre Überzeugung, etwas bewirken zu können, stärker?
- Berichten sie von mehr nachhaltigem Handeln im Alltag, und hält das auch zehn Wochen später noch an?
- Fühlen sich Lehrkräfte sicherer darin, die Ziele zu unterrichten, und wie einfach finden sie die Plattform?
- Geht eine intensivere Nutzung (abgeschlossene Ziele, erledigte Missionen) mit größeren Lernzuwächsen einher?
Design: Vergleich mit Warteliste
Die teilnehmenden Klassen werden in zwei Gruppen aufgeteilt. Die erste beginnt jetzt mit Eco Heroes, die zweite ein Halbjahr später und dient bis dahin als Vergleich. Wenn eine Schule oder ein Schulverbund zustimmt, werden die Klassen per Los zugeteilt – das aussagekräftigste Design. Andernfalls werden die Vergleichsklassen nach Altersstufe, Schulform und Land passend ausgewählt.
Wählen Sie eine Runde, um zu sehen, was passiert.
T0 · Vorher. Runde T0, vor der ersten Unterrichtsstunde. Beide Gruppen antworten. Das ist der Ausgangspunkt für alle Messgrößen.
T1 · Nachher. Runde T1, am Ende des zehnwöchigen Programms. Beide Gruppen antworten; der Unterschied zwischen den Gruppen ist das Hauptergebnis.
T2 · 10 Wochen später. Runde T2, etwa zehn Wochen später. Zeigt, ob die Wirkung anhält. Für die Vergleichsklassen ist es zugleich ihr eigenes „Vorher“, sodass die Studie einen zweiten Vorher-nachher-Vergleich erhält.
Zwei Versionen des Wissenstests
Den Wissenstest gibt es in zwei gleich schweren Versionen, A und B. Die Hälfte jeder Klasse beantwortet zuerst A und später B, die andere Hälfte umgekehrt. So kann ein höheres Ergebnis nicht daher kommen, dass man sich an die Fragen erinnert.
Was Schülerinnen, Schüler und Lehrkräfte beantworten
Etwa 10 bis 12 Minuten im Unterricht für die Schülerinnen und Schüler und etwa 10 Minuten für Lehrkräfte. Wo es eine veröffentlichte, geprüfte Skala gibt, wird sie so verwendet, wie sie veröffentlicht wurde – in der Sprache des Kindes.
Kinder 9–12
- Wissen über die 17 Ziele: 15 Multiple-Choice-Fragen (Version A oder B).
- Einstellungen zur Natur (2-MEV): 16 Aussagen über den Schutz und die Nutzung der Natur. Veröffentlichte Skala, Manoli u. a., 2019.
- Überzeugung, etwas bewirken zu können: 4 Aussagen mit einer Bilderskala.
- Handeln in den letzten 7 Tagen: 8 Fragen, etwa zum Ausschalten des Lichts oder zum Gespräch über ein Ziel zu Hause.
- Freude und Engagement: 5 Aussagen, nach dem Programm.
- Drei offene Fragen nach dem Programm: Was hast du gelernt, was hast du verändert, was würdest du verbessern?
Jugendliche 13–17
- Wissen über die 17 Ziele: 15 Multiple-Choice-Fragen (Version A oder B).
- Handlungskompetenz (SPACS-Q): 12 Aussagen darüber, zu wissen, was zu tun ist, zu glauben, dass es wichtig ist, und bereit zu sein zu handeln. Veröffentlichte Skala, Olsson u. a., 2020.
- Handeln in den letzten 7 Tagen: 8 Fragen, etwa zum Ausschalten des Lichts oder zum Gespräch über ein Ziel zu Hause.
- Freude und Engagement: 5 Aussagen, nach dem Programm.
- Drei offene Fragen nach dem Programm: Was hast du gelernt, was hast du verändert, was würdest du verbessern?
Kinder 6–8
- Jüngere Kinder füllen keinen Fragebogen aus. Ihre Lehrkraft füllt einen kurzen Beobachtungsbogen für die ganze Klasse aus (6 Aussagen: gezeigtes Wissen, Beteiligung, Handeln).
Lehrkräfte
- Sicherheit beim Unterrichten der 17 Ziele: 8 Aussagen, vorher und nachher.
- Unterrichtszeit und -praxis zum Thema Nachhaltigkeit in diesem Halbjahr: 4 Fragen, vorher und nachher.
- Was umgesetzt wurde (Unterrichtsstunden, Ziele, Missionen, Minuten): 4 Fragen, nachher.
- Wie einfach die Plattform zu bedienen ist: die System Usability Scale mit 10 Items (Brooke, 1986), nachher.
- Drei offene Fragen: Was hat funktioniert, was nicht, wie haben die Schülerinnen und Schüler reagiert?
Plattformdaten ergänzen eine objektive Ebene: abgeschlossene Ziele, Quiz-Ergebnisse und erfasste Missionen, verknüpft mit demselben anonymen Code.
Wie die Ergebnisse berechnet werden
Hauptergebnis: Der Wissenswert nach dem Programm wird zwischen den beiden Gruppen verglichen. Dabei werden der Ausgangswert und die Altersstufe jedes Kindes berücksichtigt sowie die Tatsache, dass die Kinder in Klassen gruppiert sind. Er wird als Effektstärke (Hedges’ g) mit 95-%-Konfidenzintervall angegeben.
- Dieselbe Methode wird für Einstellungen, Handlungskompetenz, Handeln und die Sicherheit der Lehrkräfte verwendet. Da mehrere sekundäre Ergebnisse getestet werden, werden die p-Werte angepasst (Holm-Verfahren), damit Zufallsbefunde nicht als Effekte berichtet werden.
- Die Reliabilität jeder Skala wird geprüft (Cronbachs Alpha bzw. KR-20 beim Wissenstest), mit 0.70 als Mindestwert.
- Offene Antworten werden thematisch codiert: Zwei Personen codieren einen Teil der Antworten unabhängig voneinander; ihre Übereinstimmung muss Cohens Kappa 0.70 erreichen, bevor eine Person den Rest codiert.
- Ungewöhnlich schnell gegebene Antworten, eine nicht bestandene Aufmerksamkeitsfrage oder identische Antworten auf eine ganze Skala werden markiert und geprüft, nicht automatisch gelöscht.
Wie viele Klassen nötig sind
Bewegen Sie den Schieberegler, um den kleinsten Effekt zu wählen, der erkannt werden soll. Die Zahlen gehen von 22 Schülerinnen und Schülern pro Klasse aus, 10 % der Varianz zwischen den Klassen, einem Vortest, der die Hälfte des Endergebnisses erklärt, 15 % Ausfällen, 80 % Teststärke und einem Signifikanzniveau von 5 %.
| Kleinster Effekt, der erkannt werden soll | Klassen pro Gruppe | Schülerinnen und Schüler pro Gruppe |
|---|---|---|
| 0.40 (mittel bis groß) | 9 | 198 |
| 0.30 (mittel) | 15 | 330 |
| 0.25 (klein bis mittel) | 21 | 462 |
Datenschutz und Kinderschutz
Die Studie ist Teil der eigenen Evaluation der Schule zu ihrem Unterricht. Die Schule ist für die Daten verantwortlich; Eco Heroes verarbeitet sie im Auftrag der Schule auf Grundlage des Auftragsverarbeitungsvertrags.
Schülerin oder Schüler
Antwortet auf einem Klassengerät, nachdem der Klassencode eingegeben wurde. Kann jede Frage überspringen oder aufhören. Es gibt keine Noten.
Lehrkraft
Sieht, wie viele Schülerinnen und Schüler geantwortet haben, und – sobald 10 oder mehr beide Male geantwortet haben – das Klassenergebnis (Durchschnitt vorher und nachher, Anteil der Kinder, die sich verbessert haben, die Ziele, die die Klasse am wenigsten kennt). Sieht nie die Antworten eines einzelnen Kindes.
Eltern
Werden von der Schule vor der ersten Runde informiert und können der Teilnahme ihres Kindes widersprechen; wo Gesetze oder Vorgaben der Schule es verlangen, wird stattdessen eine schriftliche Einwilligung eingeholt.
Eco Heroes
Sieht zusammengefasste, anonymisierte Ergebnisse über Klassen hinweg für Forschung und Berichte. Freitextantworten werden beim Absenden automatisch gefiltert: E-Mail-Adressen und Telefonnummern werden entfernt, und Antworten, die auf eine kurze Liste von Wörtern passen, die auf eine Gefährdung eines Kindes hinweisen können, werden aus den Studiendaten genommen und nur an die Ansprechperson für Kinderschutz weitergegeben, die die Schule benannt hat. Namen werden nicht automatisch entfernt; die Forschenden, die die Antworten lesen, markieren mögliche Namen und nennen sie nie in Berichten. Ein möglicher Hinweis wird innerhalb eines Schultags an die von der Schule benannte Ansprechperson weitergegeben. Hat die Schule niemanden benannt, gehen diese Antworten an die Schuladministratoren; bei einer Klasse, die keiner Schule zugeordnet ist (zum Beispiel einer, die nur über eine Lernplattform genutzt wird), an die für Kinderschutz verantwortliche Person bei Eco Heroes.
Es werden keine Namen, E-Mail-Adressen oder Geburtsdaten erhoben.
In eine Antwort eingegebene E-Mail-Adressen und Telefonnummern werden entfernt.
Für weniger als 10 Schülerinnen und Schüler wird kein Ergebnis angezeigt.
Antworten werden 24 Monate nach der letzten Runde der Studie gelöscht.
Lesen Sie den Datenschutzhinweis für Kinder und das Trust Center →
Im Voraus festgelegte Zielwerte
Diese Zielwerte werden vor der ersten Runde im öffentlichen Studienplan festgelegt und können daher nicht mehr verschoben werden, wenn die Ergebnisse vorliegen. Auch Ergebnisse unter einem Zielwert werden veröffentlicht.
| Messgröße | Zielwert |
|---|---|
| Wissen: Eco-Heroes-Klassen im Vergleich zu Vergleichsklassen nach dem Programm | Effektstärke von 0.30 oder mehr |
| Wissenszuwachs innerhalb der Eco-Heroes-Klassen | Mindestens 20 Prozentpunkte; 70 % der Kinder verbessern sich |
| Wissen, das zehn Wochen später noch vorhanden ist | Mindestens 80 % des Zuwachses |
| Einstellungen und Handlungskompetenz | Effektstärke von 0.15 oder mehr |
| Kinder, die mindestens eine Mission im echten Leben abschließen | 60 % oder mehr |
| Sicherheit der Lehrkräfte beim Unterrichten der Ziele | +0.5 auf einer 5-stufigen Skala |
| Bedienbarkeit (System Usability Scale) | 75 oder mehr (Durchschnitt über Studien hinweg: 68) |
| Rücklaufquote | 85 % vorher; 75 % der Kinder vorher und nachher zugeordnet |
Fragen
Hat eine Klasse, die wartet, einen Nachteil?
Nein. Jede Klasse bekommt Eco Heroes; die Vergleichsklassen beginnen ein Halbjahr später. Deshalb ist dieses Design fair gegenüber den Kindern.
Kann ein Kind ablehnen?
Ja. Jede Frage kann übersprungen werden, ein Kind kann jederzeit aufhören, und Eltern können der Teilnahme ihres Kindes im Voraus widersprechen.
Werden die Ergebnisse veröffentlicht?
Ja, als zusammengefasste Ergebnisse, die keine Rückschlüsse auf eine Klasse oder ein Kind zulassen – auch Ergebnisse unter dem Zielwert. Der Studienplan wird vor der ersten Runde öffentlich registriert.
Warum zehn Kinder?
Durchschnittswerte aus weniger Antworten könnten einzelne Antworten erkennbar machen und sind zu unsicher, um aussagekräftig zu sein.
Wer hat die Fragebögen entwickelt?
Der Wissenstest und die Fragen zum Handeln wurden von Eco Heroes auf Grundlage der Lernziele der Lektionen geschrieben, und ein Pilottest mit Schülerinnen und Schülern prüft jede Frage, bevor eine Studie beginnt. Die Skalen zu Einstellungen und Handlungskompetenz sind veröffentlichte Skalen, die unter ihren offenen Lizenzen verwendet werden.
Begriffe auf dieser Seite
- Effektstärke
- Wie groß ein Unterschied ist, gemessen in Standardabweichungen. 0.2 ist klein, 0.5 mittel, 0.8 groß.
- Konfidenzintervall
- Der Bereich, in dem der wahre Wert mit 95 % Sicherheit liegt.
- Reliabilität
- Wie zuverlässig eine Skala misst. 0.70 oder mehr gilt als Mindestwert.
- Vergleich mit Warteliste
- Ein Design, bei dem die Vergleichsklassen das Programm später erhalten statt gar nicht.