Comment fonctionnent les études d’impact Eco Heroes
Les écoles peuvent mesurer ce qu’Eco Heroes change pour leurs élèves. Cette page explique, étape par étape, comment se déroule une étude d’impact, ce qui est demandé, comment les résultats sont calculés et comment la vie privée des élèves est protégée.
L’étude en une minute
Avant et après
Les élèves répondent au même court questionnaire avant le programme, juste après et environ dix semaines plus tard.
Une comparaison équitable
Leur évolution est comparée à celle de classes similaires qui commencent Eco Heroes un trimestre plus tard. Toutes les classes bénéficient du programme.
Aucun nom
Les réponses sont reliées dans le temps par un code anonyme tiré de la place de l’élève dans la classe, jamais par un nom ou une adresse e-mail.
Des résultats à partir de 10 élèves
L’enseignant ne voit le résultat de la classe que si au moins 10 élèves ont répondu avant et après, et il ne voit jamais les réponses d’un élève en particulier.
Les questions auxquelles l’étude répond
Question principale : les élèves des classes Eco Heroes acquièrent-ils davantage de connaissances sur les 17 Objectifs de développement durable que ceux des classes de comparaison ?
- Leurs attitudes envers la nature et leur conviction de pouvoir changer les choses évoluent-elles davantage ?
- Déclarent-ils davantage de gestes durables dans la vie réelle, et ces gestes durent-ils dix semaines plus tard ?
- Les enseignants se sentent-ils plus à l’aise pour enseigner les objectifs, et trouvent-ils la plateforme facile à utiliser ?
- Une utilisation plus intense (objectifs terminés, missions réalisées) va-t-elle de pair avec des progrès plus importants ?
Conception : une comparaison avec liste d’attente
Les classes participantes sont réparties en deux groupes. Le premier commence Eco Heroes maintenant ; le second commence un trimestre plus tard et sert de comparaison jusque-là. Lorsqu’une école ou un réseau l’accepte, les classes sont réparties par tirage au sort, la conception la plus solide ; sinon, les classes de comparaison sont appariées selon la tranche d’âge, le type d’école et le pays.
Sélectionnez une session pour voir ce qui se passe.
T0 · Avant. Session T0, avant la première leçon. Les deux groupes répondent. C’est le point de départ de toutes les mesures.
T1 · Après. Session T1, à la fin du programme de dix semaines. Les deux groupes répondent ; la différence entre les groupes constitue le résultat principal.
T2 · 10 semaines plus tard. Session T2, environ dix semaines plus tard. Elle montre si l’effet dure. Pour les classes de comparaison, c’est aussi leur propre « avant » : l’étude obtient ainsi une deuxième comparaison avant-après.
Deux versions du test de connaissances
Le test de connaissances existe en deux versions de même difficulté, A et B. La moitié de chaque classe répond d’abord à A puis à B, l’autre moitié dans l’ordre inverse : un meilleur score ne peut donc pas venir du fait de se souvenir des questions.
Ce à quoi répondent élèves et enseignants
Environ 10 à 12 minutes en classe pour les élèves et environ 10 minutes pour les enseignants. Lorsqu’une échelle publiée et validée existe, elle est utilisée telle qu’elle a été publiée, dans la langue de l’élève.
Élèves de 9–12 ans
- Connaissance des 17 objectifs : 15 questions à choix multiple (version A ou B).
- Attitudes envers la nature (2-MEV) : 16 affirmations sur la protection et l’utilisation de la nature. Échelle publiée, Manoli et al., 2019.
- Conviction de pouvoir changer les choses : 4 affirmations avec une échelle en images.
- Gestes des 7 derniers jours : 8 questions, par exemple éteindre la lumière ou parler d’un objectif à la maison.
- Plaisir et engagement : 5 affirmations, après le programme.
- Trois questions ouvertes, après le programme : ce que tu as appris, ce que tu as changé, ce que tu améliorerais.
Élèves de 13–17 ans
- Connaissance des 17 objectifs : 15 questions à choix multiple (version A ou B).
- Compétence d’action (SPACS-Q) : 12 affirmations sur le fait de savoir quoi faire, de croire que cela compte et d’être prêt à agir. Échelle publiée, Olsson et al., 2020.
- Gestes des 7 derniers jours : 8 questions, par exemple éteindre la lumière ou parler d’un objectif à la maison.
- Plaisir et engagement : 5 affirmations, après le programme.
- Trois questions ouvertes, après le programme : ce que tu as appris, ce que tu as changé, ce que tu améliorerais.
Élèves de 6–8 ans
- Les plus jeunes élèves ne remplissent pas de questionnaire. Leur enseignant remplit une courte fiche d’observation pour toute la classe (6 affirmations : connaissances manifestées, participation, gestes).
Enseignants
- Aisance pour enseigner les 17 objectifs : 8 affirmations, avant et après.
- Temps et pratiques d’enseignement du développement durable ce trimestre : 4 questions, avant et après.
- Ce qui a été réalisé (leçons, objectifs, missions, minutes) : 4 questions, après.
- Facilité d’utilisation de la plateforme : la System Usability Scale en 10 items (Brooke, 1986), après.
- Trois questions ouvertes : ce qui a marché, ce qui n’a pas marché, comment les élèves ont réagi.
Les données de la plateforme ajoutent une couche objective : objectifs terminés, scores aux quiz et missions enregistrées, reliés au même code anonyme.
Comment les résultats sont calculés
Résultat principal : le score de connaissances après le programme est comparé entre les deux groupes, en tenant compte du score de départ et de la tranche d’âge de chaque élève, ainsi que du regroupement des élèves en classes. Il est présenté sous forme de taille d’effet (g de Hedges) avec son intervalle de confiance à 95 %.
- La même méthode est utilisée pour les attitudes, la compétence d’action, les gestes et l’aisance des enseignants. Comme plusieurs résultats secondaires sont testés, les valeurs p sont ajustées (méthode de Holm) afin que des résultats dus au hasard ne soient pas présentés comme des effets.
- La fiabilité de chaque échelle est vérifiée (alpha de Cronbach, ou KR-20 pour le test de connaissances), avec 0.70 comme minimum.
- Les réponses ouvertes sont codées par thèmes par deux personnes indépendamment sur une partie des réponses ; leur accord doit atteindre un kappa de Cohen de 0.70 avant qu’une seule personne code le reste.
- Les réponses données anormalement vite, une question d’attention ratée ou des réponses identiques sur toute une échelle sont signalées et vérifiées, et non supprimées automatiquement.
Combien de classes faut-il ?
Déplacez le curseur pour choisir le plus petit effet qui vaut la peine d’être détecté. Les chiffres supposent 22 élèves par classe, 10 % de la variation entre les classes, un test de départ qui explique la moitié du résultat final, 15 % d’élèves perdus de vue, une puissance de 80 % et un seuil de signification de 5 %.
| Plus petit effet qui vaut la peine d’être détecté | Classes par groupe | Élèves par groupe |
|---|---|---|
| 0.40 (modéré à important) | 9 | 198 |
| 0.30 (modéré) | 15 | 330 |
| 0.25 (faible à modéré) | 21 | 462 |
Confidentialité et protection de l’enfance
L’étude fait partie de l’évaluation que l’école mène elle-même sur son enseignement. L’école est responsable des données ; Eco Heroes les traite pour le compte de l’école dans le cadre de l’accord de traitement des données.
Élève
Répond sur un appareil de la classe après avoir saisi le code de classe. Peut passer n’importe quelle question ou s’arrêter. Il n’y a pas de notes.
Enseignant
Voit combien d’élèves ont répondu et, dès que 10 élèves ou plus ont répondu les deux fois, le résultat de la classe (moyenne avant et après, part des élèves qui ont progressé, objectifs que la classe connaît le moins bien). Ne voit jamais les réponses d’un élève en particulier.
Parent
Est informé par l’école avant la première session et peut refuser la participation de son enfant ; lorsque la loi ou le règlement de l’école l’exige, un consentement écrit est demandé à la place.
Eco Heroes
Voit des résultats regroupés et anonymisés de plusieurs classes, pour la recherche et les rapports. Les réponses libres sont filtrées automatiquement à l'envoi : les adresses e-mail et les numéros de téléphone sont supprimés, et les réponses qui correspondent à une courte liste de mots pouvant indiquer qu'un enfant est en danger sont retirées des données de l'étude et transmises uniquement à la personne que l'établissement a désignée pour la protection de l'enfance. Les noms ne sont pas supprimés automatiquement ; les chercheurs qui lisent les réponses signalent les noms possibles et ne les mentionnent jamais dans un rapport. Une révélation possible est transmise à la personne désignée par l'établissement dans un délai d'un jour d'école. Si l'établissement n'a désigné personne, ces réponses parviennent aux administrateurs de l'établissement ; pour une classe rattachée à aucun établissement (par exemple une classe utilisée uniquement via une plateforme d'apprentissage), au référent protection de l'enfance d'Eco Heroes.
Aucun nom, aucune adresse e-mail ni aucune date de naissance n’est collecté.
Les adresses e-mail et numéros de téléphone saisis dans une réponse sont supprimés.
Aucun résultat n’est affiché pour moins de 10 élèves.
Les réponses sont supprimées 24 mois après la dernière session de l’étude.
Lire la Politique de confidentialité pour les enfants et le Centre de confiance →
Des objectifs fixés à l’avance
Ces objectifs sont fixés dans le plan d’étude public avant la première session : ils ne peuvent donc pas être modifiés une fois les résultats connus. Les résultats inférieurs à un objectif sont publiés eux aussi.
| Mesure | Objectif |
|---|---|
| Connaissances : classes Eco Heroes par rapport aux classes de comparaison après le programme | Taille d’effet de 0.30 ou plus |
| Progrès en connaissances au sein des classes Eco Heroes | Au moins 20 points de pourcentage ; 70 % des élèves progressent |
| Connaissances conservées dix semaines plus tard | Au moins 80 % du progrès |
| Attitudes et compétence d’action | Taille d’effet de 0.15 ou plus |
| Élèves qui réalisent au moins une mission dans la vie réelle | 60 % ou plus |
| Aisance des enseignants pour enseigner les objectifs | +0.5 sur une échelle en 5 points |
| Facilité d’utilisation (System Usability Scale) | 75 ou plus (moyenne des études : 68) |
| Taux de réponse | 85 % avant ; 75 % des élèves appariés avant et après |
Questions
Une classe qui attend est-elle désavantagée ?
Non. Toutes les classes bénéficient d’Eco Heroes ; les classes de comparaison commencent un trimestre plus tard. C’est pourquoi cette conception est équitable pour les élèves.
Un élève peut-il refuser ?
Oui. Chaque question peut être passée, un élève peut s’arrêter à tout moment et les parents peuvent refuser à l’avance la participation de leur enfant.
Les résultats seront-ils publiés ?
Oui, sous forme de résultats regroupés qui ne permettent d’identifier ni une classe ni un élève, y compris les résultats inférieurs à l’objectif. Le plan d’étude est enregistré publiquement avant la première session.
Pourquoi dix élèves ?
Des moyennes calculées sur moins d’élèves pourraient révéler des réponses individuelles et sont trop incertaines pour avoir un sens.
Qui a conçu les questionnaires ?
Le test de connaissances et les questions sur les gestes ont été rédigés par Eco Heroes à partir des objectifs des leçons, et un essai pilote avec des élèves vérifie chaque question avant le début d’une étude. Les échelles d’attitudes et de compétence d’action sont des échelles publiées, utilisées sous leurs licences libres.
Les mots utilisés sur cette page
- Taille d’effet
- L’ampleur d’une différence, en écarts-types. 0.2 est faible, 0.5 moyenne, 0.8 forte.
- Intervalle de confiance
- La plage dans laquelle se trouve la vraie valeur avec une confiance de 95 %.
- Fiabilité
- La cohérence avec laquelle une échelle mesure. 0.70 ou plus est le minimum admis.
- Comparaison avec liste d’attente
- Une conception dans laquelle les classes de comparaison reçoivent le programme plus tard au lieu de ne pas le recevoir du tout.