Com funcionen els estudis d'impacte d'Eco Heroes
Les escoles poden mesurar què canvia Eco Heroes en el seu alumnat. Aquesta pàgina explica, pas a pas, com es fa un estudi d'impacte, què es pregunta, com es calculen els resultats i com es protegeix la privadesa dels alumnes.
L'estudi en un minut
Abans i després
Els alumnes responen el mateix qüestionari curt abans del programa, just en acabar-lo i unes deu setmanes després.
Una comparació justa
El seu canvi es compara amb el de classes semblants que comencen Eco Heroes un trimestre més tard. Totes les classes reben el programa.
Sense noms
Les respostes s'enllacen al llarg del temps mitjançant un codi anònim que surt de la plaça de l'alumne a la classe, mai mitjançant un nom ni una adreça de correu electrònic.
Resultats a partir de 10 alumnes
El docent només veu el resultat de la classe quan almenys 10 alumnes han respost abans i després, i mai no veu les respostes d'un alumne concret.
Les preguntes que respon l'estudi
Pregunta principal: els alumnes de les classes d'Eco Heroes aprenen més sobre els 17 Objectius de Desenvolupament Sostenible que els de les classes de comparació?
- Canvien més les seves actituds envers la natura i la seva convicció que poden canviar les coses?
- Expliquen més accions sostenibles a la vida real, i les mantenen deu setmanes després?
- Els docents se senten més segurs ensenyant els objectius, i els resulta fàcil fer servir la plataforma?
- Un ús més gran (objectius completats, missions fetes) va lligat a avenços més grans?
Disseny: comparació amb llista d'espera
Les classes participants es divideixen en dos grups. El primer comença Eco Heroes ara; el segon comença un trimestre més tard i, fins aleshores, serveix de comparació. Quan una escola o una xarxa hi està d'acord, les classes s'assignen per sorteig, que és el disseny més sòlid; si no, les classes de comparació s'aparellen per franja d'edat, tipus d'escola i país.
Selecciona una ronda per veure què passa.
T0 · Abans. Ronda T0, abans de la primera classe. Responen els dos grups. És el punt de partida de totes les mesures.
T1 · Després. Ronda T1, al final del programa de deu setmanes. Responen els dos grups; la diferència entre els grups és el resultat principal.
T2 · 10 setmanes després. Ronda T2, unes deu setmanes després. Mostra si l'efecte es manté. Per a les classes de comparació també és el seu propi «abans», així que l'estudi obté una segona comparació d'abans i després.
Dues versions de la prova de coneixements
La prova de coneixements té dues versions de la mateixa dificultat, A i B. La meitat de cada classe respon primer l'A i més tard la B, i l'altra meitat al revés, de manera que una puntuació més alta no pot venir de recordar les preguntes.
Què responen alumnes i docents
Uns 10 a 12 minuts a classe per als alumnes i uns 10 minuts per als docents. Quan existeix una escala publicada i validada, es fa servir tal com es va publicar, en la llengua de l'alumne.
Alumnes de 9–12 anys
- Coneixement dels 17 objectius: 15 preguntes d'opció múltiple (versió A o B).
- Actituds envers la natura (2-MEV): 16 afirmacions sobre tenir cura de la natura i fer-ne ús. Escala publicada, Manoli i altres, 2019.
- Convicció de poder canviar les coses: 4 afirmacions amb una escala de dibuixos.
- Accions en els últims 7 dies: 8 preguntes, com ara apagar els llums o parlar d'un objectiu a casa.
- Gaudi i implicació: 5 afirmacions, després del programa.
- Tres preguntes obertes, després del programa: què has après, què has canviat i què milloraries.
Alumnes de 13–17 anys
- Coneixement dels 17 objectius: 15 preguntes d'opció múltiple (versió A o B).
- Competència per a l'acció (SPACS-Q): 12 afirmacions sobre saber què cal fer, creure que importa i estar disposat a actuar. Escala publicada, Olsson i altres, 2020.
- Accions en els últims 7 dies: 8 preguntes, com ara apagar els llums o parlar d'un objectiu a casa.
- Gaudi i implicació: 5 afirmacions, després del programa.
- Tres preguntes obertes, després del programa: què has après, què has canviat i què milloraries.
Alumnes de 6–8 anys
- Els alumnes més petits no omplen cap qüestionari. El seu docent completa un full d'observació breu per a tota la classe (6 afirmacions: coneixements que mostren, participació, accions).
Docents
- Confiança en ensenyar els 17 objectius: 8 afirmacions, abans i després.
- Temps i pràctica d'ensenyament de la sostenibilitat aquest trimestre: 4 preguntes, abans i després.
- Què s'ha impartit (classes, objectius, missions, minuts): 4 preguntes, després.
- Facilitat d'ús de la plataforma: la System Usability Scale de 10 ítems (Brooke, 1986), després.
- Tres preguntes obertes: què ha funcionat, què no i com hi han reaccionat els alumnes.
Les dades de la plataforma afegeixen una capa objectiva: objectius completats, puntuacions als quiz i missions registrades, vinculades al mateix codi anònim.
Com es calculen els resultats
Resultat principal: la puntuació de coneixements després del programa es compara entre els dos grups, tenint en compte la puntuació inicial i la franja d'edat de cada alumne, i el fet que els alumnes estan agrupats en classes. Es presenta com a mida de l'efecte (g de Hedges) amb el seu interval de confiança del 95 %.
- Es fa servir el mateix mètode per a les actituds, la competència per a l'acció, les accions i la confiança dels docents. Com que s'analitzen diversos resultats secundaris, els valors p s'ajusten (mètode de Holm) perquè les troballes degudes a l'atzar no es presentin com a efectes.
- Es comprova la fiabilitat de cada escala (alfa de Cronbach, o KR-20 per a la prova de coneixements), amb 0.70 com a mínim.
- Les respostes obertes es codifiquen per temes: dues persones codifiquen per separat una part de les respostes, i el seu acord ha d'arribar a una kappa de Cohen de 0.70 abans que una sola persona codifiqui la resta.
- Les respostes donades amb una rapidesa inusual, una pregunta d'atenció fallada o respostes idèntiques en tota una escala es marquen i es revisen; no s'eliminen automàticament.
Quantes classes calen
Mou el control lliscant per triar l'efecte més petit que val la pena detectar. Les xifres suposen 22 alumnes per classe, un 10 % de la variació entre classes, una prova inicial que explica la meitat del resultat final, un 15 % d'alumnes perduts, una potència del 80 % i un nivell de significació del 5 %.
| Efecte més petit que val la pena detectar | Classes per grup | Alumnes per grup |
|---|---|---|
| 0.40 (de moderat a gran) | 9 | 198 |
| 0.30 (moderat) | 15 | 330 |
| 0.25 (de petit a moderat) | 21 | 462 |
Privadesa i protecció dels infants
L'estudi forma part de l'avaluació que la mateixa escola fa de la seva docència. L'escola és la responsable de les dades; Eco Heroes les tracta per compte de l'escola segons el contracte d'encàrrec del tractament.
Alumne
Respon en un dispositiu de la classe després d'escriure el codi de classe. Pot saltar-se qualsevol pregunta o aturar-se. No hi ha notes.
Docent
Veu quants alumnes han respost i, quan 10 o més han respost les dues vegades, el resultat de la classe (mitjana abans i després, percentatge d'alumnes que han millorat, els objectius que la classe coneix pitjor). Mai no veu les respostes d'un alumne concret.
Família
L'escola l'informa abans de la primera ronda i pot excloure el seu fill o filla; quan la llei o la normativa de l'escola ho exigeix, es demana en canvi un consentiment per escrit.
Eco Heroes
Veu resultats agrupats i anonimitzats de diverses classes per a recerca i informes. Les respostes de text lliure es filtren automàticament en enviar-se: s'eliminen les adreces electròniques i els números de telèfon, i les respostes que coincideixen amb una llista breu de paraules que poden indicar que un infant està en risc es treuen de les dades de l'estudi i es traslladen només a la persona de contacte per a la protecció de la infància designada pel centre. Els noms no s'eliminen automàticament; els investigadors que llegeixen les respostes marquen els possibles noms i mai no els inclouen en cap informe. Una possible revelació es trasllada a la persona de contacte designada pel centre en un termini d'un dia lectiu. Si el centre no ha designat ningú, aquestes respostes arriben als administradors del centre; en una classe no vinculada a cap centre (per exemple, una que només es fa servir a través d'una plataforma d'aprenentatge), a la persona responsable de protecció de la infància d'Eco Heroes.
No es recullen noms, adreces de correu electrònic ni dates de naixement.
S'eliminen les adreces de correu electrònic i els números de telèfon escrits en una resposta.
No es mostra cap resultat de menys de 10 alumnes.
Les respostes s'eliminen 24 mesos després de l'última ronda de l'estudi.
Llegeix l'Avís de privadesa per a infants i el Centre de Confiança →
Fites fixades per endavant
Aquestes fites es fixen al pla públic de l'estudi abans de la primera ronda, així que no es poden canviar quan ja es coneixen els resultats. Els resultats per sota d'una fita també es publiquen.
| Mesura | Fita |
|---|---|
| Coneixements: classes d'Eco Heroes davant de les classes de comparació després del programa | Mida de l'efecte de 0.30 o més |
| Avenç en coneixements dins de les classes d'Eco Heroes | Almenys 20 punts percentuals; millora el 70 % dels alumnes |
| Coneixements que es mantenen deu setmanes després | Almenys el 80 % de l'avenç |
| Actituds i competència per a l'acció | Mida de l'efecte de 0.15 o més |
| Alumnes que completen almenys una missió a la vida real | 60 % o més |
| Confiança dels docents en ensenyar els objectius | +0.5 en una escala de 5 punts |
| Facilitat d'ús (System Usability Scale) | 75 o més (mitjana entre estudis: 68) |
| Taxa de resposta | 85 % abans; 75 % dels alumnes amb respostes aparellades abans i després |
Preguntes
Una classe que espera hi surt perdent?
No. Totes les classes reben Eco Heroes; les classes de comparació comencen un trimestre més tard. Per això aquest disseny és just amb els alumnes.
Un alumne s'hi pot negar?
Sí. Es pot saltar qualsevol pregunta, un alumne es pot aturar en qualsevol moment i les famílies poden excloure el seu fill o filla per endavant.
Es publicaran els resultats?
Sí, com a resultats agrupats que no permeten identificar cap classe ni cap alumne, inclosos els que queden per sota de la fita. El pla de l'estudi es registra públicament abans de la primera ronda.
Per què deu alumnes?
Les mitjanes de menys alumnes podrien revelar respostes individuals i són massa incertes per voler dir res.
Qui ha dissenyat els qüestionaris?
La prova de coneixements i les preguntes sobre accions les ha escrit Eco Heroes a partir dels objectius de les lliçons, i una prova pilot amb alumnes revisa cada pregunta abans que comenci un estudi. Les escales d'actituds i de competència per a l'acció són escales publicades, que es fan servir amb les seves llicències obertes.
Termes que surten en aquesta pàgina
- Mida de l'efecte
- Com de gran és una diferència, en desviacions estàndard. 0.2 és petita, 0.5 mitjana i 0.8 gran.
- Interval de confiança
- L'interval en què es troba el valor real amb un 95 % de confiança.
- Fiabilitat
- Com de coherent és la mesura d'una escala. 0.70 o més és el mínim acceptat.
- Comparació amb llista d'espera
- Un disseny en què les classes de comparació reben el programa més tard en lloc de no rebre'l.