Come funzionano gli studi d’impatto di Eco Heroes
Le scuole possono misurare che cosa cambia Eco Heroes per i loro alunni. Questa pagina spiega, passo dopo passo, come si svolge uno studio d’impatto, che cosa si chiede, come si calcolano i risultati e come viene protetta la privacy degli alunni.
Lo studio in un minuto
Prima e dopo
Gli alunni rispondono allo stesso breve questionario prima del programma, subito dopo e circa dieci settimane più tardi.
Un confronto equo
Il loro cambiamento viene confrontato con quello di classi simili che iniziano Eco Heroes un periodo scolastico più tardi. Tutte le classi ricevono il programma.
Nessun nome
Le risposte vengono collegate nel tempo con un codice anonimo legato al posto dell’alunno nella classe, mai con un nome o un indirizzo e-mail.
Risultati da 10 alunni
L’insegnante vede il risultato della classe solo quando almeno 10 alunni hanno risposto prima e dopo, e non vede mai le risposte di un singolo alunno.
Le domande a cui risponde lo studio
Domanda principale: gli alunni delle classi Eco Heroes acquisiscono più conoscenze sui 17 Obiettivi di sviluppo sostenibile rispetto agli alunni delle classi di confronto?
- Il loro atteggiamento verso la natura e la convinzione di poter fare la differenza cambiano di più?
- Riferiscono più azioni sostenibili concrete, e queste durano anche dieci settimane dopo?
- Gli insegnanti si sentono più sicuri nell’insegnare gli obiettivi, e quanto trovano facile la piattaforma?
- Un uso maggiore (obiettivi completati, missioni svolte) va di pari passo con progressi maggiori?
Disegno: un confronto con lista d’attesa
Le classi partecipanti sono divise in due gruppi. Il primo inizia Eco Heroes subito; il secondo inizia un periodo scolastico più tardi e fino ad allora fa da gruppo di confronto. Se una scuola o una rete è d’accordo, le classi vengono assegnate per sorteggio, il disegno più solido; altrimenti le classi di confronto vengono abbinate per fascia d’età, tipo di scuola e paese.
Seleziona una rilevazione per vedere che cosa succede.
T0 · Prima. Rilevazione T0, prima della prima lezione. Rispondono entrambi i gruppi. È il punto di partenza per ogni misura.
T1 · Dopo. Rilevazione T1, alla fine del programma di dieci settimane. Rispondono entrambi i gruppi; la differenza tra i gruppi è il risultato principale.
T2 · 10 settimane dopo. Rilevazione T2, circa dieci settimane dopo. Mostra se l’effetto dura. Per le classi di confronto è anche il loro «prima», così lo studio ottiene un secondo confronto prima-dopo.
Due versioni del test di conoscenze
Il test di conoscenze ha due versioni di pari difficoltà, A e B. Metà di ogni classe risponde prima alla A e poi alla B, l’altra metà al contrario, così un punteggio più alto non può dipendere dal ricordo delle domande.
A che cosa rispondono alunni e insegnanti
Circa 10–12 minuti in classe per gli alunni e circa 10 minuti per gli insegnanti. Quando esiste una scala pubblicata e validata, viene usata così come è stata pubblicata, nella lingua dell’alunno.
Alunni 9–12
- Conoscenza dei 17 obiettivi: 15 domande a scelta multipla (versione A o B).
- Atteggiamento verso la natura (2-MEV): 16 affermazioni sul prendersi cura della natura e sull’usarla. Scala pubblicata, Manoli e altri, 2019.
- Convinzione di poter fare la differenza: 4 affermazioni con una scala a immagini.
- Azioni negli ultimi 7 giorni: 8 domande, per esempio spegnere le luci o parlare di un obiettivo a casa.
- Divertimento e coinvolgimento: 5 affermazioni, dopo il programma.
- Tre domande aperte, dopo il programma: che cosa hai imparato, che cosa hai cambiato, che cosa miglioreresti.
Alunni 13–17
- Conoscenza dei 17 obiettivi: 15 domande a scelta multipla (versione A o B).
- Competenza d’azione (SPACS-Q): 12 affermazioni sul sapere che cosa fare, sul credere che conti e sull’essere disposti ad agire. Scala pubblicata, Olsson e altri, 2020.
- Azioni negli ultimi 7 giorni: 8 domande, per esempio spegnere le luci o parlare di un obiettivo a casa.
- Divertimento e coinvolgimento: 5 affermazioni, dopo il programma.
- Tre domande aperte, dopo il programma: che cosa hai imparato, che cosa hai cambiato, che cosa miglioreresti.
Alunni 6–8
- Gli alunni più piccoli non compilano un questionario. L’insegnante compila una breve scheda di osservazione per tutta la classe (6 affermazioni: conoscenze mostrate, partecipazione, azioni).
Insegnanti
- Sicurezza nell’insegnare i 17 obiettivi: 8 affermazioni, prima e dopo.
- Tempo e pratiche di insegnamento della sostenibilità in questo periodo: 4 domande, prima e dopo.
- Che cosa è stato svolto (lezioni, obiettivi, missioni, minuti): 4 domande, dopo.
- Quanto è facile usare la piattaforma: la System Usability Scale a 10 item (Brooke, 1986), dopo.
- Tre domande aperte: che cosa ha funzionato, che cosa no, come hanno reagito gli alunni.
I dati della piattaforma aggiungono un livello oggettivo: obiettivi completati, punteggi dei quiz e missioni registrate, collegati allo stesso codice anonimo.
Come si calcolano i risultati
Risultato principale: il punteggio di conoscenze dopo il programma viene confrontato tra i due gruppi, tenendo conto del punteggio di partenza di ogni alunno e della fascia d’età e del fatto che gli alunni sono raggruppati in classi. Viene riportato come dimensione dell’effetto (g di Hedges) con il suo intervallo di confidenza al 95%.
- Lo stesso metodo si usa per atteggiamenti, competenza d’azione, azioni e sicurezza degli insegnanti. Poiché si verificano diversi risultati secondari, i valori p vengono corretti (metodo di Holm), così che risultati dovuti al caso non vengano presentati come effetti.
- Per ogni scala si verifica l’affidabilità (alfa di Cronbach, o KR-20 per il test di conoscenze), con 0,70 come valore minimo.
- Le risposte aperte vengono codificate in temi da due persone in modo indipendente su una parte delle risposte; l’accordo deve raggiungere un kappa di Cohen di 0,70 prima che una sola persona codifichi il resto.
- Le risposte date in modo insolitamente rapido, una domanda di controllo dell’attenzione sbagliata o risposte identiche a un’intera scala vengono segnalate e verificate, non eliminate automaticamente.
Quante classi servono
Sposta il cursore per scegliere l’effetto più piccolo che vale la pena rilevare. I numeri presuppongono 22 alunni per classe, il 10% della variabilità tra le classi, un test iniziale che spiega metà del risultato finale, il 15% di alunni persi, una potenza dell’80% e un livello di significatività del 5%.
| Effetto più piccolo che vale la pena rilevare | Classi per gruppo | Alunni per gruppo |
|---|---|---|
| 0.40 (da moderato a grande) | 9 | 198 |
| 0.30 (moderato) | 15 | 330 |
| 0.25 (da piccolo a moderato) | 21 | 462 |
Privacy e tutela
Lo studio fa parte della valutazione che la scuola conduce sulla propria didattica. La scuola è titolare dei dati; Eco Heroes li tratta per conto della scuola in base all’accordo sul trattamento dei dati.
Alunno
Risponde su un dispositivo della classe dopo aver inserito il codice classe. Può saltare qualsiasi domanda o fermarsi. Non ci sono voti.
Insegnante
Vede quanti alunni hanno risposto e, quando almeno 10 alunni hanno risposto entrambe le volte, il risultato della classe (media prima e dopo, percentuale di alunni che sono migliorati, gli obiettivi che la classe conosce meno). Non vede mai le risposte di un singolo alunno.
Genitore
Viene informato dalla scuola prima della prima rilevazione e può chiedere che il figlio o la figlia non partecipi; quando la legge o le regole della scuola lo richiedono, si chiede invece il consenso scritto.
Eco Heroes
Vede risultati aggregati e anonimizzati di più classi, per la ricerca e i rapporti. Le risposte a testo libero sono filtrate automaticamente all'invio: gli indirizzi e-mail e i numeri di telefono vengono rimossi, e le risposte che corrispondono a un breve elenco di parole che possono indicare che un bambino è in pericolo sono tolte dai dati dello studio e trasmesse solo al referente per la tutela dei minori designato dalla scuola. I nomi non vengono rimossi automaticamente; i ricercatori che leggono le risposte segnalano i possibili nomi e non li riportano mai. Una possibile rivelazione è trasmessa al referente designato dalla scuola entro un giorno di scuola. Se la scuola non ha designato nessuno, queste risposte vanno agli amministratori della scuola; per una classe non collegata a una scuola (per esempio una usata solo tramite una piattaforma di apprendimento), al referente per la tutela dei minori di Eco Heroes.
Non si raccolgono nomi, indirizzi e-mail né date di nascita.
Gli indirizzi e-mail e i numeri di telefono scritti in una risposta vengono rimossi.
Nessun risultato viene mostrato per meno di 10 alunni.
Le risposte vengono cancellate 24 mesi dopo l’ultima rilevazione dello studio.
Leggi l’Informativa sulla privacy dei minori e il Trust Centre →
Obiettivi fissati in anticipo
Questi obiettivi sono fissati nel piano pubblico dello studio prima della prima rilevazione, quindi non possono essere spostati quando i risultati sono noti. Anche i risultati sotto l’obiettivo vengono pubblicati.
| Misura | Obiettivo |
|---|---|
| Conoscenze nelle classi Eco Heroes rispetto alle classi di confronto dopo il programma | Dimensione dell’effetto pari o superiore a 0,30 |
| Aumento delle conoscenze nelle classi Eco Heroes | Almeno 20 punti percentuali; il 70% degli alunni migliora |
| Conoscenze mantenute dieci settimane dopo | Almeno l’80% del progresso |
| Atteggiamenti e competenza d’azione | Dimensione dell’effetto pari o superiore a 0,15 |
| Alunni che completano almeno una missione concreta | 60% o più |
| Sicurezza degli insegnanti nell’insegnare gli obiettivi | +0,5 su una scala a 5 punti |
| Facilità d’uso (System Usability Scale) | 75 o più (media tra gli studi: 68) |
| Tasso di risposta | 85% prima; 75% degli alunni abbinati prima e dopo |
Domande
Una classe che aspetta resta esclusa?
No. Tutte le classi ricevono Eco Heroes; le classi di confronto iniziano un periodo scolastico più tardi. Per questo il disegno è equo verso gli alunni.
Un alunno può rifiutare?
Sì. Si può saltare qualsiasi domanda, un alunno può fermarsi in qualsiasi momento e i genitori possono chiedere in anticipo che il figlio o la figlia non partecipi.
I risultati verranno pubblicati?
Sì, come risultati aggregati che non permettono di identificare una classe o un alunno, compresi i risultati sotto l’obiettivo. Il piano dello studio viene registrato pubblicamente prima della prima rilevazione.
Perché dieci alunni?
Le medie calcolate su meno alunni potrebbero rivelare le singole risposte e sono troppo incerte per avere un significato.
Chi ha ideato i questionari?
Il test di conoscenze e le domande sulle azioni sono stati scritti da Eco Heroes a partire dagli obiettivi delle lezioni, e una prova pilota con gli alunni verifica ogni domanda prima che inizi uno studio. Le scale sugli atteggiamenti e sulla competenza d’azione sono scale pubblicate, usate in base alle loro licenze aperte.
Parole usate in questa pagina
- Dimensione dell’effetto
- Quanto è grande una differenza, in deviazioni standard. 0,2 è piccola, 0,5 media, 0,8 grande.
- Intervallo di confidenza
- L’intervallo in cui si trova il valore vero con una confidenza del 95%.
- Affidabilità
- Quanto è coerente la misurazione di una scala. 0,70 o più è il minimo accettato.
- Confronto con lista d’attesa
- Un disegno in cui le classi di confronto ricevono il programma più tardi, invece di non riceverlo affatto.