Cómo funcionan los estudios de impacto de Eco Heroes
Los centros pueden medir lo que Eco Heroes cambia en su alumnado. Esta página explica, paso a paso, cómo se lleva a cabo un estudio de impacto, qué se pregunta, cómo se calculan los resultados y cómo se protege la privacidad de los alumnos.
El estudio en un minuto
Antes y después
Los alumnos responden el mismo cuestionario corto antes del programa, justo al terminarlo y unas diez semanas después.
Una comparación justa
Su cambio se compara con el de clases similares que empiezan Eco Heroes un trimestre más tarde. Todas las clases reciben el programa.
Sin nombres
Las respuestas se enlazan a lo largo del tiempo mediante un código anónimo que sale del puesto del alumno en la clase, nunca mediante un nombre ni una dirección de correo electrónico.
Resultados a partir de 10 alumnos
El docente solo ve el resultado de la clase cuando al menos 10 alumnos han respondido antes y después, y nunca ve las respuestas de un alumno concreto.
Las preguntas que responde el estudio
Pregunta principal: ¿los alumnos de las clases de Eco Heroes aprenden más sobre los 17 Objetivos de Desarrollo Sostenible que los de las clases de comparación?
- ¿Cambian más sus actitudes hacia la naturaleza y su convicción de que pueden cambiar las cosas?
- ¿Cuentan más acciones sostenibles en la vida real, y las mantienen diez semanas después?
- ¿Se sienten los docentes más seguros al enseñar los objetivos, y les resulta fácil usar la plataforma?
- ¿Un mayor uso (objetivos completados, misiones hechas) va unido a mayores avances?
Diseño: comparación con lista de espera
Las clases participantes se dividen en dos grupos. El primero empieza Eco Heroes ahora; el segundo empieza un trimestre más tarde y, hasta entonces, sirve de comparación. Cuando un centro o una red está de acuerdo, las clases se asignan por sorteo, que es el diseño más sólido; si no, las clases de comparación se emparejan por franja de edad, tipo de centro y país.
Selecciona una ronda para ver qué pasa.
T0 · Antes. Ronda T0, antes de la primera clase. Responden los dos grupos. Es el punto de partida de todas las medidas.
T1 · Después. Ronda T1, al final del programa de diez semanas. Responden los dos grupos; la diferencia entre los grupos es el resultado principal.
T2 · 10 semanas después. Ronda T2, unas diez semanas después. Muestra si el efecto se mantiene. Para las clases de comparación es también su propio «antes», así que el estudio obtiene una segunda comparación de antes y después.
Dos versiones de la prueba de conocimientos
La prueba de conocimientos tiene dos versiones de igual dificultad, A y B. La mitad de cada clase responde primero la A y más tarde la B, y la otra mitad al revés, de modo que una puntuación más alta no puede deberse a recordar las preguntas.
Qué responden alumnos y docentes
Unos 10 a 12 minutos en clase para los alumnos y unos 10 minutos para los docentes. Cuando existe una escala publicada y validada, se usa tal como se publicó, en el idioma del alumno.
Alumnos de 9–12 años
- Conocimiento de los 17 objetivos: 15 preguntas de opción múltiple (versión A o B).
- Actitudes hacia la naturaleza (2-MEV): 16 afirmaciones sobre cuidar y usar la naturaleza. Escala publicada, Manoli y otros, 2019.
- Convicción de poder cambiar las cosas: 4 afirmaciones con una escala de dibujos.
- Acciones en los últimos 7 días: 8 preguntas, como apagar las luces o hablar de un objetivo en casa.
- Disfrute e implicación: 5 afirmaciones, después del programa.
- Tres preguntas abiertas, después del programa: qué has aprendido, qué has cambiado y qué mejorarías.
Alumnos de 13–17 años
- Conocimiento de los 17 objetivos: 15 preguntas de opción múltiple (versión A o B).
- Competencia para la acción (SPACS-Q): 12 afirmaciones sobre saber qué hacer, creer que importa y estar dispuesto a actuar. Escala publicada, Olsson y otros, 2020.
- Acciones en los últimos 7 días: 8 preguntas, como apagar las luces o hablar de un objetivo en casa.
- Disfrute e implicación: 5 afirmaciones, después del programa.
- Tres preguntas abiertas, después del programa: qué has aprendido, qué has cambiado y qué mejorarías.
Alumnos de 6–8 años
- Los alumnos más pequeños no rellenan ningún cuestionario. Su docente completa una hoja de observación breve para toda la clase (6 afirmaciones: conocimientos que muestran, participación, acciones).
Docentes
- Confianza al enseñar los 17 objetivos: 8 afirmaciones, antes y después.
- Tiempo y práctica de enseñanza de la sostenibilidad este trimestre: 4 preguntas, antes y después.
- Qué se ha impartido (clases, objetivos, misiones, minutos): 4 preguntas, después.
- Facilidad de uso de la plataforma: la System Usability Scale de 10 ítems (Brooke, 1986), después.
- Tres preguntas abiertas: qué ha funcionado, qué no y cómo han reaccionado los alumnos.
Los datos de la plataforma añaden una capa objetiva: objetivos completados, puntuaciones en los quiz y misiones registradas, vinculados al mismo código anónimo.
Cómo se calculan los resultados
Resultado principal: la puntuación de conocimientos después del programa se compara entre los dos grupos, teniendo en cuenta la puntuación inicial y la franja de edad de cada alumno, y el hecho de que los alumnos están agrupados en clases. Se presenta como tamaño del efecto (g de Hedges) con su intervalo de confianza del 95 %.
- Se usa el mismo método para las actitudes, la competencia para la acción, las acciones y la confianza de los docentes. Como se analizan varios resultados secundarios, los valores p se ajustan (método de Holm) para que los hallazgos debidos al azar no se presenten como efectos.
- Se comprueba la fiabilidad de cada escala (alfa de Cronbach, o KR-20 en la prueba de conocimientos), con 0.70 como mínimo.
- Las respuestas abiertas se codifican por temas: dos personas codifican por separado una parte de las respuestas, y su acuerdo debe alcanzar un kappa de Cohen de 0.70 antes de que una sola persona codifique el resto.
- Las respuestas dadas con una rapidez inusual, una pregunta de atención fallada o respuestas idénticas en toda una escala se marcan y se revisan; no se eliminan automáticamente.
Cuántas clases hacen falta
Mueve el control deslizante para elegir el efecto más pequeño que vale la pena detectar. Las cifras suponen 22 alumnos por clase, un 10 % de la variación entre clases, una prueba inicial que explica la mitad del resultado final, un 15 % de alumnos perdidos, una potencia del 80 % y un nivel de significación del 5 %.
| Efecto más pequeño que vale la pena detectar | Clases por grupo | Alumnos por grupo |
|---|---|---|
| 0.40 (de moderado a grande) | 9 | 198 |
| 0.30 (moderado) | 15 | 330 |
| 0.25 (de pequeño a moderado) | 21 | 462 |
Privacidad y protección de menores
El estudio forma parte de la evaluación que el propio centro hace de su enseñanza. El centro es el responsable de los datos; Eco Heroes los trata por cuenta del centro según el contrato de encargo del tratamiento.
Alumno
Responde en un dispositivo de la clase después de escribir el código de clase. Puede saltarse cualquier pregunta o parar. No hay notas.
Docente
Ve cuántos alumnos han respondido y, cuando 10 o más han respondido las dos veces, el resultado de la clase (media antes y después, porcentaje de alumnos que han mejorado, los objetivos que la clase conoce peor). Nunca ve las respuestas de un alumno concreto.
Familia
El centro le informa antes de la primera ronda y puede excluir a su hijo o hija; cuando la ley o la normativa del centro lo exige, se pide en su lugar un consentimiento por escrito.
Eco Heroes
Ve resultados agrupados y anonimizados de varias clases para investigación e informes. Las respuestas de texto libre se filtran automáticamente al enviarse: se eliminan las direcciones de correo electrónico y los números de teléfono, y las respuestas que coinciden con una breve lista de palabras que pueden indicar que un menor está en riesgo se retiran de los datos del estudio y se trasladan solo a la persona de contacto para la protección de la infancia designada por el centro. Los nombres no se eliminan automáticamente; los investigadores que leen las respuestas marcan los posibles nombres y nunca los incluyen en ningún informe. Una posible revelación se traslada a la persona de contacto designada por el centro en un plazo de un día lectivo. Si el centro no ha designado a nadie, estas respuestas llegan a los administradores del centro; en una clase no vinculada a ningún centro (por ejemplo, una que solo se usa a través de una plataforma de aprendizaje), a la persona responsable de protección de la infancia de Eco Heroes.
No se recogen nombres, direcciones de correo electrónico ni fechas de nacimiento.
Se eliminan las direcciones de correo electrónico y los números de teléfono escritos en una respuesta.
No se muestra ningún resultado de menos de 10 alumnos.
Las respuestas se eliminan 24 meses después de la última ronda del estudio.
Lee el Aviso de privacidad infantil y el Centro de Confianza →
Metas fijadas de antemano
Estas metas se fijan en el plan público del estudio antes de la primera ronda, así que no se pueden cambiar cuando ya se conocen los resultados. Los resultados por debajo de una meta también se publican.
| Medida | Meta |
|---|---|
| Conocimientos: clases de Eco Heroes frente a clases de comparación después del programa | Tamaño del efecto de 0.30 o más |
| Avance en conocimientos dentro de las clases de Eco Heroes | Al menos 20 puntos porcentuales; mejora el 70 % de los alumnos |
| Conocimientos que se mantienen diez semanas después | Al menos el 80 % del avance |
| Actitudes y competencia para la acción | Tamaño del efecto de 0.15 o más |
| Alumnos que completan al menos una misión en la vida real | 60 % o más |
| Confianza de los docentes al enseñar los objetivos | +0.5 en una escala de 5 puntos |
| Facilidad de uso (System Usability Scale) | 75 o más (media entre estudios: 68) |
| Tasa de respuesta | 85 % antes; 75 % de los alumnos con respuestas emparejadas antes y después |
Preguntas
¿Sale perdiendo una clase que espera?
No. Todas las clases reciben Eco Heroes; las clases de comparación empiezan un trimestre más tarde. Por eso este diseño es justo con los alumnos.
¿Puede negarse un alumno?
Sí. Se puede saltar cualquier pregunta, un alumno puede parar en cualquier momento y las familias pueden excluir a su hijo o hija de antemano.
¿Se publicarán los resultados?
Sí, como resultados agrupados que no permiten identificar a ninguna clase ni a ningún alumno, incluidos los que quedan por debajo de la meta. El plan del estudio se registra públicamente antes de la primera ronda.
¿Por qué diez alumnos?
Las medias de menos alumnos podrían revelar respuestas individuales y son demasiado inciertas para significar algo.
¿Quién ha diseñado los cuestionarios?
La prueba de conocimientos y las preguntas sobre acciones las ha escrito Eco Heroes a partir de los objetivos de las lecciones, y una prueba piloto con alumnos revisa cada pregunta antes de que empiece un estudio. Las escalas de actitudes y de competencia para la acción son escalas publicadas, que se usan con sus licencias abiertas.
Términos usados en esta página
- Tamaño del efecto
- Lo grande que es una diferencia, en desviaciones típicas. 0.2 es pequeño, 0.5 mediano y 0.8 grande.
- Intervalo de confianza
- El intervalo en el que se encuentra el valor real con un 95 % de confianza.
- Fiabilidad
- Lo coherente que es la medición de una escala. 0.70 o más es el mínimo aceptado.
- Comparación con lista de espera
- Un diseño en el que las clases de comparación reciben el programa más tarde en lugar de no recibirlo.