Como funcionam os estudos de impacto da Eco Heroes
As escolas podem medir o que a Eco Heroes muda para os seus alunos. Esta página explica, passo a passo, como decorre um estudo de impacto, o que se pergunta, como se calculam os resultados e como se protege a privacidade dos alunos.
O estudo num minuto
Antes e depois
Os alunos respondem ao mesmo questionário curto antes do programa, logo a seguir e cerca de dez semanas mais tarde.
Uma comparação justa
A sua evolução é comparada com a de turmas semelhantes que começam a Eco Heroes um período mais tarde. Todas as turmas recebem o programa.
Sem nomes
As respostas são ligadas ao longo do tempo por um código anónimo associado ao lugar do aluno na turma, nunca por um nome ou endereço de e-mail.
Resultados a partir de 10 alunos
O professor só vê o resultado da turma quando pelo menos 10 alunos responderam antes e depois, e nunca vê as respostas de um aluno.
As perguntas a que o estudo responde
Pergunta principal: os alunos das turmas Eco Heroes ganham mais conhecimentos sobre os 17 Objetivos de Desenvolvimento Sustentável do que os alunos das turmas de comparação?
- As suas atitudes perante a natureza e a convicção de que podem fazer a diferença mudam mais?
- Referem mais ações sustentáveis concretas, e essas ações mantêm-se dez semanas depois?
- Os professores sentem-se mais confiantes a ensinar os objetivos, e quão fácil acham a plataforma?
- Uma utilização maior (objetivos concluídos, missões feitas) acompanha ganhos maiores?
Desenho: uma comparação com lista de espera
As turmas participantes são divididas em dois grupos. O primeiro começa a Eco Heroes já; o segundo começa um período mais tarde e serve de comparação até lá. Quando uma escola ou rede concorda, as turmas são atribuídas por sorteio, o desenho mais robusto; caso contrário, as turmas de comparação são emparelhadas por faixa etária, tipo de escola e país.
Seleciona uma fase para ver o que acontece.
T0 · Antes. Fase T0, antes da primeira aula. Os dois grupos respondem. É o ponto de partida de todas as medidas.
T1 · Depois. Fase T1, no fim do programa de dez semanas. Os dois grupos respondem; a diferença entre os grupos é o resultado principal.
T2 · 10 semanas depois. Fase T2, cerca de dez semanas depois. Mostra se o efeito se mantém. Para as turmas de comparação é também o seu «antes», por isso o estudo obtém uma segunda comparação antes-depois.
Duas versões do teste de conhecimentos
O teste de conhecimentos tem duas versões com a mesma dificuldade, A e B. Metade de cada turma responde primeiro à A e depois à B, a outra metade ao contrário, para que uma pontuação mais alta não possa resultar de se lembrarem das perguntas.
O que respondem alunos e professores
Cerca de 10 a 12 minutos na aula para os alunos e cerca de 10 minutos para os professores. Quando existe uma escala publicada e validada, é usada tal como foi publicada, na língua do aluno.
Alunos dos 9 aos 12
- Conhecimento dos 17 objetivos: 15 perguntas de escolha múltipla (versão A ou B).
- Atitudes perante a natureza (2-MEV): 16 afirmações sobre cuidar da natureza e utilizá-la. Escala publicada, Manoli e outros, 2019.
- Convicção de que podes fazer a diferença: 4 afirmações com uma escala de imagens.
- Ações nos últimos 7 dias: 8 perguntas, como apagar as luzes ou falar sobre um objetivo em casa.
- Gosto e envolvimento: 5 afirmações, depois do programa.
- Três perguntas abertas, depois do programa: o que aprendeste, o que mudaste, o que melhorarias.
Alunos dos 13 aos 17
- Conhecimento dos 17 objetivos: 15 perguntas de escolha múltipla (versão A ou B).
- Competência para agir (SPACS-Q): 12 afirmações sobre saber o que fazer, acreditar que isso conta e estar disposto a agir. Escala publicada, Olsson e outros, 2020.
- Ações nos últimos 7 dias: 8 perguntas, como apagar as luzes ou falar sobre um objetivo em casa.
- Gosto e envolvimento: 5 afirmações, depois do programa.
- Três perguntas abertas, depois do programa: o que aprendeste, o que mudaste, o que melhorarias.
Alunos dos 6 aos 8
- Os alunos mais novos não preenchem questionário. O professor preenche uma ficha de observação curta para a turma toda (6 afirmações: conhecimentos demonstrados, participação, ações).
Professores
- Confiança a ensinar os 17 objetivos: 8 afirmações, antes e depois.
- Tempo e práticas de ensino da sustentabilidade neste período: 4 perguntas, antes e depois.
- O que foi dado (aulas, objetivos, missões, minutos): 4 perguntas, depois.
- Facilidade de utilização da plataforma: a System Usability Scale de 10 itens (Brooke, 1986), depois.
- Três perguntas abertas: o que funcionou, o que não funcionou, como reagiram os alunos.
Os dados da plataforma acrescentam uma camada objetiva: objetivos concluídos, pontuações dos quizzes e missões registadas, ligados ao mesmo código anónimo.
Como se calculam os resultados
Resultado principal: a pontuação de conhecimentos depois do programa é comparada entre os dois grupos, tendo em conta a pontuação inicial e a faixa etária de cada aluno e o facto de os alunos estarem agrupados em turmas. É apresentada como tamanho do efeito (g de Hedges) com o respetivo intervalo de confiança a 95%.
- O mesmo método é usado para as atitudes, a competência para agir, as ações e a confiança dos professores. Como são testados vários resultados secundários, os valores p são ajustados (método de Holm), para que resultados devidos ao acaso não sejam apresentados como efeitos.
- A fiabilidade de cada escala é verificada (alfa de Cronbach, ou KR-20 para o teste de conhecimentos), com 0,70 como mínimo.
- As respostas abertas são codificadas em temas por duas pessoas, de forma independente, numa parte das respostas; o acordo tem de atingir um kappa de Cohen de 0,70 antes de uma só pessoa codificar o resto.
- Respostas dadas invulgarmente depressa, uma pergunta de atenção falhada ou respostas idênticas numa escala inteira são assinaladas e verificadas, e não apagadas automaticamente.
Quantas turmas são precisas
Desloca o cursor para escolher o menor efeito que vale a pena detetar. Os números pressupõem 22 alunos por turma, 10% da variação entre turmas, um teste inicial que explica metade do resultado final, 15% de alunos perdidos, poder estatístico de 80% e nível de significância de 5%.
| Menor efeito que vale a pena detetar | Turmas por grupo | Alunos por grupo |
|---|---|---|
| 0.40 (moderado a grande) | 9 | 198 |
| 0.30 (moderado) | 15 | 330 |
| 0.25 (pequeno a moderado) | 21 | 462 |
Privacidade e proteção
O estudo faz parte da avaliação que a escola faz do seu próprio ensino. A escola é responsável pelos dados; a Eco Heroes trata-os em nome da escola ao abrigo do acordo de tratamento de dados.
Aluno
Responde num dispositivo da turma depois de introduzir o código da turma. Pode saltar qualquer pergunta ou parar. Não há notas.
Professor
Vê quantos alunos responderam e, quando 10 ou mais alunos responderam nas duas vezes, o resultado da turma (média antes e depois, percentagem de alunos que melhoraram, os objetivos que a turma conhece menos). Nunca vê as respostas de um aluno.
Família
É informada pela escola antes da primeira fase e pode recusar a participação da criança; quando a lei ou as regras da escola o exigem, pede-se antes um consentimento escrito.
Eco Heroes
Vê resultados agregados e anonimizados de várias turmas, para investigação e relatórios. As respostas de texto livre são filtradas automaticamente quando são enviadas: os endereços de e-mail e os números de telefone são retirados, e as respostas que correspondem a uma pequena lista de palavras que podem indicar que uma criança está em risco são retiradas dos dados do estudo e transmitidas apenas ao contacto para a proteção de crianças designado pela escola. Os nomes não são retirados automaticamente; os investigadores que leem as respostas assinalam os possíveis nomes e nunca os incluem em relatórios. Uma possível revelação é transmitida ao contacto designado pela escola no prazo de um dia letivo. Se a escola não tiver designado ninguém, estas respostas chegam aos administradores da escola; numa turma não ligada a uma escola (por exemplo, uma usada apenas através de uma plataforma de aprendizagem), ao responsável pela proteção de crianças da Eco Heroes.
Não se recolhem nomes, endereços de e-mail nem datas de nascimento.
Os endereços de e-mail e números de telefone escritos numa resposta são removidos.
Nenhum resultado é mostrado para menos de 10 alunos.
As respostas são apagadas 24 meses depois da última fase do estudo.
Lê o Aviso de Privacidade para Crianças e o Centro de Confiança →
Metas definidas antecipadamente
Estas metas ficam fixadas no plano público do estudo antes da primeira fase, por isso não podem ser alteradas depois de os resultados serem conhecidos. Os resultados abaixo de uma meta também são publicados.
| Medida | Meta |
|---|---|
| Conhecimentos nas turmas Eco Heroes em comparação com as turmas de comparação, depois do programa | Tamanho do efeito de 0,30 ou mais |
| Ganho de conhecimentos nas turmas Eco Heroes | Pelo menos 20 pontos percentuais; 70% dos alunos melhoram |
| Conhecimentos mantidos dez semanas depois | Pelo menos 80% do ganho |
| Atitudes e competência para agir | Tamanho do efeito de 0,15 ou mais |
| Alunos que concluem pelo menos uma missão concreta | 60% ou mais |
| Confiança dos professores a ensinar os objetivos | +0,5 numa escala de 5 pontos |
| Facilidade de utilização (System Usability Scale) | 75 ou mais (média entre estudos: 68) |
| Taxa de resposta | 85% antes; 75% dos alunos emparelhados antes e depois |
Perguntas
Uma turma que espera fica a perder?
Não. Todas as turmas recebem a Eco Heroes; as turmas de comparação começam um período mais tarde. É por isso que este desenho é justo para os alunos.
Um aluno pode recusar?
Sim. Qualquer pergunta pode ser saltada, um aluno pode parar a qualquer momento e os encarregados de educação podem recusar antecipadamente a participação da criança.
Os resultados vão ser publicados?
Sim, como resultados agregados que não permitem identificar uma turma nem um aluno, incluindo os resultados abaixo da meta. O plano do estudo é registado publicamente antes da primeira fase.
Porquê dez alunos?
Médias de menos alunos poderiam revelar respostas individuais e são demasiado incertas para terem significado.
Quem concebeu os questionários?
O teste de conhecimentos e as perguntas sobre ações foram escritos pela Eco Heroes a partir dos objetivos das aulas, e um piloto com alunos verifica cada pergunta antes de um estudo começar. As escalas de atitudes e de competência para agir são escalas publicadas, usadas ao abrigo das suas licenças abertas.
Palavras usadas nesta página
- Tamanho do efeito
- O tamanho de uma diferença, em desvios-padrão. 0,2 é pequeno, 0,5 médio, 0,8 grande.
- Intervalo de confiança
- O intervalo em que se encontra o valor verdadeiro com 95% de confiança.
- Fiabilidade
- A consistência com que uma escala mede. 0,70 ou mais é o mínimo aceite.
- Comparação com lista de espera
- Um desenho em que as turmas de comparação recebem o programa mais tarde, em vez de não o receberem.