Eco Heroes 효과 연구는 이렇게 진행됩니다
학교는 Eco Heroes가 학생들에게 어떤 변화를 가져오는지 측정할 수 있습니다. 이 페이지에서는 효과 연구가 어떻게 진행되는지, 무엇을 묻는지, 결과를 어떻게 계산하는지, 학생의 개인정보를 어떻게 보호하는지 단계별로 설명합니다.
1분 만에 보는 연구
전과 후
학생들은 프로그램 시작 전, 끝난 직후, 그리고 약 10주 뒤에 같은 짧은 설문에 답합니다.
공정한 비교
학생들의 변화를 한 학기 늦게 Eco Heroes를 시작하는 비슷한 학급과 비교합니다. 모든 학급이 프로그램을 받습니다.
이름 없이
시점별 응답은 학급 내 학생의 자리에서 만든 익명 코드로 연결하며, 이름이나 이메일 주소는 절대 사용하지 않습니다.
학생 10명부터 결과 표시
교사는 전과 후에 모두 응답한 학생이 10명 이상일 때만 학급 결과를 볼 수 있으며, 학생 한 명의 응답은 절대 볼 수 없습니다.
이 연구가 답하려는 질문
주요 질문: Eco Heroes 학급의 학생들은 비교 학급의 학생들보다 17개 지속가능발전목표에 대한 지식이 더 많이 늘어나는가?
- 자연에 대한 태도와 자신이 변화를 만들 수 있다는 믿음이 더 많이 변하는가?
- 실생활에서의 지속가능한 행동을 더 많이 보고하며, 그 행동이 10주 뒤에도 이어지는가?
- 교사는 목표를 가르치는 데 더 자신감을 느끼는가, 그리고 플랫폼을 얼마나 쉽게 느끼는가?
- 더 많이 사용할수록(달성한 목표, 완료한 미션) 향상도 더 큰가?
연구 설계: 대기자 비교
참여 학급은 두 집단으로 나뉩니다. 첫 번째 집단은 지금 Eco Heroes를 시작하고, 두 번째 집단은 한 학기 뒤에 시작하며 그때까지 비교 집단이 됩니다. 학교나 학교 네트워크가 동의하면 학급을 추첨으로 배정하며, 이것이 가장 엄밀한 설계입니다. 그렇지 않으면 연령대, 학교 유형, 국가가 같은 학급을 비교 학급으로 맞춥니다.
회차를 선택하면 무엇을 하는지 볼 수 있습니다.
T0 · 전. T0 회차, 첫 수업 전. 두 집단 모두 응답합니다. 모든 측정의 출발점입니다.
T1 · 후. T1 회차, 10주 프로그램이 끝날 때. 두 집단 모두 응답하며, 두 집단 간의 차이가 주요 결과입니다.
T2 · 10주 뒤. T2 회차, 약 10주 뒤. 효과가 지속되는지 보여 줍니다. 비교 학급에는 이것이 자신들의 '전' 측정이기도 하므로, 연구에서 두 번째 전후 비교를 얻을 수 있습니다.
지식 검사의 두 가지 버전
지식 검사에는 난이도가 같은 A와 B 두 가지 버전이 있습니다. 각 학급의 절반은 A를 먼저, B를 나중에 풀고, 나머지 절반은 반대로 풉니다. 그래서 문제를 기억해서 점수가 오르는 일은 없습니다.
학생과 교사가 답하는 내용
학생은 수업 중 약 10~12분, 교사는 약 10분이 걸립니다. 출판되어 검증된 척도가 있는 경우, 출판된 그대로 학생의 언어로 사용합니다.
9–12세 학생
- 17개 목표에 대한 지식: 객관식 15문항(A 또는 B 버전).
- 자연에 대한 태도(2-MEV): 자연을 아끼는 것과 이용하는 것에 관한 16개 문장. 출판된 척도, Manoli 외, 2019.
- 내가 변화를 만들 수 있다는 믿음: 그림 척도를 사용한 4개 문장.
- 지난 7일 동안의 행동: 전등 끄기, 집에서 목표에 대해 이야기하기 등 8개 질문.
- 재미와 참여: 5개 문장, 프로그램 후.
- 프로그램 후 세 가지 서술형 질문: 배운 것, 바꾼 것, 개선하고 싶은 것.
13–17세 학생
- 17개 목표에 대한 지식: 객관식 15문항(A 또는 B 버전).
- 행동 역량(SPACS-Q): 무엇을 해야 하는지 아는 것, 그것이 중요하다고 믿는 것, 행동하려는 의지에 관한 12개 문장. 출판된 척도, Olsson 외, 2020.
- 지난 7일 동안의 행동: 전등 끄기, 집에서 목표에 대해 이야기하기 등 8개 질문.
- 재미와 참여: 5개 문장, 프로그램 후.
- 프로그램 후 세 가지 서술형 질문: 배운 것, 바꾼 것, 개선하고 싶은 것.
6–8세 학생
- 어린 학생들은 설문을 작성하지 않습니다. 대신 교사가 학급 전체에 대해 짧은 관찰 기록지(6개 문장: 보여 준 지식, 참여, 행동)를 작성합니다.
교사
- 17개 목표를 가르치는 자신감: 8개 문장, 전과 후.
- 이번 학기 지속가능성 수업 시간과 실천: 4개 질문, 전과 후.
- 실제로 진행한 내용(수업, 목표, 미션, 시간(분)): 4개 질문, 후.
- 플랫폼 사용의 용이성: 10문항 System Usability Scale(시스템 사용성 척도, Brooke, 1986), 후.
- 세 가지 서술형 질문: 잘된 점, 잘되지 않은 점, 학생들의 반응.
플랫폼 데이터가 객관적인 정보를 더합니다. 달성한 목표, 퀴즈 점수, 기록한 미션을 같은 익명 코드로 연결합니다.
결과를 계산하는 방법
주요 결과: 프로그램 후 지식 점수를 두 집단 간에 비교하며, 각 학생의 시작 점수와 연령대를 고려하고 학생들이 학급 단위로 묶여 있다는 점도 반영합니다. 결과는 효과 크기(Hedges' g)와 95% 신뢰구간으로 보고합니다.
- 태도, 행동 역량, 행동, 교사 자신감에도 같은 방법을 사용합니다. 여러 이차 결과를 검정하므로, 우연한 결과가 효과로 보고되지 않도록 p값을 보정합니다(Holm 방법).
- 각 척도의 신뢰도를 확인하며(Cronbach's alpha, 지식 검사는 KR-20), 최저 기준은 0.70입니다.
- 서술형 응답은 일부에 대해 두 사람이 각자 독립적으로 주제별로 코딩합니다. 일치도가 Cohen's kappa 0.70에 도달해야 나머지를 한 사람이 코딩합니다.
- 비정상적으로 빠른 응답, 주의 확인 문항 실패, 한 척도 전체에 똑같은 답을 한 경우는 표시해 확인하며, 자동으로 삭제하지 않습니다.
필요한 학급 수
슬라이더를 움직여 검출할 가치가 있는 가장 작은 효과를 선택하세요. 이 숫자는 학급당 학생 22명, 전체 변동 중 학급 간 변동 10%, 시작 검사가 최종 결과의 절반을 설명, 학생 15% 이탈, 검정력 80%, 유의수준 5%를 가정합니다.
| 검출할 가치가 있는 가장 작은 효과 | 집단당 학급 수 | 집단당 학생 수 |
|---|---|---|
| 0.40 (보통~큼) | 9 | 198 |
| 0.30 (보통) | 15 | 330 |
| 0.25 (작음~보통) | 21 | 462 |
개인정보 보호와 아동 보호
이 연구는 학교가 자체적으로 수업을 평가하는 활동의 일부입니다. 데이터에 대한 책임은 학교에 있으며, Eco Heroes는 데이터 처리 계약에 따라 학교를 대신해 데이터를 처리합니다.
학생
학급 코드를 입력한 뒤 학급 기기에서 답합니다. 어떤 질문이든 건너뛰거나 그만둘 수 있습니다. 점수는 없습니다.
교사
응답한 학생 수를 볼 수 있으며, 10명 이상이 두 번 모두 응답하면 학급 결과(전후 평균, 점수가 오른 학생 비율, 학급이 가장 잘 모르는 목표)를 볼 수 있습니다. 학생 한 명의 응답은 절대 볼 수 없습니다.
보호자
첫 회차 전에 학교로부터 안내를 받으며, 자녀를 참여에서 제외할 수 있습니다. 학교에 적용되는 법이나 학교 방침에서 요구하는 경우에는 대신 서면 동의를 받습니다.
Eco Heroes
연구와 보고를 위해 여러 학급을 합쳐 익명화한 결과를 봅니다. 자유 응답은 제출될 때 자동으로 걸러집니다. 이메일 주소와 전화번호는 삭제되며, 아동이 위험에 처해 있을 수 있음을 보여 주는 짧은 단어 목록과 일치하는 응답은 연구 데이터에서 제외되어 학교가 지정한 아동 보호 담당자에게만 전달됩니다. 이름은 자동으로 삭제되지 않으며, 응답을 읽는 연구자가 이름일 수 있는 부분을 표시하고 어떤 보고서에도 싣지 않습니다. 위험을 알리는 내용일 수 있는 응답은 수업일 기준 1일 이내에 학교가 지정한 담당자에게 전달됩니다. 학교가 담당자를 지정하지 않은 경우 이러한 응답은 학교 관리자에게, 학교에 연결되지 않은 학급(예: 학습 플랫폼을 통해서만 사용하는 학급)의 경우에는 Eco Heroes의 아동 보호 책임자에게 전달됩니다.
이름, 이메일 주소, 생년월일은 수집하지 않습니다.
응답에 입력된 이메일 주소와 전화번호는 삭제됩니다.
학생 10명 미만의 결과는 표시하지 않습니다.
응답은 연구의 마지막 회차로부터 24개월 뒤에 삭제됩니다.
미리 정한 목표
이 목표들은 첫 회차 전에 공개된 연구 계획에 확정되므로, 결과가 나온 뒤에 바꿀 수 없습니다. 목표에 미치지 못한 결과도 공개합니다.
| 측정 항목 | 목표 |
|---|---|
| 지식: 프로그램 후 Eco Heroes 학급과 비교 학급의 비교 | 효과 크기 0.30 이상 |
| Eco Heroes 학급 내 지식 향상 | 최소 20%포인트, 학생의 70%가 향상 |
| 10주 뒤에도 유지된 지식 | 향상분의 80% 이상 |
| 태도와 행동 역량 | 효과 크기 0.15 이상 |
| 실생활 미션을 하나 이상 완료한 학생 | 60% 이상 |
| 목표를 가르치는 교사의 자신감 | 5점 척도에서 +0.5 |
| 사용 용이성(System Usability Scale) | 75 이상(여러 연구의 평균: 68) |
| 응답률 | 사전 응답 85%, 학생의 75%가 전후 응답 연결 |
자주 묻는 질문
기다리는 학급은 손해를 보나요?
아닙니다. 모든 학급이 Eco Heroes를 받으며, 비교 학급은 한 학기 늦게 시작할 뿐입니다. 그래서 이 설계는 학생들에게 공정합니다.
학생이 거부할 수 있나요?
네. 어떤 질문이든 건너뛸 수 있고, 언제든 그만둘 수 있으며, 보호자는 미리 자녀를 참여에서 제외할 수 있습니다.
결과가 공개되나요?
네. 학급이나 학생을 식별할 수 없는 합산 결과로 공개하며, 목표에 미치지 못한 결과도 포함합니다. 연구 계획은 첫 회차 전에 공개적으로 등록합니다.
왜 10명인가요?
그보다 적은 학생의 평균은 개인의 응답을 드러낼 수 있고, 불확실성이 너무 커서 의미가 없습니다.
설문은 누가 만들었나요?
지식 검사와 행동 질문은 Eco Heroes가 수업 목표를 바탕으로 작성했으며, 연구를 시작하기 전에 학생들과 함께하는 예비 조사로 모든 질문을 점검합니다. 태도 척도와 행동 역량 척도는 출판된 척도이며, 각각의 공개 라이선스에 따라 사용합니다.
이 페이지에 쓰인 용어
- 효과 크기
- 차이가 얼마나 큰지를 표준편차 단위로 나타낸 값입니다. 0.2는 작음, 0.5는 중간, 0.8은 큼입니다.
- 신뢰구간
- 참값이 95% 신뢰도로 들어 있는 범위입니다.
- 신뢰도
- 척도가 얼마나 일관되게 측정하는지를 나타냅니다. 0.70 이상이 일반적으로 인정되는 최저 기준입니다.
- 대기자 비교
- 비교 학급이 프로그램을 아예 받지 않는 대신 나중에 받는 설계입니다.