Eco Heroes 効果検証調査のしくみ
学校は、Eco Heroes によって児童・生徒に何が変わったかを測定できます。このページでは、効果検証調査の進め方、質問の内容、結果の計算方法、児童・生徒のプライバシーの守り方を、順を追って説明します。
1分でわかる調査
前と後
児童・生徒は、プログラムの前、終了直後、そして約10週間後に、同じ短いアンケートに答えます。
公平な比較
その変化を、1学期遅れて Eco Heroes を始める同じような条件のクラスと比べます。どのクラスもプログラムを受けられます。
名前は使いません
各時点の回答は、クラス内の席から作られる匿名のコードで結びつけます。名前やメールアドレスを使うことは決してありません。
10人以上で結果を表示
教員がクラスの結果を見られるのは、前と後の両方に10人以上の児童・生徒が回答した場合だけです。1人ひとりの回答を見ることはありません。
この調査で明らかにすること
主な問い：Eco Heroes のクラスの児童・生徒は、比較クラスの児童・生徒よりも、17の持続可能な開発目標についての知識を大きく伸ばすか。
- 自然に対する態度や、自分にも変化を起こせるという信念が、より大きく変わるか。
- 実生活での持続可能な行動をより多く報告し、それが10週間後も続いているか。
- 教員は目標を教えることにより自信をもつようになるか。また、プラットフォームの使いやすさをどう感じるか。
- 利用が多いほど（達成した目標、完了したミッション）、伸びも大きいか。
調査デザイン：ウェイトリスト比較
参加クラスを2つのグループに分けます。1つ目のグループは今すぐ Eco Heroes を始め、2つ目のグループは1学期遅れて始めて、それまでは比較グループとなります。学校やネットワークが同意する場合は、クラスを抽選で割り当てます。これが最も厳密なデザインです。そうでない場合は、年齢層、学校の種類、国が合うように比較クラスを選びます。
回を選ぶと、何が行われるかが表示されます。
T0 · 前. T0回、最初の授業の前。両方のグループが回答します。これがすべての測定の出発点です。
T1 · 後. T1回、10週間のプログラムの終了時。両方のグループが回答し、グループ間の差が主な結果になります。
T2 · 10週間後. T2回、約10週間後。効果が続いているかがわかります。比較クラスにとってはこれが自分たちの「前」にもなるため、調査ではもう1組の前後比較が得られます。
知識テストの2つの版
知識テストには、難易度が同じA版とB版があります。各クラスの半分は先にA、後でBに答え、残りの半分はその逆にします。そのため、問題を覚えていたことで得点が上がることはありません。
児童・生徒と教員が答える内容
児童・生徒は授業中に約10〜12分、教員は約10分です。公表され検証済みの尺度がある場合は、公表されたとおりに、児童・生徒の言語で使用します。
9〜12歳の児童・生徒
- 17の目標についての知識：多肢選択式の15問（A版またはB版）。
- 自然に対する態度（2-MEV）：自然を大切にすることと利用することについての16の文。公表された尺度（Manoli ほか、2019年）。
- 自分にも変化を起こせるという信念：絵のスケールを使った4つの文。
- 過去7日間の行動：電気を消す、家で目標について話すなど、8つの質問。
- 楽しさと意欲：5つの文、プログラム終了後。
- 3つの自由記述式の質問、プログラム終了後：学んだこと、変えたこと、改善したいこと。
13〜17歳の児童・生徒
- 17の目標についての知識：多肢選択式の15問（A版またはB版）。
- 行動コンピテンス（SPACS-Q）：何をすべきかを知っていること、それが大切だと信じていること、行動する意欲があることについての12の文。公表された尺度（Olsson ほか、2020年）。
- 過去7日間の行動：電気を消す、家で目標について話すなど、8つの質問。
- 楽しさと意欲：5つの文、プログラム終了後。
- 3つの自由記述式の質問、プログラム終了後：学んだこと、変えたこと、改善したいこと。
6〜8歳の児童
- 低年齢の児童はアンケートに記入しません。代わりに教員がクラス全体について短い観察シートに記入します（6つの文：示された知識、参加の様子、行動）。
教員
- 17の目標を教える自信：8つの文、前と後。
- 今学期の持続可能性に関する授業時間と実践：4つの質問、前と後。
- 実施した内容（授業、目標、ミッション、時間（分））：4つの質問、後。
- プラットフォームの使いやすさ：10項目の System Usability Scale（システム・ユーザビリティ・スケール、Brooke、1986年）、後。
- 3つの自由記述式の質問：うまくいったこと、うまくいかなかったこと、児童・生徒の反応。
プラットフォームのデータが客観的な情報を加えます。達成した目標、クイズの得点、記録したミッションを、同じ匿名コードで結びつけます。
結果の計算方法
主な結果：プログラム終了後の知識の得点を2つのグループで比較します。その際、児童・生徒それぞれの開始時の得点と年齢層を考慮し、児童・生徒がクラスごとにまとまっていることも考慮に入れます。結果は効果量（Hedges' g）とその95%信頼区間で報告します。
- 態度、行動コンピテンス、行動、教員の自信にも同じ方法を用います。副次的な結果を複数検定するため、偶然の結果が効果として報告されないよう、p値を調整します（Holm法）。
- 各尺度の信頼性を確認し（Cronbach's alpha、知識テストはKR-20）、最低基準は0.70とします。
- 自由記述の回答は、その一部について2人がそれぞれ独立してテーマ別にコーディングします。一致度がCohen's kappaで0.70に達してから、残りを1人がコーディングします。
- 回答が異常に速い場合、注意確認の質問に正しく答えていない場合、尺度全体に同じ答えをしている場合は、印を付けて確認します。自動的に削除することはありません。
必要なクラス数
スライダーを動かして、検出する価値のある最小の効果を選んでください。この数値は、1クラス22人、ばらつきの10%がクラス間の差によるもの、開始時のテストが最終結果の半分を説明する、児童・生徒の15%が脱落する、検出力80%、有意水準5%を前提としています。
| 検出する価値のある最小の効果 | 1グループあたりのクラス数 | 1グループあたりの児童・生徒数 |
|---|---|---|
| 0.40 (中〜大程度) | 9 | 198 |
| 0.30 (中程度) | 15 | 330 |
| 0.25 (小〜中程度) | 21 | 462 |
プライバシーと子どもの保護
この調査は、学校が自らの教育を評価する取り組みの一部です。データの管理責任は学校にあり、Eco Heroes はデータ処理契約に基づいて学校のためにデータを処理します。
児童・生徒
クラスコードを入力したあと、クラスの端末で回答します。どの質問もとばせますし、途中でやめることもできます。点数はつきません。
教員
何人が回答したかを見られます。また、10人以上が2回とも回答すると、クラスの結果（前と後の平均、得点が上がった児童・生徒の割合、クラスの理解が最も不十分な目標）を見られます。1人ひとりの回答を見ることはありません。
保護者
最初の回の前に学校から知らされ、子どもを参加させないことを選べます。学校に適用される法律や学校の方針で求められる場合は、代わりに書面による同意を求めます。
Eco Heroes
研究や報告のために、複数のクラスをまとめて匿名化した結果を見ます。自由記述の回答は、送信時に自動でフィルタリングされます。メールアドレスと電話番号は削除され、子どもが危険にさらされている可能性を示す短い語句リストに一致する回答は、調査データから外され、学校が指定した子どもの安全担当者だけに伝えられます。名前は自動では削除されません。回答を読む研究者が名前の可能性があるものに印を付け、報告に載せることはありません。危険の可能性を示す内容は、1登校日以内に学校の指定担当者に伝えられます。学校が担当者を指定していない場合、これらの回答は学校の管理者に、学校に紐付いていないクラス（学習プラットフォーム経由でのみ使うクラスなど）の場合は Eco Heroes の子どもの保護責任者に渡されます。
名前、メールアドレス、生年月日は収集しません。
回答に入力されたメールアドレスや電話番号は削除します。
10人未満の結果は表示しません。
回答は、調査の最後の回から24か月後に削除します。
事前に設定した目標
これらの目標は、最初の回の前に公開の調査計画で確定されるため、結果が出たあとで変更することはできません。目標に届かなかった結果も公表します。
| 測定項目 | 目標 |
|---|---|
| 知識：プログラム終了後の Eco Heroes のクラスと比較クラスの比較 | 効果量0.30以上 |
| Eco Heroes のクラス内での知識の伸び | 20パーセントポイント以上。児童・生徒の70%が向上 |
| 10週間後に保たれている知識 | 伸びの80%以上 |
| 態度と行動コンピテンス | 効果量0.15以上 |
| 実生活のミッションを1つ以上完了した児童・生徒 | 60%以上 |
| 目標を教える教員の自信 | 5段階尺度で+0.5 |
| 使いやすさ（System Usability Scale） | 75以上（各研究の平均：68） |
| 回答率 | 前の回で85%。児童・生徒の75%で前後の回答を照合 |
よくある質問
待つクラスは損をしませんか？
いいえ。どのクラスも Eco Heroes を受けられます。比較クラスは1学期遅れて始めるだけです。だからこそ、このデザインは児童・生徒にとって公平なのです。
児童・生徒は断れますか？
はい。どの質問もとばせますし、いつでも途中でやめられます。保護者は事前に子どもを参加させないことを選べます。
結果は公表されますか？
はい。クラスや児童・生徒を特定できない形でまとめた結果として、目標に届かなかった結果も含めて公表します。調査計画は最初の回の前に公開登録します。
なぜ10人なのですか？
それより少ない人数の平均では、個人の回答がわかってしまうおそれがあり、また不確かさが大きすぎて意味を持ちません。
アンケートは誰が作ったのですか？
知識テストと行動についての質問は、授業の目標をもとに Eco Heroes が作成しました。調査を始める前に、児童・生徒とのパイロット調査ですべての質問を確認します。態度と行動コンピテンスの尺度は公表された尺度で、それぞれのオープンライセンスに従って使用しています。
このページで使う用語
- 効果量
- 差がどれくらい大きいかを、標準偏差を単位として表したもの。0.2は小、0.5は中、0.8は大。
- 信頼区間
- 真の値が95%の信頼度で含まれる範囲。
- 信頼性
- 尺度がどれだけ一貫して測定できるか。0.70以上が一般に認められた最低基準です。
- ウェイトリスト比較
- 比較クラスがプログラムを受けないのではなく、あとから受けるデザイン。