Eco Heroes 效果研究如何开展
学校可以衡量 Eco Heroes 给学生带来了哪些变化。本页逐步说明效果研究如何开展、问些什么、结果如何计算，以及如何保护学生的隐私。
一分钟了解这项研究
前后对比
学生在项目开始前、刚结束时以及大约十周后，回答同一份简短的问卷。
公平的比较
将他们的变化与晚一个学期开始 Eco Heroes 的相似班级进行比较。每个班级都会参加项目。
不用姓名
不同时间的答案通过一个匿名代码相互关联，这个代码来自学生在班级中的座位，绝不使用姓名或电子邮箱地址。
至少 10 名学生才显示结果
只有当至少 10 名学生在项目前后都作答时，老师才能看到班级结果，而且永远看不到任何一名学生的答案。
这项研究要回答的问题
主要问题：与对照班级的学生相比，Eco Heroes 班级的学生对 17 个可持续发展目标的了解是否增加得更多？
- 他们对自然的态度，以及相信自己能带来改变的信念，是否变化更大？
- 他们报告的现实中的可持续行动是否更多，这些行动在十周后是否仍在持续？
- 老师在教授这些目标时是否更有信心，他们觉得平台好不好用？
- 使用得越多（完成的目标、完成的任务），收获是否越大？
研究设计：候补对照
参与的班级分成两组。第一组现在就开始 Eco Heroes；第二组晚一个学期开始，在此之前作为对照组。如果学校或学校网络同意，班级通过抽签分配，这是最严谨的设计；否则，按年龄段、学校类型和国家匹配对照班级。
选择一个轮次，看看会发生什么。
T0 · 之前. T0 轮，在第一节课之前。两组都作答。这是所有测量的起点。
T1 · 之后. T1 轮，在为期十周的项目结束时。两组都作答；两组之间的差异就是主要结果。
T2 · 10 周后. T2 轮，大约十周后。显示效果是否持久。对于对照班级来说，这也是他们自己的“之前”，因此研究还能得到第二组前后对比。
知识测验的两个版本
知识测验有难度相同的 A、B 两个版本。每个班级一半学生先答 A 后答 B，另一半则相反，这样分数提高就不可能是因为记住了题目。
学生和老师回答什么
学生在课堂上大约需要 10 到 12 分钟，老师大约需要 10 分钟。凡是已有公开发表、经过检验的量表，都按发表的原样使用，并采用学生的语言版本。
9–12 岁学生
- 对 17 个目标的了解：15 道选择题（A 版或 B 版）。
- 对自然的态度（2-MEV）：16 条关于爱护自然和利用自然的陈述。已发表的量表，Manoli 等，2019。
- 相信自己能带来改变：4 条陈述，配有图片量表。
- 过去 7 天的行动：8 个问题，例如随手关灯或在家里谈论某个目标。
- 喜爱程度和参与度：5 条陈述，项目结束后作答。
- 三个开放式问题，项目结束后作答：你学到了什么、你改变了什么、你想改进什么。
13–17 岁学生
- 对 17 个目标的了解：15 道选择题（A 版或 B 版）。
- 行动能力（SPACS-Q）：12 条陈述，涉及知道该做什么、相信这很重要以及愿意采取行动。已发表的量表，Olsson 等，2020。
- 过去 7 天的行动：8 个问题，例如随手关灯或在家里谈论某个目标。
- 喜爱程度和参与度：5 条陈述，项目结束后作答。
- 三个开放式问题，项目结束后作答：你学到了什么、你改变了什么、你想改进什么。
6–8 岁学生
- 年龄较小的学生不填写问卷。由老师为全班填写一份简短的观察表（6 条陈述：表现出的知识、参与情况、行动）。
教师
- 教授 17 个目标的信心：8 条陈述，项目前后作答。
- 本学期可持续发展教学的时间和做法：4 个问题，项目前后作答。
- 实际开展了哪些内容（课时、目标、任务、分钟数）：4 个问题，项目结束后作答。
- 平台是否易于使用：包含 10 个条目的 System Usability Scale（系统可用性量表，Brooke，1986），项目结束后作答。
- 三个开放式问题：哪些做法有效、哪些无效、学生有什么反应。
平台数据增加了一层客观信息：完成的目标、测验分数和记录的任务，通过同一个匿名代码关联。
结果如何计算
主要结果：比较两组学生在项目结束后的知识得分，同时考虑每名学生的起始得分和年龄段，并考虑到学生是按班级分组的。结果以效应量（Hedges' g）及其 95% 置信区间报告。
- 态度、行动能力、行动和教师信心也采用同样的方法。由于检验了多个次要结果，p 值会进行校正（Holm 法），以免把偶然发现报告为效果。
- 每个量表的信度都会检验（Cronbach's alpha，知识测验则用 KR-20），最低标准为 0.70。
- 开放式回答中的一部分由两人各自独立地编码归入主题；两人的一致性必须达到 Cohen's kappa 0.70，之后才由一人编码其余部分。
- 作答速度异常快、注意力检测题未通过，或对整个量表给出完全相同的答案，这些情况会被标记并核查，而不是自动删除。
需要多少个班级
拖动滑块，选择值得检测的最小效应。这些数字的假设是：每班 22 名学生，班级间差异占总变异的 10%，起始测验能解释最终结果的一半，15% 的学生流失，80% 的统计功效，5% 的显著性水平。
| 值得检测的最小效应 | 每组班级数 | 每组学生数 |
|---|---|---|
| 0.40 (中等到大) | 9 | 198 |
| 0.30 (中等) | 15 | 330 |
| 0.25 (小到中等) | 21 | 462 |
隐私与安全保护
这项研究是学校对自身教学开展评估的一部分。学校负责管理数据；Eco Heroes 根据数据处理协议代表学校处理这些数据。
学生
输入班级码后，在班级设备上作答。可以跳过任何问题，也可以随时停止。不打分。
教师
可以看到有多少学生已经作答；当 10 名或以上学生两次都作答后，还可以看到班级结果（前后平均分、成绩有提高的学生比例、全班掌握得最差的目标）。永远看不到任何一名学生的答案。
家长
学校会在第一轮之前通知家长，家长可以让孩子不参加；如果学校所适用的法律或学校政策有要求，则改为征求书面同意。
Eco Heroes
可以看到跨班级汇总、经过匿名化的结果，用于研究和报告。自由文本回答在提交时会自动过滤：电子邮件地址和电话号码会被删除；与一份可能表明儿童处于危险中的简短词语清单相匹配的回答，会从研究数据中移出，并只转交学校指定的儿童保护联系人。姓名不会被自动删除；阅读回答的研究人员会标记可能的姓名，并且绝不在报告中提及。可能的披露会在一个上学日内转交学校指定的联系人。如果学校没有指定人员，这些作答会转交学校的管理员；对于未关联任何学校的班级（例如仅通过学习平台使用的班级），则转交 Eco Heroes 的儿童保护负责人。
不收集姓名、电子邮箱地址或出生日期。
答案中输入的电子邮箱地址和电话号码会被删除。
少于 10 名学生时不显示任何结果。
答案会在研究最后一轮结束 24 个月后删除。
事先设定的目标
这些目标在第一轮之前就已写入公开的研究计划，因此结果出来后无法再更改。低于目标的结果也会公布。
| 测量指标 | 目标 |
|---|---|
| 知识：项目结束后 Eco Heroes 班级与对照班级的比较 | 效应量达到 0.30 或以上 |
| Eco Heroes 班级内部的知识增长 | 至少 20 个百分点；70% 的学生有提高 |
| 十周后仍保持的知识 | 至少保持增长的 80% |
| 态度和行动能力 | 效应量达到 0.15 或以上 |
| 至少完成一项现实任务的学生 | 60% 或以上 |
| 教师教授这些目标的信心 | +0.5（5 分制量表） |
| 易用性（System Usability Scale） | 75 分或以上（各研究平均值：68） |
| 回答率 | 项目前达到 85%；75% 的学生前后答案成功匹配 |
常见问题
等待的班级会吃亏吗？
不会。每个班级都会参加 Eco Heroes；对照班级只是晚一个学期开始。所以这种设计对学生是公平的。
学生可以拒绝吗？
可以。任何问题都可以跳过，学生可以随时停止，家长也可以事先让孩子不参加。
结果会公布吗？
会，以无法识别任何班级或学生的汇总结果形式公布，包括低于目标的结果。研究计划会在第一轮之前公开注册。
为什么是 10 名学生？
人数更少时，平均值可能暴露个人的答案，而且不确定性太大，没有实际意义。
问卷是谁设计的？
知识测验和行动问题由 Eco Heroes 根据课程目标编写，每项研究开始前都会先与学生进行试测，检查每一道题。态度量表和行动能力量表是已发表的量表，依据其开放许可使用。
本页用到的术语
- 效应量
- 差异有多大，以标准差为单位。0.2 为小，0.5 为中，0.8 为大。
- 置信区间
- 以 95% 的置信度包含真实值的范围。
- 信度
- 量表测量的一致程度。0.70 或以上是公认的最低标准。
- 候补对照
- 一种研究设计：对照班级不是不参加项目，而是晚一些参加。