كيف تعمل دراسات الأثر في Eco Heroes
تستطيع المدارس أن تقيس ما يغيّره Eco Heroes لدى تلاميذها. تشرح هذه الصفحة خطوة بخطوة كيف تُجرى دراسة الأثر، وما الذي يُسأل، وكيف تُحسب النتائج، وكيف تُحمى خصوصية التلاميذ.
الدراسة في دقيقة واحدة
قبل وبعد
يجيب التلاميذ عن الاستبيان القصير نفسه قبل البرنامج، وبعده مباشرة، ثم بعد نحو عشرة أسابيع.
مقارنة عادلة
يُقارَن التغيّر لديهم بصفوف مشابهة تبدأ Eco Heroes بعد فصل دراسي واحد. كل الصفوف تحصل على البرنامج.
بلا أسماء
تُربط الإجابات عبر الزمن برمز مجهول الهوية مأخوذ من مقعد التلميذ في الصف، ولا تُربط أبدًا باسم أو بعنوان بريد إلكتروني.
نتائج ابتداءً من 10 تلاميذ
لا يرى المعلّم نتيجة الصف إلا عندما يجيب 10 تلاميذ على الأقل قبل البرنامج وبعده، ولا يرى أبدًا إجابات تلميذ بعينه.
الأسئلة التي تجيب عنها الدراسة
السؤال الرئيسي: هل يكتسب تلاميذ صفوف Eco Heroes معرفة بأهداف التنمية المستدامة الـ17 أكثر مما يكتسبه تلاميذ صفوف المقارنة؟
- هل تتغيّر مواقفهم تجاه الطبيعة وإيمانهم بقدرتهم على إحداث فرق بدرجة أكبر؟
- هل يذكرون أفعالًا مستدامة أكثر في حياتهم الواقعية، وهل تستمر هذه الأفعال بعد عشرة أسابيع؟
- هل يشعر المعلمون بثقة أكبر في تدريس الأهداف، وما مدى سهولة المنصة في نظرهم؟
- هل يقترن الاستخدام الأكثر (أهداف مكتملة، مهام منجزة) بمكاسب أكبر؟
التصميم: مقارنة بقائمة انتظار
تُقسَم الصفوف المشاركة إلى مجموعتين. تبدأ الأولى Eco Heroes الآن، وتبدأ الثانية بعد فصل دراسي واحد وتكون مجموعة المقارنة حتى ذلك الحين. وحيث توافق المدرسة أو الشبكة، تُوزَّع الصفوف بالقرعة، وهو أقوى تصميم؛ وإلا فتُختار صفوف المقارنة بحيث تتطابق في الفئة العمرية ونوع المدرسة والبلد.
اختر جولة لترى ما يحدث فيها.
T0 · قبل. الجولة T0، قبل الدرس الأول. تجيب المجموعتان كلتاهما. هذه نقطة البداية لكل مقياس.
T1 · بعد. الجولة T1، في نهاية البرنامج الممتد عشرة أسابيع. تجيب المجموعتان كلتاهما، والفرق بينهما هو النتيجة الرئيسية.
T2 · بعد 10 أسابيع. الجولة T2، بعد نحو عشرة أسابيع. تُظهر ما إذا كان الأثر يدوم. وبالنسبة إلى صفوف المقارنة، فهي أيضًا قياس «قبل» الخاص بها، فتحصل الدراسة على مقارنة ثانية بين قبل وبعد.
نسختان من اختبار المعرفة
لاختبار المعرفة نسختان متساويتان في الصعوبة، A وB. يجيب نصف كل صف عن A أولًا ثم عن B لاحقًا، والنصف الآخر بالعكس، فلا يمكن أن تأتي الدرجة الأعلى من تذكّر الأسئلة.
ما يجيب عنه التلاميذ والمعلمون
نحو 10 إلى 12 دقيقة في الصف للتلاميذ، ونحو 10 دقائق للمعلمين. وحيثما يوجد مقياس منشور ومُختبَر، يُستخدم كما نُشر، بلغة التلميذ.
التلاميذ 9–12
- معرفة الأهداف الـ17: 15 سؤالًا من نوع الاختيار من متعدد (النسخة A أو B).
- المواقف تجاه الطبيعة (2-MEV): 16 عبارة عن العناية بالطبيعة والانتفاع بها. مقياس منشور، Manoli وآخرون، 2019.
- الإيمان بالقدرة على إحداث فرق: 4 عبارات مع مقياس مصوّر.
- الأفعال في آخر 7 أيام: 8 أسئلة، مثل إطفاء الأنوار أو الحديث عن أحد الأهداف في البيت.
- الاستمتاع والانخراط: 5 عبارات، بعد البرنامج.
- ثلاثة أسئلة مفتوحة بعد البرنامج: ماذا تعلّمت، وماذا غيّرت، وماذا تودّ أن تحسّن.
التلاميذ 13–17
- معرفة الأهداف الـ17: 15 سؤالًا من نوع الاختيار من متعدد (النسخة A أو B).
- كفاءة الفعل (SPACS-Q): 12 عبارة عن معرفة ما ينبغي فعله، والإيمان بأهميته، والاستعداد للتصرّف. مقياس منشور، Olsson وآخرون، 2020.
- الأفعال في آخر 7 أيام: 8 أسئلة، مثل إطفاء الأنوار أو الحديث عن أحد الأهداف في البيت.
- الاستمتاع والانخراط: 5 عبارات، بعد البرنامج.
- ثلاثة أسئلة مفتوحة بعد البرنامج: ماذا تعلّمت، وماذا غيّرت، وماذا تودّ أن تحسّن.
التلاميذ 6–8
- لا يملأ التلاميذ الأصغر سنًا استبيانًا، بل يملأ معلّمهم ورقة ملاحظة قصيرة عن الصف كله (6 عبارات: المعرفة الظاهرة، والمشاركة، والأفعال).
المعلمون
- الثقة في تدريس الأهداف الـ17: 8 عبارات، قبل وبعد.
- وقت تدريس الاستدامة وممارساته في هذا الفصل الدراسي: 4 أسئلة، قبل وبعد.
- ما تمّ تقديمه (الدروس، الأهداف، المهام، الدقائق): 4 أسئلة، بعد.
- مدى سهولة استخدام المنصة: مقياس System Usability Scale (مقياس قابلية استخدام النظام) المكوّن من 10 بنود (Brooke، 1986)، بعد.
- ثلاثة أسئلة مفتوحة: ما الذي نجح، وما الذي لم ينجح، وكيف تفاعل التلاميذ.
تضيف بيانات المنصة طبقة موضوعية: الأهداف المكتملة، ودرجات الاختبارات القصيرة، والمهام المسجّلة، مرتبطةً بالرمز المجهول نفسه.
كيف تُحسب النتائج
النتيجة الرئيسية: تُقارَن درجة المعرفة بعد البرنامج بين المجموعتين، مع مراعاة الدرجة الأولية لكل تلميذ وفئته العمرية، ومراعاة أن التلاميذ مجمّعون في صفوف. وتُعرض النتيجة في صورة حجم أثر (Hedges' g) مع فترة الثقة 95% الخاصة به.
- تُستخدم الطريقة نفسها للمواقف وكفاءة الفعل والأفعال وثقة المعلمين. ولأن عدة نتائج ثانوية تُختبر، تُعدَّل القيم الاحتمالية p (بطريقة Holm) حتى لا تُعرض النتائج التي جاءت بالصدفة على أنها آثار.
- يُتحقّق من ثبات كل مقياس (Cronbach's alpha، أو KR-20 لاختبار المعرفة)، والحد الأدنى 0.70.
- يُرمِّز شخصان، كلٌّ على حدة، جزءًا من الإجابات المفتوحة في موضوعات؛ ويجب أن يبلغ الاتفاق بينهما 0.70 بمعامل Cohen's kappa قبل أن يرمّز شخص واحد بقية الإجابات.
- الإجابات المقدّمة بسرعة غير معتادة، أو الإخفاق في سؤال الانتباه، أو الإجابات المتطابقة على مقياس كامل، تُعلَّم وتُراجَع، ولا تُحذف تلقائيًا.
كم صفًا نحتاج
حرّك المؤشر لاختيار أصغر أثر يستحق الكشف عنه. تفترض الأرقام 22 تلميذًا في كل صف، و10% من التباين بين الصفوف، واختبارًا أوليًا يفسّر نصف النتيجة النهائية، وفقدان 15% من التلاميذ، وقوة إحصائية 80%، ومستوى دلالة 5%.
| أصغر أثر يستحق الكشف عنه | الصفوف في كل مجموعة | التلاميذ في كل مجموعة |
|---|---|---|
| 0.40 (متوسط إلى كبير) | 9 | 198 |
| 0.30 (متوسط) | 15 | 330 |
| 0.25 (صغير إلى متوسط) | 21 | 462 |
الخصوصية وحماية الأطفال
الدراسة جزء من تقييم المدرسة لتعليمها. المدرسة هي المسؤولة عن البيانات، وتعالجها Eco Heroes لصالح المدرسة بموجب اتفاقية معالجة البيانات.
التلميذ
يجيب على جهاز الصف بعد إدخال رمز الصف. يمكنه تخطّي أي سؤال أو التوقّف. لا توجد درجات.
المعلّم
يرى عدد التلاميذ الذين أجابوا، ويرى نتيجة الصف (المتوسط قبل وبعد، ونسبة التلاميذ الذين تحسّنوا، والأهداف التي يعرفها الصف أقل من غيرها) بمجرد أن يجيب 10 تلاميذ أو أكثر في المرتين. ولا يرى أبدًا إجابات تلميذ بعينه.
وليّ الأمر
تُبلغه المدرسة قبل الجولة الأولى، ويمكنه أن يستثني طفله من المشاركة؛ وحيث يتطلب القانون الذي تخضع له المدرسة أو سياستها ذلك، تُطلب موافقة خطية بدلًا من ذلك.
Eco Heroes
يرى نتائج مجمّعة ومجهولة الهوية عبر الصفوف لأغراض البحث والتقارير. تُصفّى الإجابات النصية الحرة تلقائيًا عند إرسالها: تُحذف عناوين البريد الإلكتروني وأرقام الهواتف، وتُسحب الإجابات التي تطابق قائمة قصيرة من الكلمات التي قد تدل على أن طفلًا في خطر من بيانات الدراسة وتُحال فقط إلى مسؤول حماية الأطفال الذي عيّنته المدرسة. لا تُحذف الأسماء تلقائيًا؛ إذ يضع الباحثون الذين يقرؤون الإجابات علامة على الأسماء المحتملة ولا يذكرونها في أي تقرير. وتُحال أي إفصاحات محتملة إلى مسؤول الاتصال الذي عيّنته المدرسة خلال يوم دراسي واحد. وإذا لم تعيّن المدرسة أحدًا، تصل هذه الإجابات إلى مسؤولي إدارة المدرسة؛ أما في فصل غير مرتبط بمدرسة (مثل فصل يُستخدم فقط عبر منصة تعلّم)، فتصل إلى مسؤول حماية الطفل في Eco Heroes.
لا تُجمع أسماء أو عناوين بريد إلكتروني أو تواريخ ميلاد.
تُحذف عناوين البريد الإلكتروني وأرقام الهواتف المكتوبة في الإجابات.
لا تُعرض أي نتيجة لأقل من 10 تلاميذ.
تُحذف الإجابات بعد 24 شهرًا من آخر جولة في الدراسة.
أهداف محدّدة مسبقًا
تُثبَّت هذه الأهداف في خطة الدراسة العلنية قبل الجولة الأولى، فلا يمكن تغييرها بعد ظهور النتائج. وتُنشر أيضًا النتائج التي تقل عن الهدف.
| المقياس | الهدف |
|---|---|
| المعرفة، صفوف Eco Heroes مقارنةً بصفوف المقارنة بعد البرنامج | حجم أثر 0.30 أو أكثر |
| مكسب المعرفة داخل صفوف Eco Heroes | 20 نقطة مئوية على الأقل؛ ويتحسّن 70% من التلاميذ |
| المعرفة المحتفظ بها بعد عشرة أسابيع | 80% من المكسب على الأقل |
| المواقف وكفاءة الفعل | حجم أثر 0.15 أو أكثر |
| التلاميذ الذين يُكملون مهمة واقعية واحدة على الأقل | 60% أو أكثر |
| ثقة المعلمين في تدريس الأهداف | +0.5 على مقياس من 5 نقاط |
| سهولة الاستخدام (System Usability Scale) | 75 أو أكثر (المتوسط عبر الدراسات: 68) |
| معدل الاستجابة | 85% قبل البرنامج؛ ومطابقة إجابات 75% من التلاميذ قبل وبعد |
أسئلة
هل يفوّت الصف الذي ينتظر شيئًا؟
لا. كل الصفوف تحصل على Eco Heroes؛ وصفوف المقارنة تبدأ بعد فصل دراسي واحد فقط. ولهذا فإن هذا التصميم عادل للتلاميذ.
هل يمكن للتلميذ أن يرفض؟
نعم. يمكن تخطّي أي سؤال، ويمكن للتلميذ التوقّف في أي وقت، ويمكن للأهل استثناء طفلهم مسبقًا.
هل ستُنشر النتائج؟
نعم، في صورة نتائج مجمّعة لا يمكن أن تكشف عن صف أو تلميذ، بما في ذلك النتائج التي تقل عن الهدف. وتُسجَّل خطة الدراسة علنًا قبل الجولة الأولى.
لماذا عشرة تلاميذ؟
المتوسطات المحسوبة من عدد أقل من التلاميذ قد تكشف الإجابات الفردية، وهي غير مؤكدة إلى حدّ يُفقدها أي معنى.
من صمّم الاستبيانات؟
كتب Eco Heroes اختبار المعرفة وأسئلة الأفعال انطلاقًا من أهداف الدروس، وتتحقّق تجربة أولية مع التلاميذ من كل سؤال قبل بدء أي دراسة. أما مقياسا المواقف وكفاءة الفعل فهما مقياسان منشوران، يُستخدمان بموجب تراخيصهما المفتوحة.
مصطلحات مستخدمة في هذه الصفحة
- حجم الأثر
- مقدار الفرق، مقيسًا بالانحرافات المعيارية. 0.2 صغير، و0.5 متوسط، و0.8 كبير.
- فترة الثقة
- النطاق الذي تقع فيه القيمة الحقيقية بثقة 95%.
- الثبات
- مدى اتساق القياس في المقياس. 0.70 أو أكثر هو الحد الأدنى المقبول.
- مقارنة بقائمة انتظار
- تصميم تحصل فيه صفوف المقارنة على البرنامج لاحقًا بدلًا من عدم الحصول عليه إطلاقًا.