Ewaluacja
Program „Wspólne kroki w Cyberświecie” był tworzony z wykorzystaniem jakościowych i ilościowych badań ewaluacyjnych. Ich rezultaty były dyskutowane w gronie twórców projektu i prowadziły do dokonywania modyfikacji służących podniesieniu jakości zajęć.
I edycja programu
Po zakończeniu prac nad opracowywaniem „Wspólnych kroków w Cyberświecie”, pierwszą ogólnopolską edycję programu, zrealizowaną przez Fundację Poza Schematami w 2018 r., poddano ewaluacji ex post (1). W tym celu wykorzystano ankietę audytoryjną wypełnianą przez uczniów. Kwestionariusz zawierał cztery pytania zamknięte i jedno otwarte. Uczniowie udzielali odpowiedzi po zakończeniu całego bloku zajęć. Z kolei realizatorzy programu wypełniali arkusz dla prowadzących, który służył do zebrania informacji o przebiegu, aktywności uczniów, modyfikacjach scenariuszy i czynnikach, które mogły ewentualnie wpłynąć na odpowiedzi uczniów.
W ankietach dla uczniów wykorzystano pytania z badań ewaluacyjnych „Wspólnych kroków w Cyberświecie” zrealizowanych w 2017 r. Pytania te miały na celu poznanie opinii uczniów na temat jakości wdrożeń. W 2017 r. w grupie uczniów objętej programem, znalazło się 219 osób (w tym 48% chłopców). Jak piszą autorzy raportu, uczniowie pozytywnie ocenili cztery istotne elementy programu: lekcje, zadania do wykonania, pracę w domu i prowadzenie bloga klasowego. Najbardziej podobały się uczniom zajęcia prowadzone przez nauczyciela oraz zadania na kartach pracy (…). Ogólna ocena zadowolenia z uczestnictwa w programie na skali od „1” – „bardzo niezadowolony” do „5” – „bardzo zadowolony” wyniosła 4,4, co świadczy o wysokiej akceptacji programu przez jego uczestników. Podsumowując, program był dobrze odbierany przez uczniów (2).
W 2018 r. ogółem zgromadzono 640 ankiet. Zdecydowana większość uczniów (81%) pozytywnie oceniła zadania do wykonania na kartach pracy. Niespełna 17% zaznaczyło symbol odpowiadający ocenie neutralnej, 2% – negatywnej
n=634
Ocena zajęć prowadzonych przez nauczycieli była jeszcze bardziej korzystna. Pozytywne odpowiedzi zaznaczyło 92% uczniów, neutralne niespełna 8%, zaś negatywne – 0,6% (12 osób).
n=637
Nieco bardziej zróżnicowana była ocena pracy z rodzicami w domu. Tu pozytywne opinie wyraziło 69% badanych, neutralne – 25%, zaś negatywne 6%.
n=628
O prowadzeniu bloga klasowego pozytywnie wypowiedziało się niespełna 81% badanych, 17% wybrało odpowiedzi neutralne, zaś 2% – negatywne.
n=628
Ogólnie z udziału w zajęciach zadowolonych było ponad 86% uczniów, przy czym dominanta (dwie trzecie ogółu odpowiedzi) przypada na skrajnie pozytywną wartość. Niespełna 13% wskazało na odpowiedź neutralną, mniej niż 1% – negatywną (5 osób). Nikt z badanych nie skonkludował, że jest „bardzo niezadowolony”.
n=614
Ponad 90% realizatorów relacjonując wdrażanie projektu (za pośrednictwem „Arkuszy obserwacji zajęć”) nie opisywało żadnych problemów; realizowali program zgodnie z harmonogramem i scenariuszem. Prowadzący bardzo często wskazywali na duży poziom aktywności uczniów i ich zainteresowanie przebiegiem poszczególnych kroków.
II edycja programu
W pierwszej połowie 2019 r., podczas drugiej edycji programu zrealizowanej przez Fundację Poza Schematami, przeprowadzono badania ewaluacyjne wśród uczniów w schemacie pretest – posttest oraz – tak jak w poprzedniej edycji – za pośrednictwem „Arkuszy obserwacji zajęć”.
W analizach wykorzystano 1207 kwestionariuszy trzecioklasistów (w badaniu wzięło udział 51% uczennic i 49% uczniów) (3).
Korzystanie z nowych mediów – zasady i rozmowy
Po programie odsetek rodzin, w których wypracowano zasady korzystania z komputera, tabletu czy telefonu wzrósł o 10%. Korzystnie zmienił się również odsetek rodziców, którzy monitorowali aktywność dzieci (przyrost o 3%) i rozmawiali o zagrożeniach związanych z korzystaniem z Internetu (wzrost o 6%).
Komunikacja w Internecie (4)
O 10,5% wzrósł udział uczniów, którzy uważają, że w komunikacji elektronicznej nie należy stosować form niedopuszczalnych w komunikacji tradycyjnej. Ponad dwa razy więcej badanych (wzrost o 36%) dostrzegło znaczenie stosowania wielkich i małych liter. Wzrost o 24% dotyczył dbania o poprawne formy gramatyczne. Zwiększył się odsetek respondentów (o 22,5%) uważających, że należy podpisywać się na końcu e-maili.
Relacje w cyberprzestrzeni
Po zajęciach odsetek uczniów, którzy nie akceptowali obraźliwych reakcji w Internecie wzrósł o 13%. Deklarowana uważność na uczucia interlokutora wzrosła o 17%. Brak akceptacji dla nieprzyjemnych komentarzy pod zdjęciami wzrósł o 8%, zaś o 6% wzrosła świadomość co do umieszczania w sieci zdjęć osób trzecich bez ich zgody.
Bezpieczeństwo
W drugim pomiarze więcej o 15% uczniów było świadomych możliwości zafałszowania tożsamości podczas kontaktów on-line.
Internet jako przestrzeń do rozwoju
Po zajęciach zmieniło się postrzeganie Internetu jako przestrzeni do nawiązywania kontaktów nieosiągalnych w tradycyjny sposób – o 13%. W postteście o 6% uczniów więcej uznało, że Internet ułatwia poznawanie języków obcych.
Zarządzanie emocjami i sytuacjami trudnymi
Poprawie uległa wiedza o tym, gdzie można uzyskać pomoc w trudnych sytuacjach – o 12%. Więcej uczniów deklarowało empatyczne nastawienie wobec innych – jeśli chodzi o słuchanie ich argumentów – o 9%. Nastąpił wzrost gotowości do zrozumienia punktu widzenia innej osoby – o 17%, zaś o 20% wzrosła gotowość do rozmowy o uczuciach. Z kolei o 16% zwiększyła się gotowość do przyznawania się do emocji kulturowo wartościowanych negatywnie, takich jak strach. O 13% wzrósł brak przyzwolenia na odreagowywanie trudnych emocji na innych
Ocena zajęć
Jak piszą autorzy raportu – Ogólna ocena programu była pozytywna – 86% badanych było zadowolonych ze swojego w nim udziału, 13% wybrało opcję pośrednią, zaś mniej niż 1% zadeklarował brak zadowolenia. (…) Wszystkie elementy poddane ewaluacji zostały ocenione pozytywnie przez większość badanych. Spośród pytanych 91% respondentów korzystnie oceniło zajęcia prowadzone przez nauczyciela, 84% – bloga klasowego, 83% – zadania na kartach pracy. Ponad ¾ respondentów (77%) było zadowolonych z zadań realizowanych z rodzicami. (…) Warto zwrócić uwagę na niewielki udział wskazań na oceny negatywne, nie przekraczający 3,5%.
Dotychczas zebrane wyniki ewaluacji (począwszy od 2017 r.) świadczą, że program „Wspólne kroki w Cyberświecie” przynosi zakładane cele. Jest projektem, który realizowany w szkołach, może mieć widoczny i pozytywny wpływ na postawy uczestniczących w zajęciach uczniów, a także ich rodziców.
- W 2018 r. projekt był dofinansowany ze środków Funduszu rozwiązywania Problemów Hazardowych będących w dyspozycji Ministra Zdrowia w ramach konkursu przeprowadzanego przez Krajowe Biuro do Spraw Przeciwdziałania Narkomanii. W niniejszej prezentacji wykorzystano: B. Walczak, MJ. Sochocki, „Raport z ewaluacji wdrożeń programu profilaktycznego „Wspólne kroki w Cyberświecie” (edycja 2018 r.) oraz wnioski i rekomendacje wynikające z przeprowadzanego zadania”, Fundacja Poza Schematami, Warszawa 2018 [raport niepublikowany].
- A. Pisarska, K. Ostaszewski, M. J. Sochocki, Raport z drugiego etapu ewaluacji projektu: „Wspólne kroki w Cyberświecie – opracowanie, wdrożenie, ewaluacja”, Fundacja Poza Schematami, Warszawa 2017 [raport niepublikowany].
- W 2019 r. projekt został dofinansowany ze środków Funduszu Rozwiązywania Problemów Hazardowych będących w dyspozycji Ministra Zdrowia w ramach konkursu przeprowadzanego przez Krajowe Biuro do Spraw Przeciwdziałania Narkomanii. Ewaluacja II edycji programu: dr hab. Bartłomiej Walczak, dr hab. Krzysztof Ostaszewski, Marcin J. Sochocki (kierownik projektu). Poniżej wykorzystano fragmenty raportu.
- Wszystkie prezentowane poniżej wskaźniki dotyczące komunikacji w Internecie, realizacji w Cyberprzestrzeni, bezpieczeństwa i zdrowia, Internetu jako przestrzeni do rozwoju, zarządzania emocjami i sytuacjami trudnymi uległy statystycznie istotnej (p<0,001) i zarazem korzystnej zmianie (test znaków rangowanych Wilcoxona).