Subskrybuj nas na Youtube
- Centralna Komisja Egzaminacyjna powinna przejść istotną zmianę, bo w obecnym kształcie jest nieefektywna – uważa Maciej Jakubowski wiceminister edukacji w latach 2012–2014.
/>
Wokół systemu egzaminów w Polsce narosło wiele kontrowersji. Na nieprawidłowości wskazywała również NIK. Jak pan ocenia ten system?
Z systemem egzaminacyjnym są dwa strukturalne problemy. Jeden związany jest z tym, jak zostały zbudowane centralna i okręgowe komisje egzaminacyjne. Sama ich struktura utrudnia efektywne działanie. Z jednej strony mamy pełną zależność centralnej komisji od ministerstwa, a z drugiej dużą niezależność komisji regionalnych. System ten wymaga konsolidacji, a przy tym większej autonomii od decyzji politycznych. Drugi problem to kadry. Komisje opierają się na kadrach nauczycielskich, panuje przekonanie, że jeżeli mamy dobrych dydaktyków i pedagogów, to możemy ich siłami tworzyć dobre testy. To błąd, bo nad zadaniami i ich ocenianiem muszą pracować ludzie, którzy znają się m.in. na psychometrii i statystyce. Nie dostrzega się błędów w konstrukcji testów, dyskusja toczy się bowiem wokół treści pytań, a nie dotyka kluczowego problemu, jakim jest jakość pomiaru umiejętności i wiedzy uczniów. W CKE i OKE brakuje ekspertów z wiedzą, w jaki sposób tworzyć dobre pomiarowo pytania, a następnie jak konstruować i oceniać testy współczesnymi metodami psychometrycznymi.
W Polsce są takie osoby?
Jest kilka osób, ale myślę, że trzeba by poprosić o wsparcie także ekspertów z zagranicy. Do stworzenia dobrych testów potrzeba kompetencji z wielu dyscyplin i sporego doświadczenia. Sam obecnie pracuję nad budową systemu egzaminów zewnętrznych w innym kraju, w zespole, którego skład jest mocno międzynarodowy.
Egzaminy jednak odbywają się rok w rok. I nie było jakiejś wielkiej wpadki.
Wpadki się zdarzają, ale problemy, które zauważają dziennikarze czy osoby znające się na danym przedmiocie szkolnym, nie są kluczowe dla jakości egzaminów.
Czego nie widzimy?
Przygotowanie egzaminów powinno przebiegać podobnie jak przygotowanie dobrego badania naukowego, a nam wciąż trudno powiedzieć, jak CKE tworzy egzaminy i jak je standaryzuje, czyli w jaki sposób dba, żeby pomiar był jak najbardziej rzetelny. Nie robią tego profesjonaliści, nie ma nad tym nadzoru ekspertów, a po egzaminach brakuje oceny, czy mierzył on założony wcześniej zakres umiejętności i wiedzy i czy był poprawny pod względem psychometrycznym. Cały ten proces powinien być oceniany jawnie, po egzaminie powinna być publikowana dokumentacja, a sam test wraz z procesem jego sprawdzania poddany takiej ocenie, jakiej podlegają badania naukowe. Tego brakuje i post factum CKE publikuje jedynie podstawowe dane, posługując się metodami statystycznymi sprzed kilkudziesięciu lat.
Dlaczego proces trudno ocenić?
Niemożliwa jest ocena procesu tworzenia i standaryzacji zadań, bo te działania nie są jawne. Kluczowym problemem jest brak nadzoru ekspercko-naukowego nad centralną i okręgowymi komisjami. Powinna istnieć rada naukowa, której zadaniem byłoby doradzanie, rozwijanie systemu, naprawianie błędów i merytoryczna ocena jakości egzaminów. Jeszcze raz podkreślę – CKE powinna przejść strukturalną zmianę, bo w obecnym kształcie jest nieefektywna. Największym grzechem jest to, że instytucja, która dokonuje corocznej oceny tego, jak działa nasza oświata, podlega ministerstwu, a dyrektorzy komisji zmieniają się częściej niż ministrowie. Z drugiej strony trzeba przyznać, że CKE i OKE są przytłoczone liczbą egzaminów, które mają stworzyć, i nie są w stanie zadbać o ich lepszą jakość. Bez ograniczenia liczby egzaminów czy zdawanych przedmiotów trudno będzie mówić o poprawie jakości.
Jak w praktyce wygląda przygotowywanie zadań?
Przygotowywanie zadań w polskim wydaniu wygląda tak, że spotyka się grono osób i po prostu je pisze. Ale jak? Nie wiadomo. Porządny proces polega na tym, że takie pytania są przygotowane według klucza przez osoby zajmujące się tym zawodowo lub dobrze przeszkolone. W dobrym systemie takie pytania są najpierw oceniane w panelach eksperckich, w skład których wchodzą zarówno nauczyciele, jak i spece od konstrukcji testów, a następnie poddawane pilotażom i sprawdzane nowoczesnymi metodami statystycznymi. Tylko w ten sposób można tworzyć egzaminy, które dobrze mierzą to, co założono wcześniej. Inaczej mamy luźny zestaw pytań, które nie do końca wiadomo, co mierzą. Zdarzają się wpadki, które przy porządnie zrobionym pilotażu i zaawansowanej analizie statystycznej łatwo byłoby wykryć. W komisji jednak takie analizy nie powstają i brakuje refleksji nad jakością testów. Pilotaż i standaryzacja pytań są robione w sposób nieprofesjonalny, a same pytania niejednokrotnie są modyfikowane już po pilotażu w zależności od subiektywnej oceny urzędników. W ten sposób nie da się przygotować dobrych egzaminów. Przed testem powinniśmy wiedzieć, jak zadania będą realizowane na egzaminie, i już wcześniej odrzucić te rodzące problemy. Na świecie tworzy się w ten sposób testy od kilkudziesięciu lat.
Jakiego rodzaju błędy mogą się pojawić?
W analizie zadań egzaminacyjnych czasem wychodzą ciekawe rzeczy. Jedno z zadań egzaminu gimnazjalnego z matematyki okazało się później bardziej skorelowane z umiejętnością czytania niż kompetencjami matematycznymi. Cała trudność polegała na zrozumieniu instrukcji. Takie rzeczy będą się zdarzać przy źle przeprowadzonym pilotażu i braku porządnej analizy statycznej wyników egzaminów.
Przecież pilotaż zawsze się przeprowadza.
Tak, ale w bardzo ograniczonym zakresie. CKE tłumaczy brak szerokich badań bezpieczeństwem, ale mnie to zupełnie nie przekonuje. Chodzi raczej o jakość i przejrzystość całego procesu tworzenia egzaminów niż o to, jaka liczba uczniów będzie uczestniczyć w pilotażu.
Jak pan ocenia to, że zeszłoroczni maturzyści tak źle wypadli na egzaminie z matematyki? Komentarz MEN był taki, że uczniowie widocznie byli słabsi i źle im poszło.
To nieprawda. Nie może być tak, że z roku na rok jakaś populacja uczniów jest gorsza o 10 proc. To nierealne, jeśli w systemie nie zaszły większe zmiany. Jeśli chodzi o ten rocznik uczniów, to nie zaszły. Egzamin był za trudny. CKE pomyliła się w przygotowaniu pytań do egzaminu. Widocznie pilotaż był źle przeprowadzony.