- Zasady tworzenia listy czasopism i wydawnictw powinny być sztywne, znane na początku okresu ewaluacyjnego i przejrzyste. Należy odejść od oceny eksperckiej - mówi dr hab. prof. UO Piotr Stec, Wydział Prawa i Administracji, Uniwersytet Opolski.
Jak ocenia pan ogłoszenie nowej listy czasopism naukowych na miesiąc przed ewaluacją jakości działalności naukowej, która ma objąć dorobek uczelni i instytutów z lat 2017-2021? Przypomnijmy, że od wyników ewaluacji będzie zależała wysokość finansowania placówek oraz ich uprawnienia.
Zmiany wykazu w czasie trwania okresu ewaluacyjnego to niemalże standard. To samo działo się przy poprzednich kategoryzacjach jednostek. Pojawiały się wtedy głosy, żeby wykaz aktualizować raz na cztery lata, na początku okresu oceny. Zapewnia to stabilność reguł, bo wszyscy wiemy, na czym stoimy. Jednakże jest to krzywdzące dla czasopism, które podwyższyły swój poziom (np. weszły do międzynarodowych baz danych albo poprawiły wskaźniki). Rozwiązania, które zadowoliłoby wszystkich, pewnie nie ma. To, które mamy, pozwala uwzględnić zmiany, jakie zaszły w ostatnich latach, np. dowartościować polskie czasopisma, które weszły do baz WoS lub SCOPUS. Oczywiście każda taka zmiana podnosi ciśnienie ludziom odpowiedzialnym za ewaluację na uczelniach, ale to nie tyle skutek wykazu, co tego, że od wyników ewaluacji zależy przetrwanie uczelni.
Czy do ogłoszonej listy czasopism ma pan zastrzeżenia?
Żaden wykaz nie jest doskonały. Ten też nie. Przyczyny tego stanu rzeczy są złożone. Po części zawinił czynnik ludzki: ktoś coś przeoczył albo źle wkleił w tabelkę. Tytułem przykładu: jedno z zagranicznych czasopism prawniczych pomimo dwóch zmian wykazu wciąż jest klasyfikowane w naukach socjologicznych i pedagogice. Inne z nauk społecznych trafiło do inżynierii biomedycznej. W rezultacie czasopismo to ma 20 pkt zamiast 100 pkt. I nikt tego nie zauważył. Nie ma nawet procedury pozwalającej na zgłaszanie takich oczywistych pomyłek. Po części można mieć wątpliwości co do zasad przyznawania punktów. Częściowo przerachowanie następuje mechanicznie: rozporządzenie wskazuje, jak liczyć punktację. To samo rozporządzenie daje także możliwość dodania punktów czasopismom ze względu na ich szczególne znaczenie. I to do tej „eksperckiej” części są zastrzeżenia, pojawiające się zresztą od początku istnienia wykazu. Tę wątpliwość rozwieje udostępnienie ocen poszczególnych czasopism. Taka ocena jest przecież informacją publiczną. W ogóle od pierwszej parametryzacji jednym z poważniejszych problemów, jakie mamy z kategoryzacją uczelni, jest jawność. Anglicy publikują szczegółowe wyniki swojej ewaluacji eksperckiej online. Mogę ściągnąć komplet danych i zobaczyć, które osiągnięcia zyskały uznanie ekspertów, a które uznano za słabe. Wystarczy wejść na odpowiednią stronę WWW. My mamy zaawansowane systemy rejestracji i analizy osiągnięć uczelni, ale tylko część tych danych jest otwarta. To na pewno trzeba zmienić.
Czy słuszny jest zarzut, że niektóre wprowadzone zmiany w wykazie czasopism świadczą o tym, że minister nauki zwiększył punktację „swoim”?
Odpowiedź na to pytanie wymagałaby bardzo szczegółowej analizy zmian. W internecie pojawiły się rozmaite wyliczenia pokazujące, że premię punktową uzyskiwało się za przynależność do określonej dyscypliny lub określone słowa kluczowe w nazwie. Rzeczywistość jest znacznie bardziej skomplikowana - trochę czasopism weszło na SCOPUS albo Emerging Sources Citation Index, i częściowo są to czasopisma związane z macierzystą uczelnią ministra. Punkty dostały za to, że weszły do bazy, a nie za to, że minister je szczególnie lubi. Punkty zwiększono także czasopismom ideologicznie odległym od światopoglądu ministra. Czy przy przydzielaniu punktów zastosowano dodatkowo inne, niemerytoryczne kryteria lub przydzielano je wbrew rozporządzeniu, będzie można stwierdzić po analizie kompletu danych. Niektóre awanse naprawdę zaskakują, niska punktacja niektórych czasopism też. Może to być efektem wejścia do międzynarodowych baz danych (najnowsze zmiany zobaczymy w nich dopiero po aktualizacji) lub oceny eksperckiej. Pamiętajmy, że ministerstwo wzywało redakcje do składania wniosków o przeliczenie punktów i pewnie wszystkie to zrobiły. Dotyczy to także tych, z którymi jestem związany. Niezależnie od wszystkiego - zaniechanie takiego kroku byłoby dość samobójcze.
W jak dużym stopniu wprowadzone zmiany w wykazie wpłyną na wyniki zbliżającej się ewaluacji?
Na pewno wpłyną. Jak? Możemy tylko zgadywać, nie znając struktury publikacji i punktacji poszczególnych ośrodków. Zwiększenie punktacji polskich czasopism może spłaszczyć wyniki - punkty zdobyte przez ośrodki publikujące za granicą zostaną wyrównane przez „produkcję” krajową. Ten zabieg wymyka się jednoznacznej ocenie. Pierwotny wykaz w niektórych dyscyplinach wyrównał punktację wszystkich czasopism krajowych. Premię dostawali tylko ci, którzy publikowali za granicą. Mogło to prowadzić do sytuacji, w której przypadkowy wynik, kilka wyżej punktowanych publikacji mogło dawać wyższą kategorię. Wskazywano także na istnienie zagranicznych czasopism żerujących na ewaluacyjnym gonieniu się z własnym cieniem i publikujących masowo polskie teksty, byle by tylko ktoś im zapłacił (w przypadku niektórych czasopism to bowiem naukowiec lub uczelnia płaci wydawnictwu nawet kilka tysięcy euro za to, że praca badawcza zostanie opublikowana; wydawnictwo dostaje pieniądze, a szkoła wyższa, w której badacz pracuje, punkty do ewaluacji). Ile w tym legendy miejskiej, nie wiem. Jednak teraz po wprowadzeniu zmian w wykazie, walcząc z takimi praktykami, niechcący dano sygnał, że w niektórych dyscyplinach lepiej opublikować coś w wydziałowym czasopiśmie niż zaprezentować wyniki badań za granicą. Jak w tych warunkach mamy być widoczni międzynarodowo?
To, jak zmiany w wykazie wpłyną na wyniki poszczególnych jednostek, to kolejny problem. Na pierwszy rzut oka wygląda, że podniesiono punktację niemal wszystkim polskim czasopismom. Premię dostali więc publikujący w nich autorzy. Jeśli punkty podniesiono wszystkim czasopismom z danej dyscypliny, to zmiana będzie neutralna. Wszyscy dostali proporcjonalnie tyle samo. Jeżeli natomiast „dosypkę” punktów dostały tylko niektóre czasopisma, zobaczymy różnice, które mogą zmienić tabelę rankingową. I to może być game changer.
Czy podczas kolejnej ewaluacji powinno odejść się od tego sposobu oceny pracy uczelni i instytutów - czyli w oparciu m.in. o publikacje naukowe?
Pomimo wszystkich zgłaszanych przeze mnie zastrzeżeń i do parametryzacji, i do ewaluacji, jestem zwolennikiem algorytmicznego systemu oceny. Uważam jednak, że wymaga on kilku korekt.
Jakich?
Po pierwsze, zasady tworzenia wykazów czasopism i wydawnictw, w tym przydzielania punktów, powinny być sztywne, znane na początku okresu ewaluacyjnego i przejrzyste. Należy odejść od oceny eksperckiej, bo nawet gdyby eksperci byli aniołami, po doświadczeniach kolejnych reform nauki ktoś by im zarzucił, że są, sit venia verbo, „agentami dołu”. Po drugie należy zapewnić pełną jawność systemu. Wystarczy, by komplet danych dotyczących tworzenia wykazów i ustalania „norm produkcyjnych” na kategorię był publicznie dostępny. Wprowadzając mechanizm pozwalający redakcjom i autorom na zgłaszanie zastrzeżeń do wykazu czasopism i wykazu wydawnictw, unikniemy rozmaitych wpadek. Po trzecie, jeżeli chcemy utrzymać zasadę, że prawa akademickie zależą od kategorii badawczej, to wynik, który uczelnia musi osiągnąć, powinien być znany z góry. Czyli rozpoczynając kolejny okres ewaluacyjny, powinienem wiedzieć, czego się ode mnie oczekuje. Na razie wiem, że mam zgromadzić z zespołem jak najwięcej punktów, żeby utrzymać uprawnienia. Ale ile tych punktów miałem zarobić, dowiem się po zakończeniu okresu rozliczeniowego. Czyli poprawa wyników o 300 proc. (w każdej firmie menedżer dostałby za to solidną premię) to może być za mało, bo Komitet Ewaluacji Nauki wraz z ministrem uznają, że próg przetrwania wymagał osiągnięć o 301 proc. lepszych. Dlaczego akurat tyle? A dlaczego nie?