Szoszkiewicz: ChatGPT przestał zmyślać przepisy prawne [WYWIAD]

- Najlepszy model AI, który przetestowałem, otrzymałby za rozwiązanie kazusu ocenę dobrą z plusem - mówi Dr Łukasz Szoszkiewicz.

Po odpowiednim przygotowaniu polecenia zaliczyłyby przynajmniej tę część, która obejmuje rozwiązanie kazusu, czyli prostej przykładowej sprawy. Wiele zależy jednak od promptu (informacji, którą przekazuje się systemowi AI, by ten wiedział, co ma robić). Dlatego nie można twierdzić, że ChatGPT sam z siebie potrafiłby zaliczyć prawo konstytucyjne. To byłoby zbyt daleko idące uproszczenie.

Postrzeganie sztucznej inteligencji jako narzędzia, które zastąpi człowieka, przynajmniej obecnie, wydaje mi się przestrzeleniem. To nie o to chodzi. AI ułatwia pracę, w tym edukację, natomiast my sami musimy wiedzieć, jak zadawać pytania i jakich informacji dostarczyć systemowi na wstępie. Im dokładniej sprofilujemy prompt, tym lepszy otrzymamy efekt.

Na przykład ustawa o organizacji i trybie postępowania przed Trybunałem Konstytucyjnym kiedyś nosiła nazwę ustawy o Trybunale Konstytucyjnym. W moim teście wszystkie modele językowe skorzystały ze starej nazwy, natomiast odwoływały się do przepisów z nowej ustawy. Być może dlatego, że poprzedni tytuł częściej występował w zbiorach danych, na których model wytrenowano, i został uznany za bardziej prawdopodobny. Ja, znając prawo konstytucyjne, potrafiłem to szybko wychwycić. Potem wystarczyło zmienić tytuł ustawy, by odpowiedź wygenerowana przez AI stała się bardzo dobra. Natomiast student mógłby tego nie zauważyć.

Nie, trzeba mu więcej pomagać. Żeby uzyskać lepszą odpowiedź, możemy na przykład umieścić w prompcie odpowiednie przepisy – co wymaga od nas pewnej wiedzy. Niektóre modele AI pozwalają na wklejenie całych aktów prawnych, inne, zwłaszcza te bezpłatne, nie. Wówczas musimy wiedzieć, który fragment będzie miał zastosowanie w danym przypadku.

To zależy od tego, jak są sformatowane plik albo strona. Model językowy może mieć problemy z odkodowaniem linku. Nawet PDF nie każdy model odczyta. A niektóre w ogóle nie obsługują linków – np. ChatGPT w wersji bezpłatnej.

Może mieć ją z Wikipedii, na której w dużej mierze jest trenowany. Należy jednak pamiętać, że akty prawne się zmieniają i modele językowe mogą nie mieć dostępu do aktualnych tekstów. Prawo konstytucyjne jest o tyle dobrym obszarem do wykorzystania AI, że nie zmienia się często. Z innymi ustawami problem jest większy.

To zadanie daję studentom w drugim semestrze pierwszego roku albo na początku drugiego roku studiów prawniczych. Poziom trudności określiłbym jako przeciętny. Nie było proste, ale też nie najbardziej skomplikowane. Ten kazus miał pół strony, natomiast zadaję też problemy dwustronicowe albo nawet siedmiostronicowe.

Model, który wypadł najlepiej – Claude Opus – przetestowałem też na kazusie dwustronicowym. Jeżeli chodzi o wychwycenie problemów, spisał się nieźle. Natomiast ich analizę wykonał już gorzej. Na pewno nie był to jeszcze poziom, jakiego oczekuję na najlepszą ocenę – choć wystarczyłoby to może, żeby zaliczyć. Widać jednak, że większa złożoność zadania przekłada się na niższą skuteczność AI.

Nie wypadnie lepiej od studentów przygotowanych. Co do nieprzygotowanych – to radzi sobie porównywalnie bądź może nawet troszkę lepiej. Najlepsi studenci rozwiążą kazus na ocenę bardzo dobrą. Najlepszy model, który przetestowałem, otrzymałby ocenę dobrą z plusem. Słabsze modele balansowały na granicy zaliczenia zadania, ale jednak ze wskazaniem na ocenę dostateczną.

Tylko powtarzam: istotne jest dobre promptowanie. Student niemający żadnej wiedzy nie będzie też umiał spromptować modelu AI, aby ten rozwiązał kazus prawny lepiej od niego.

Kolejne generacje modeli językowych są trenowane na coraz większych zbiorach danych i to na pewno pomaga. Duży wpływ na uzyskiwane wyniki ma także dopuszczalna długość promptu. Okno ChataGPT-4 to ok. 32 tys. tokenów, natomiast Claude Opus ma 200 tys. tokenów, co przekłada się na 150 tys. słów, czyli ok. 500-stronicową książkę. Możemy więc tam wkleić dużo więcej tekstu, w tym tekstu prawnego, i dzięki temu otrzymamy bardziej precyzyjną odpowiedź. Nawet jeśli AI popełni błędy, zajmuje to mniej czasu, niż robienie wszystkiego samemu. Poprawienie rozwiązania mojego kazusu po modelu językowym zajęło mi trzy minuty, a pisanie od zera trwałoby z 15 min.

Zdecydowanie bym na tym nie polegał. Nie do tego służą te narzędzia.

Dla osób, które mają wiedzę w danej dziedzinie, korzystanie z modeli językowych to olbrzymia oszczędność czasu i wzrost produktywności. Generując teksty, które bazują na aktach prawnych i na wcześniejszych orzeczeniach, AI świetnie imituje ten język, może się natomiast mylić co do podstaw prawnych. Jeżeli wskażemy precyzyjnie, żeby model skorzystał z tej konkretnej ustawy albo z konkretnych orzeczeń, to prawdopodobnie świetnie nam to przedstawi. Możemy też poprosić, aby rozbudował albo skrócił odpowiedź, zaakcentował coś mocniej itd. A potem wybrać wersję – np. skargi konstytucyjnej – która najlepiej odzwierciedla nasze intencje.

Szybsze jest wklejanie – tym bardziej że modele językowe pozwalają już na zapisywanie promptów, więc możemy budować wzorce do pisania na konkretny temat. Mam takie gotowe prompty, do których wrzuciłem potrzebne akty prawne, i nie muszę tego za każdym razem powtarzać.

Używam modeli AI w pracy naukowej i dydaktycznej, właściwie codziennie. Wpis w mediach społecznościowych o moim eksperymencie powstał z notatek, które wrzuciłem do modelu językowego, i poprosiłem, żeby ten podzielił je na tweety i dodał emoji. Robienie tego samodzielnie na pewno zajęłoby mi więcej czasu. Są badania, które wskazują, że stosowanie AI pozwala zaoszczędzić od 10 do 20 proc. czasu, zależnie od rodzaju wykonywanego zadania.

Tak, ale myślę, że ten czas się zwraca.

Kiedy rozwiązujemy zadania, mogą korzystać z modeli językowych. Gdy rozwiązywaliśmy kazus, który zadałem AI, to mówili, że ChatGPT nie był zbyt pomocny. Co potwierdza, że im lepszą ma się wiedzę w danej dziedzinie, tym skuteczniej można wykorzystać AI i oszczędzić czas.

To, jak ogromny był postęp między wynikami, które uzyskałem rok temu i teraz. Modele językowe są dziś dużo lepsze, co pozwala przypuszczać, że będą jeszcze lepsze w przyszłości. To narzędzie będzie coraz ważniejsze i dla praktyków prawa, i dla edukatorów.

Podstawowym ryzykiem jest otrzymanie nieprawdziwej odpowiedzi, tzw. halucynacje. Mogą to być nieistniejące przepisy lub zła interpretacja. W moim przykładzie istotny był art. 79 konstytucji, który stanowi, że każdy ma prawo do wniesienia skargi konstytucyjnej. Obejmuje to zarówno obywateli Polski, jak i cudzoziemców. ChatGPT dobrze wskazał tę podstawę prawną, ale stwierdził, że skargę konstytucyjną może złożyć tylko obywatel Polski. Pewnie dlatego, że to polska konstytucja i często pojawia się w niej słowo „obywatel”, wyszło mu wysokie prawdopodobieństwo, że ten przepis dotyczy tylko obywateli.

Większość modeli nie popełniła jednak tego błędu. To postęp, bo we wcześniejszych eksperymentach ChatGPT zmyślał przepisy, powołując się na artykuł, którego nie ma.

Jest też ryzyko stronniczości, ulegania stereotypom. A także ryzyko, że wygenerowane przez AI treści będą stanowiły naruszenie prawa autorskiego. ©℗