AI wspomoże moderatorów w blokowaniu nielegalnych treści

Bazujący na sztucznej inteligencji program, przygotowany przez polskich naukowców, pomoże w pracy moderatorom, którzy czyszczą internet z nielegalnych treści. Program ma rozpoznawać wideo, obrazy i teksty o charakterze pedofilskim.

Program, który powstaje w ramach projektu APAKT, ograniczy kontakt moderatorów z takimi materiałami.

W Państwowym Instytucie Badawczym NASK działa Dyżurnet.pl - zespół, którego zadaniem jest blokowanie w internecie nielegalnych materiałów, szczególnie związanych z wykorzystywaniem seksualnym dzieci. Należy tam zgłaszać tego rodzaju treści, które znajdzie się w sieci.

“Moderatorzy Dyżurnet.pl przez wiele godzin każdego dnia przeglądają nielegalne treści - czy to zgłoszone przez użytkowników, czy to wskazane przez scrapery, czyli algorytmy, które same wyszukują w sieci materiały o specyficznych parametrach” - mówi dr Inez Okulska z Pionu Sztucznej Inteligencji NASK. Tłumaczy, że takich zgłaszanych treści jest bardzo dużo, a ktoś musi je zawsze przejrzeć, aby ocenić, czy materiał ten rzeczywiście przedstawia nielegalne treści i czy należy go zablokować. A osobę, która to udostępniła - ścigać.

Martyna Różycka, szefowa Dyżurnet.pl, tłumaczy, że najpilniejszym zadaniem jest wychwycenie spośród zgłoszeń materiałów, które nie były wcześniej zgłaszane, a które pokazują seksualne wykorzystywanie dzieci. Jeśli takie materiały powstały niedawno, to może jakiemuś dziecku nadal wyrządzana jest krzywda. Trzeba wtedy jak najszybciej znaleźć sprawcę i chronić potencjalną ofiarę. “Większość jednak materiałów, które trzeba blokować, to treści, które powstały lata temu, jednak wciąż są kopiowane i udostępniane w kolejnych miejscach” - mówi Różycka.

Aby usprawnić pracę moderatorów - i ochronić ich przed kontaktem z obciążającymi psychiczne treściami - NASK we współpracy z Politechniką Warszawską postanowił wykorzystać sztuczną inteligencję. Opracowany przez badaczy algorytm, w ramach projektu APAKT, ma za zadanie automatycznie analizować nielegalne treści, które trafiają do moderatorów i proponować, w jakiej kolejności zająć się zgłoszeniami - zaczynając od tych wymagających najszybszej interwencji.

I tak np. program będzie mógł wskazać z 90-procentową pewnością, że dany plik przypomina znany już wcześniej materiał. Dzięki temu moderator będzie mógł szybko ocenić i potwierdzić, czy zgadza się z oceną programu. To zaoszczędzi nie tylko czas, ale również ochroni kondycję psychiczną moderatorów, którzy nie będą musieli samodzielne porównywać, czy rzeczywiście już kiedyś coś podobnego pojawiło się w bazie.

Model ten nie jest - w odróżnieniu od wielu systemów AI - wyłącznie "czarną skrzynką", która wypluwa odpowiedzi bez żadnej możliwości skontrolowania, skąd wzięła się jej decyzja. APAKT będzie w stanie wyjaśnić, dlaczego uznał dany materiał tekstowy za pedofilski. Bo, co nieoczywiste, system ten jest w stanie sklasyfikować nie tylko materiały wideo i zdjęcia, ale także teksty narracyjne opisujące seksualne wykorzystanie dzieci.

"Prezentowanie pedofilii na poziomie wideo oraz zdjęć jest w Polsce nielegalne. Jeśli jednak chodzi o tekst, to kwestia ta nie jest precyzyjnie uregulowana w polskim prawie" - zwraca uwagę dr Okulska.

Badaczka wymienia, że są dwa rodzaje problematycznych tekstów związanych z pedofilią. Jednym z nich są teksty groomingowe. "Chodzi o nagabywanie osoby nieletniej przez dorosłą w celu pozyskania nagich zdjęć lub skłonienia do kontaktów seksualnych" - opowiada dr Okulska i tłumaczy, że grooming jest karalny i takimi sprawami zajmuje się prokuratura.

Dodaje jednak, że istnieje inny problem - teksty, które opowiadają historie o treściach erotycznych czy pornograficznych, ale z udziałem osób nieletnich. "W takich tekstach dużo rzeczy dzieje się w szkole, między osobą starszą i dzieckiem. Dużo jest też tam wątków kazirodztwa" - opisuje dr Okulska. I dodaje, że sposób podawania treści w bardzo wielu tego typu tekstach jest szkodliwy.

"Moderatorzy nie mają wątpliwości - takie teksty są szkodliwe społecznie. Treści te propagują pedofilię, zachowania, które są absolutnie niedopuszczalne i nigdy nie powinny być normalizowane. Naszym zdaniem powinno być jasno powiedziane, że są to treści nielegalne" - ocenia Martyna Różycka.

A dr Okulska tłumaczy: "Nie dość, że takie teksty są źle napisane i grafomańskie, to jeszcze opowieść jest w nich zwykle budowana stopniowo. Zanim moderator zdąży się zorientować, czy dany tekst jest niewinny czy promuje pedofilię, musi sporo przeczytać, wczuć się w bohaterów. Treści, które przeczyta, zostają w jego pamięci. A to nieprzyjemne, ciężkie tematy. Moderatorzy mają opiekę psychologiczną, ale naturalna była chęć, aby wprowadzić modele, które moderatorom ułatwią pracę".

Badaczka wyjaśnia, że program APAKT będzie w stanie wskazać moderatorowi konkretne fragmenty tekstu, które świadczą o tym, że materiał rzeczywiście opisuje sceny seksualne z wykorzystaniem nieletnich. Program ten ma sam wskazać szkodliwe elementy.

Dr Okulska opowiada o tym, że prace nad programem APAKT były o tyle skomplikowane, że algorytm musiał być trenowany na materiałach pedofilskich, których przechowywanie jest nielegalne lub kontrowersyjne. A jedynym zespołem w Polsce, który może bezpośrednio analizować treści pornograficzne z udziałem dzieci jest Dyżurnet.pl (zgodnie z Ustawą o Krajowym systemie Cyberbezpieczeństwa).

"Naukowcy tworzący modele nie mogli i nie chcieli mieć dostępu do danych Dyżurnet.pl, na których uczyły się algorytmy. A można się domyślić, że tworzenie algorytmów klasyfikujących pewne obiekty bez możliwości podejrzenia tych obiektów jest bardzo trudne. To praca z opaską na oczach" - mówi dr Okulska.

Dodaje jednak, że dzięki temu ograniczeniu w części dotyczącej materiałów pisanych opracowano innowacyjny sposób reprezentacji tekstu na potrzeby AI. Jak opisuje, ekspercko skonfigurowane wektory StyloMetrix pozwalają na wysokiej jakości klasyfikację, ale jednocześnie nie skupiają się wyłącznie na znaczeniu. Są wyjaśnialne, głównie na poziomie gramatycznym, statystycznym – a więc w kontekście takich tematów "bezpieczne" dla badacza.

Dodaje, że sztuczna inteligencja nie działa jeszcze na etapie zbierania danych, ale na etapie selekcji materiałów wstępnie wybranych do oceny. Badania realizowane są w ramach grantu NCBR, program ma być gotowy do użytku w ciągu kilku miesięcy. Skuteczność na razie oceniana jest na ok. 80 proc.

Badacze liczą również, że programem APAKT zainteresują się dostawcy internetu czy właściciele dużych portali, którzy - w świetle projektu nowej ustawy - odpowiadać mają za blokowanie dostępu osobom nieletnim do pornografii. Ale program może się również przydać policji czy biegłym sądowym.

Programem zainteresowane mogą być też zagraniczne instytucje zajmujące się usuwaniem w internetu treści o charakterze pedofilskim. APAKT radzi sobie bowiem z wykrywaniem pedofilii na wideo i zdjęciach niezależnie od języka. Jeśli chodzi o wykrywanie treści w tekstach - program działa na razie jedynie w języku polskim, natomiast wykorzystany w nim m.in. model RoBERTa czy wektory StyloMetrix obecnie dostępne są zarówno w języku angielskim, jak i ukraińskim.(PAP)