Sztuczna inteligencja coraz częściej profiluje i ocenia ludzi w internecie. To droga do nowego podziału społeczeństwa.
30-letni Wong zaspał do pracy. Ubrał się w pośpiechu, wsiadł do auta i, próbując ścigać się z czasem, przekroczył dozwolony w mieście limit prędkości. Chwilę później usłyszał za sobą syrenę i zobaczył w lusterku migające światła radiowozu. Policjant wystawił mandat i poinformował Wonga, że za przekroczenie prędkości odjęto mu kilkanaście punktów w systemie oceny obywateli. Niewiele, ale gdy trzydziestolatek dotarł do pracy, dowiedział się, że jego średnia ocena jest już za niska, by mógł nadal być zatrudniony w firmie wymagającej od pracowników nieposzlakowanej opinii. Nagła utrata zatrudnienia zabolała podwójnie, bo za ten fakt Wong stracił kolejne punkty. I w rankingu obywateli spadł jeszcze niżej.
Czy to fabuła dystopijnej powieści? Nie. Ale choć to wyimaginowana historia, to jej punkt wyjścia jest prawdziwy: od ponad pół roku mieszkańcy 12 chińskich miast są oceniani przez komputer. Do 2020 r. Systemem Oceny Obywateli (Social Credit System, SCS) ma być objęty cały kraj – 1,3 mld ludzi. Aż 17 proc. mieszkańców Ziemi. Jak działa SCS? Zachowania i działania „wybrańców” są analizowane oraz punktowane. Teoretycznie chodzi o zachęcenie do przestrzegania przepisów i regulaminów. Punkty można więc stracić np. za jazdę bez ważnego biletu w komunikacji miejskiej, palenie w niedozwolonych miejscach czy stosowanie w pracy mobbingu. Rating rośnie, gdy spłaca się kredyty w terminie lub ma dobre wyniki w pracy. W praktyce SCS może inwigilować znacząco głębiej, bo system monitoruje też korespondencję wysyłaną przez WeChat, najpopularniejszy komunikator internetowy w Państwie Środka. W przyszłym roku SCS wzbogaci się o kolejny element kontroli, bo wszystkie samochody w Chinach będą musiały mieć zamontowany chip monitorujący lokalizację pojazdu.
Przedstawiciele Pekinu przekonują, że osoby łamiące zasady powinny być karane. A najlepiej, by groziło im bankructwo, bo nic tak nie boli jak utrata majątku. Tylko przymuszając ludzi do wzorcowych zachowań, można zadbać o budowanie godnego zaufania społeczeństwa. Niska ocena wystawiona przez SCS ma swoje konsekwencje. Osobom ze słabym ratingiem odmawia się sprzedaży biletów szybkiej kolei (4,2 mln przypadków tylko w jednym miesiącu) oraz podróży lotniczych (11 mln przypadków).
Chiński panoptikon
Julia Angwin, laureatka Nagrody Pulitzera, amerykańska dziennikarka specjalizująca się w tematyce cyberprzestrzeni, autorka książki „Społeczeństwo nadzorowane” (wyd. Kurhaus), nie ma wątpliwości, że SCS jest kolejnym narzędziem kontroli społeczeństwa. – Nie dziwi mnie, że właśnie reżim w Chinach jest tym zainteresowany. To charakterystyczne dla autorytarnych rządów – mówi. Jej zdaniem SCS to współczesny panoptikon. To nazwa więzienia zaprojektowanego w XVIII w. przez angielskiego filozofa Jeremy’ego Benthama – tak zaplanował budynek, by osadzeni nie wiedzieli, czy są obserwowani przez strażników. Po to, by byli pod ciągłą presją. – Kiedy społeczeństwo wie, że w każdej chwili może być ocenione, bez przerwy musi uważać na to, co robi i co mówi – wyjaśnia Angwin.
Eksperci zaznaczają, że choć chiński SCS jest skrajnym (na razie) przykładem kontroli, to wielu mieszkańców państw demokratycznych, w tym także Polski, nie zdaje sobie sprawy, że także żyje w jarzmie podobnych systemów ocen. I to na własne życzenie. Nie chodzi tu o rządowe systemy inwigilacji, lecz o media społecznościowe, rankingi i portale dla profesjonalistów. – Ludzie świadomie poddają się w nich ocenie innych, kolekcjonują obserwujących, szukają potwierdzenia własnej renomy, wspinają się po szczebelkach w zestawieniach lekarzy czy prawników. Osoba, która zbudowała swoją rozpoznawalność w internecie, jawi się nam jako bardziej wiarygodna, kompetentna oraz atrakcyjna – tłumaczy Katarzyna Szymielewicz, szefowa fundacji Panoptykon, zajmującej się monitorowaniem zagrożeń związanych z rozwojem nowoczesnych technologii. Jednak, jak zauważa, trudno określić moment, w którym tego typu systemy ocen przestają służyć kontrolowanej autopromocji, a zaczynają działać jak forma społecznej kontroli czy wręcz opresji. Uważa, że tę granicę przekraczamy, gdy osoby z niższą oceną społeczną (albo w ogóle niewidoczne w sieci) zaczynają być traktowane jak przedstawiciele gorszej kategorii – mniej wiarygodne albo mniej kompetentne.
Profesor Mirosław Filiciak, kulturoznawca i medioznawca z Uniwersytetu SWPS, dodaje, że użytkownicy serwisów społecznościowych są stale profilowani. – Ludzie myślą, że to platformy do łączenia znajomych w pozytywnych celach. Ale to tylko jedna strona medalu – podkreśla. Tłumaczy, że gdy użytkownik daje lajka lub pisze komentarz pod zdjęciem koleżanki, do gry wchodzą algorytmy Facebooka, Twittera, Instagrama (i wielu innych mediów społecznościowych), które wszystkie nasze kliknięcia, interakcje i wymiany zdań zamieniają na dane, które są potem sprzedawane reklamodawcom. By ci jeszcze lepiej poznali swoich potencjalnych klientów.
Społeczeństwo w bańce
Profesor Filiciak tłumaczy żartobliwie, że właściciele portali społecznościowych są jak dawni możnowładcy, zaś użytkownicy sieci to chłopi pańszczyźniani uprawiający na małych poletkach lajki, grabiący posty oraz siejący udostępnienia. Administratorzy serwisów, mając pełnię władzy, mogą treściami zostawianymi przez użytkowników w pewien sposób manipulować, wyświetlając je innym internautom w określonej kolejności, albo promować jedne treści, a inne ukrywać. Są więc osoby promowane i takie, które algorymt marginalizuje.
Dobrze obrazuje to jeden z odcinków serialu „Czarne Lustro” – „Nosedive”. Jego bohaterowie żyją w świecie, gdzie każda czynność i interakcja z drugą osobą może być oceniona przez specjalną aplikację. Współpracownik przyniesie pączki do pracy, by poczęstować innych? Pięć gwiazdek. Ale pączki są wczorajsze i mają mało nadzienia – najwyżej trzy gwiazdki. Obsługa w Starbucksie przekręci twoje imię? To oburzające – tylko jedna gwiazdka. Wyższa ocena skutkuje lepszym społecznym statusem, spadek średniej poniżej 3.0 owocuje dużymi problemami w kontaktach z innymi ludźmi. Głównej bohaterce marzy się mieszkanie na luksusowym osiedlu. Niestety, jej średnia ocena jest zbyt niska. Zaczyna więc wchodzić w interakcje z najlepiej ocenianymi użytkownikami, ponieważ wystawione przez nich gwiazdki są dodatkowo pomnażane. Jak łatwo się domyśleć, plan nie idzie, jak sobie tego życzyła. Bohaterka – z powodu ciągle spadającej średniej – nie może już ani wypożyczyć lepszego auta, ani skorzystać z wciąż wolnych, ale zarezerwowanych dla lepiej ocenionych użytkowników miejsc w samolocie. Ogólnie: niewiele różni się to od chińskiego SCS. A przecież w tym wypadku systemu ocen nie narzuciła nikomu autorytarna władza – to społeczeństwo samo zakuło sobie takie kajdany.
Wydawałoby się, że to wizja nie do pomyślenia w demokratycznym państwie, ale nawet nowe unijne rozporządzenie o ochronie danych osobowych – RODO – nie uchroni obywateli UE przed manipulacjami. Duża część przetwarzania danych osobowych użytkowników sieci może być dokonywana po ich zgodzie na takie działanie. I tu może pojawić się pole do nadużyć. – W kulturze od dawna nie ma oporów przed tworzeniem wielu podziałów społecznych, które coraz częściej istnieją jedynie w sieci. Takie mikrospołeczności są łakomym kąskiem dla polityków, lobbystów i reklamodawców. Łatwo „szyć” oferty dla określonych użytkowników albo mielić kiełbasę wyborczą dla potencjalnych głosujących – uważa prof. Filiciak.
Podobnego zdania jest również Julia Angwin. Zauważa ona, że im więcej systemów ocen, tym większe wykluczenie tych, którzy nie chcą w tym uczestniczyć. Ale ludzie, w swojej niewiedzy, i tak zazwyczaj zgadzają się na zbyt wiele. – Sprzedajemy swoją tożsamość za kartę rabatową lub dostęp do usług. A konsekwencje mogą być bardzo podobne do tych, które dotykają Chińczyków. Może nie będzie tak, że ktoś nas nie wpuści do pociągu, ale może zadecydować, że bilet dla nas będzie o wiele droższy – twierdzi prof. Filiciak. Dodaje, że nie trzeba mieszkać w Chinach, aby doczekać czasów, gdy przy chęci wykupienia dodatkowego ubezpieczenia zdrowotnego firma uzna na podstawie danych z serwisów społecznościowych, że to dla niej zbyt ryzykowne. – RODO oczywiście w teorii zablokowało wiele tego typu mechanizmów. Ale jak każdy akt prawny i ten można obejść, łącząc firmy w spółki, przekazując dane osobowe w ramach partnerstwa – wskazuje ekspert.
Bezduszne maszyny
A co, gdyby oceny użytkowników dokonywała sztuczna inteligencja? Czy maszyny byłyby bardziej obiektywne w ocenach niż człowiek, posiadający różnego rodzaju negatywne doświadczenia, przekonania i uprzedzenia? Czy fakt, że automaty są w stanie przetrawić więcej informacji o osobie, także błahych lub ukrywanych, da bardziej wyważoną ocenę?
Eksperci przypominają, że na razie komputer dokonuje ocen przede wszystkim na podstawie algorytmów stworzonych przez człowieka. A programista – jak każdy – może mieć swoją wizję świata lub ukryty motyw. Tak jak chociażby właściciele firmy Cambridge Analytica, którzy wykorzystali narzędzia profilowania użytkowników FB do tego, aby konkretnym osobom podrzucać dokładnie takie informacje o kandydatach politycznych, jakie mogły wpłynąć na ich decyzje w nadchodzących wyborach. – Trudno powiedzieć, na ile im się to udało. Ale gdy masz dużo informacji na temat konkretnej osoby, w szczególności takich, które dotyczą jej obaw, strachów czy zainteresowań, możesz tę wiedzę wykorzystywać w podobnych celach, jak niegdyś robiło to wschodnioniemieckie Stasi. Dlatego możemy być coraz bliżej opracowania sposobów skutecznego prania mózgu za pomocą algorytmów komputerowych – uważa Julia Angwin.
Amerykanka podaje, że Google już sprawdzał, w jaki sposób może wpływać na ludzi. Jak sprawić, by internauci poczuli smutek? W tym celu na pierwszej stronie wyszukiwań pokazywano im tylko negatywne wiadomości. Użytkownikom sieci szukającym informacji o rekrutacji do ISIS pokazywano artykuły dotyczące negatywnego wpływu organizacji na życie młodych muzułmanów. – Google chwali się, że dzięki takim manipulacjom użytkownicy sieci rzeczywiście inaczej się zachowują. Ale gdyby nagle wyszukiwarka zadziałała odwrotnie i zaczęła zachęcać do stania się dżihadystą? – pyta Angwin.
To tym bardziej niebezpieczne, że od oceny wystawionej przez sztuczną inteligencję trudno się odwołać. Bo z komputerem nie można dyskutować. Julia Angwin mówi, że w USA coraz popularniejsze stają się komercyjne narzędzia do oceny konsumentów i kontrahentów, jak np. eBureau. – „Przepuściłam” swoje nazwisko przez ten system. Błędnie ocenił mnie jako samotną matkę z niewielkim dochodem. A takie dane o mnie byłyby udostępnione na żądanie szpitali czy pożyczkodawców. Nie mam pojęcia, jakiego rodzaju informacje zbierają i jak je przetwarzają programy do oceny zdolności kredytowej. Nie wiem też, ile osób faktycznie korzysta z ich usług. Ale szokuje mnie, że mogą wprowadzać swoich klientów w błąd – zauważa. Zaznacza przy tym, że gdyby w różnego rodzaju systemach oceniających udało się zapiąć procedurę odwoławczą lub gdyby istniała możliwość wniesienia skargi, być może nie byłyby one aż tak opresyjne.
Kara śmierci przez komputer
Brak możliwości odwołania się od oceny może być szczególnie dotkliwy, bo przecież to, co człowiek decyduje się zamieścić w sieci, stanowi odzwierciedlenie zaledwie ułamka jego osobowości. Trudno powiedzieć, by ocena kogoś po postach na Twitterze czy Facebooku była miarodajna. – Wiele czynności w sieci użytkownicy wykonują nieświadomie. Nie przywiązują wagi do tego, ile razy uruchamiają daną aplikację, na jak długo, w jakich miejscach... A te informacje mówią o nas dużo więcej, niż nam się może wydawać. Kiedy sprawdziłam z ciekawości swoją historię w przeglądarce, wyszło mi, że czwartkowymi popołudniami lubię szukać informacji na temat nowych butów do kupienia. Robiłam to nieświadomie, ale ktoś, kto o tym wie, może to wykorzystać – tłumaczy Julia Angwin.
Zdaniem prof. Filiciaka analizowanie właśnie takich ukrytych, intymnych informacji może być najbardziej niebezpieczne. Są programy, które z dużym prawdopodobieństwem odgadują np. preferencje seksualne człowieka na podstawie jego zdjęcia. – A teraz pomyślmy, że te algorytmy będą wykorzystywane przez np. Arabię Saudyjską, w której za kontakty homoseksualne karze się śmiercią. Nawet jeżeli sztuczna inteligencja może coś zrobić, to nie znaczy, że powinna. Naukowcy zawsze prą do przodu w swoich badaniach, ale od tego są obywatele, żeby w którymś momencie krzyknąć: „Stop!” – uważa. Jego zdaniem włączanie się społeczeństwa do różnych systemów ocen, tym bardziej zarządzanych automatycznie przez komputer, może się okazać zgubne.
– Człowiek zapisujący się w przyszłości do jakiegokolwiek systemu ocen może oczekiwać, że zasłuży na wysoką notę. Może się jednak rozczarować – podkreśla. Ekspert nie ma jednak wątpliwości, że społeczeństwo zawsze lubiło się dzielić na grupy, kręgi zainteresowań czy kluby. Niewykluczone, że elektroniczne kasty będą powstawać właśnie przez różnego rodzaju systemy oceniające.
Czy ktoś jednak uratuje internautów przed scenariuszem znanym z dystopijnych opowieści? Eksperci są sceptyczni. Kilkanaście lat temu ludzie niechętnie postrzegali to, że ich numer telefonu można znaleźć w książce telefonicznej. Dziś wpisanie swojego imienia i nazwiska w wyszukiwarce Google’a rzadko kiedy daje mniej niż kilkaset wyników. A apetyt firm na dane osobowe rośnie. – Mam nadzieję, że nasze społeczeństwo, które z jednej strony krytykuje idee stojące za chińskim SCS, a z drugiej tak namiętnie oglądają seriale „Czarne lustro”, w porę zdąży się opamiętać. Ale pewności nie mam – konkluduje Katarzyna Szymielewicz.
