Jeden model językowy – nowa technologia AI – może tworzyć miliony tożsamości i rozprzestrzeniać miliardy wiadomości. Dzięki temu nie potrzebujesz już farm trolli, aby podgrzewać destrukcyjne konflikty kulturowe.
Margaret Mitchell, badaczka sztucznej inteligencji (AI) z doktoratem w dziedzinie lingwistyki komutacyjnej, przez ponad cztery ostatnie lata pracowała w Google’u. Wcześniej była zatrudniona w Microsofcie, gdzie rozwijała m.in. aplikację, która za pomocą słów miała opisywać świat osobom mających problem ze wzrokiem. To Mitchell ściągnęła do Google’a Timnit Gebru, programistkę, badaczkę, współautorkę głośnej analizy pokazującej, że systemy rozpoznawania twarzy najlepiej radzą sobie z identyfikowaniem białych mężczyzn, są za to znacznie mniej skuteczne w przypadku kobiet i osób innego koloru skóry niż biały. Gebru – z pochodzenia Erytrejka – jako nastolatka uciekła do USA przed wojną i otrzymała tam azyl polityczny. Po zrobieniu doktoratu na Uniwersytecie Stanforda pracowała dla Apple’a.
W Google’u Gebru i Mitchell były liderkami zespołu zajmującego się etycznymi aspektami sztucznej inteligencji. Pierwsza straciła pracę w grudniu zeszłego roku, druga została zwolniona niecałe trzy miesiące później. Badaczki uważają, że pozbyto się ich za to, że głośno mówiły o rasizmie i seksizmie w kulturze korporacyjnej Google’a. Przekonywały też, że brak różnorodności wśród pracowników może powodować, że uprzedzenia twórców oprogramowania znajdą odzwierciedlenie w rozwijanej przez firmę sztucznej inteligencji. Obie od lat są zaangażowane w organizacje wspierające kobiety, czarnych i inne marginalizowane grupy w sektorze technologicznym.
Gebru kierowała w Google’u zespołem naukowców, który przygotował publikację o ryzykach związanych z oprogramowaniem AI, a konkretnie – tzw. dużymi modelami językowymi. To technologia uczenia maszynowego oparta na sztucznych sieciach neuronowych. Jakość pisanego przez AI tekstu jest już ponoć tak wysoka, że trudno odróżnić go od języka ludzkiego. W opracowaniu była m.in. mowa o tym, że modele trenowane na ogromnych bazach danych pozyskanych z internetu mogą propagować uprzedzenia rasowe i płciowe, a także o tym, że są tak skuteczne w manipulowaniu i naśladowaniu języka ludzi, że użytkownicy mogą nie mieć świadomości, iż nie mają kontaktu z człowiekiem – w efekcie istnieje ryzyko, że AI będzie niebezpiecznym narzędziem szerzenia dezinformacji.
Przełożeni Gebru zakwestionowali jakość opracowania i naciskali, by je wycofała (twierdzili, że nakreśliła zbyt negatywny obraz nowej technologii). Badaczka zaprotestowała przeciwko cenzurze i ostatecznie rozstała się z firmą (Google twierdzi, że zrezygnowała, ona sama – że ją wyrzucono). List w jej obronie podpisało ponad 2,5 tys. pracowników giganta z Mountain View oraz kilka tysięcy naukowców i osób związanych z sektorem tech. Z kolei Mitchell przy zwolnieniu usłyszała zarzut wyniesienia danych na zewnątrz oraz naruszenia zasad bezpieczeństwa i kodeksu korporacyjnego. Badaczka twierdzi, że faktycznym powodem wręczenia jej wypowiedzenia było to, że zabrała głos w obronie Gebru i w sprawie dyskryminacji w firmie.
Oskarżenia o nierówne traktowanie i przypadki molestowania spadają na Google’a od lat. Niedawno amerykańskie media donosiły, że pracownicy skarżący się na dyskryminację i niewłaściwe zachowania przełożonych (np. pozbawienie stanowiska z powodu zajścia w ciążę) dostawali propozycje pokrycia kosztów terapii albo zwolnienia lekarskie. Z ich relacji wynikało, że korporacja albo nie podejmowała wewnętrznego dochodzenia w odpowiedzi na zgłaszane nieprawidłowości, albo zwlekała z reakcją. Firma odrzuca te oskarżenia i zapewnia, że rygorystycznie bada wszystkie skargi.
Odejście z Google’a dwóch uznanych badaczek AI odbiło się echem także poza Doliną Krzemową. W szczególności nasiliło obawy przed etycznymi zagrożeniami, jakie wiążą się z nowymi technologiami oraz wątpliwości, czy cyfrowi giganci są zdolni do samoregulacji i przeciwdziałania potencjalnym szkodom i krzywdom. Głośniej słychać też wezwania do wzmacniania pozakorporacyjnych ośrodków badań nad AI (Gebru zbiera pieniądze na założenie takiej instytucji) oraz wprowadzenia nad nimi publicznego nadzoru.
/>
Dlaczego zwolniono panią z Google’a?
Nie mogę opowiadać o szczegółach wypowiedzenia. Mogę powiedzieć ogólnie, że zarówno Timnit Gebru, jak i ja coraz głośniej podnosiłyśmy wewnątrz kwestie dyskryminacji płciowej i rasowej w firmie. Kiedy Timnit została zwolniona, otwarcie mówiłam, że to, jak ją potraktowano, było nie w porządku. Jako jej współpracowniczka i ktoś, kto zajmuje się zawodowo etyką, nie mogłam siedzieć cicho. Gdybym nie reagowała, moja kariera w dziedzinie etyki sztucznej inteligencji zostałaby zakwestionowana. Powiedziałam Google’owi, że muszę opublikować oświadczenie w tej sprawie. W dniu, w którym je wysłałam, odcięto mi dostęp do firmowych systemów, no a później – zwolniono. Chcę zaznaczyć, że albo nie rozumiem stawianych mi zarzutów, albo są one fałszywe.
Współpracowała pani z Gebru i kilkorgiem innych badaczy przy analizie potencjalnych zagrożeń wiążących się z dużymi modelami językowymi. Do jakich wniosków doszliście, że wywołały taką burzę?
Dobre pytanie. Jako naukowcy mieliśmy świadomość, że modele językowe stają się coraz powszechniejsze i będzie z nich korzystać coraz więcej ludzi. Nie było natomiast opracowania na temat ryzyk i potencjalnych zagrożeń ze strony tej technologii. Eksperci zastanawiali się nad nimi i rozmawiali o tym na Twitterze, ale brakowało naukowej publikacji. Chcieliśmy napisać kompleksową analizę, która – moim zdaniem – powinna być obowiązkowo przygotowana przy wypuszczaniu w obieg takiej technologii. To była synteza tego, co głosili inni, przegląd literatury.
To o co naprawdę chodzi?
Miałyśmy poczucie, że badanie na temat zagrożeń związanych z dużymi modelami językowymi wykorzystano jedynie jako pretekst, by się nas pozbyć. Mogło być zasłoną dymną. A tak naprawdę chodziło przede wszystkim o to, że podnosiłyśmy kwestie dyskryminacji rasowej i płciowej. Z drugiej strony – wiemy, że Google mocno inwestuje w modele językowe, włącza je do systemów swoich wyszukiwarek i reklam. Są więc poszlaki wskazujące, że mógł się starać stłumić jakiekolwiek badania, które nie skupiały się wyłącznie na korzyściach ze stosowania nowej technologii. Nie miałoby to jednak sensu, bo modele językowe nie są produktem stanowiącym wyłączną własność Google’a. To kluczowy element technologii przetwarzania języka naturalnego (NLP), pracuje nad tym mnóstwo ludzi.
Z waszej analizy wynika, że modele językowe mogą powielać i wzmacniać uprzedzenia dotyczące kobiet i ludzi innego niż biały koloru skóry. Czy to główne zagrożenia?
Zwróciliśmy uwagę na kilka kwestii. Rzeczywiście, jest ryzyko, że modele językowe będą propagować rasizm i seksizm. Poszłabym dalej i dodała, że niepokoiły nas też dyskryminacja i niechęć wobec osób niepełnosprawnych (ableizm), dyskryminacja ze względu na wiek (ageizm), a także uprzedzenia wobec osób należących do innych grup etnicznych lub między osobami należącymi do tej samej grupy, lecz różniących się odcieniem skóry (colorism). Inne opisane przez nas zagrożenie związane z modelami językowymi dotyczy psychologicznych trików, które robi umysł ludzki, gdy wchodzi z nimi w kontakt. Ludzie mają tendencję do antropomorfizowania technologii. Jest duże ryzyko, że będą myśleli, iż naprawdę rozmawia z nimi żyjąca, inteligentna istota. A co jeśli np. oprogramowanie każe ci się zabić? Modele językowe już to robiły.
Takie oprogramowanie to potencjalnie pożądany instrument wpływu dla polityków i biznesu.
Właśnie. Pewnie słyszała pani, że jednym z narzędzi wykorzystanych przez Rosję do manipulacji w wyborach prezydenckich w USA były farmy trolli, które miały podgrzewać destrukcyjne konflikty kulturowe. Gdy masz do dyspozycji modele językowe, nie potrzebujesz już ludzi do pisania treści zaogniających spory. Dzięki nim możesz to robić bez końca – jeden model może mieć miliony tożsamości i rozprzestrzeniać miliardy wiadomości. Gdy ta technologia stanie się szeroko dostępna, dezinformacja będzie już nie tylko zagrożeniem dla demokratycznych wyborów, ale społecznego rozumienia rzeczywistości. Nieduże podziały mogą się zamienić w potężne rowy. To przerażająca władza, która może zmienić dynamikę sił na świecie.
Czy tym zagrożeniom da się przeciwdziałać i korzystać z nowej technologii w bezpieczny sposób? Czy też jest tak groźna, że należałoby powstrzymać albo choć spowolnić jej rozwój?
Żeby naprawiać i rozwiązywać problemy, trzeba je najpierw zdiagnozować. Mamy do dyspozycji coraz więcej metod mierzenia się z wyzwaniami dotyczącymi nowych technologii – od ich konsekwencji ekologicznych, po promowanie stereotypów i norm społecznych prowadzących do gorszego traktowania kobiet. Pytanie oczywiście, czy ludzie będą tym zainteresowani, czy skupią się tylko na czynieniu modeli językowych coraz potężniejszymi. Gdy firma taka jak Google koncentruje się na tym drugim i nie chce nawet słuchać o ryzykach i zagrożeniach, to zaczyna być niepokojące. Widzę korzyści, które mogą przynieść modele językowe, ale obawiam się też, że w badaniach nad nimi priorytet mają nie te aspekty, które powinny.
Zwolnienie was z firmy wywołało coś, co czasem nazywa się efektem Barbry Streisand – próba cenzury spowodowała nagłośnienie obaw, które opisaliście w swojej analizie. Jak to możliwe, że tak ogromna korporacja nie przewidziała konsekwencji pozbycia się współautorek badania o etycznych zagrożeniach związanych z ich najnowszymi technologiami?
Jako kobieta, naukowczyni, badaczka powiem, że jednym z dziwnych aspektów pracy w Google’u jest to, że firma ta traktuje cię w oparciu o niższą ocenę twojej wartości niż ta, jaką ma świat zewnętrzny. Ludzie w Google’u niekoniecznie zdają sobie z tego sprawę. Timnit i ja miałyśmy jednak świadomość swojej dobrej reputacji i spodziewałyśmy się, jaka może być reakcja firmy. Fakt, że w Google’u nie przewidzieli skutków swoich działań, może być kolejnym przykładem na to, jak bardzo nisko nas cenili. Mówiłam to już wiele razy: w sektorze technologicznym jest duży problem ze zdolnościami przewidywania. Ludzie nie potrafią tam myśleć z wyprzedzeniem. Albo nie ma do tego zachęt.
W Dolinie Krzemowej brakuje umiejętności myślenia z wyprzedzeniem? Nie rozumiem, przecież to tam wymyśla się przyszłość…
Jest wiele sposobów myślenia do przodu. Mogę się zastanawiać, co zrobić dziś, by mój system pracował lepiej za miesiąc lub dwa. Jest też inne, bardziej długoterminowe przewidywanie – zastanawianie się nad potencjalnymi negatywnymi konsekwencjami za rok czy dwa. I właśnie takiego myślenia bardzo brakuje, również w przypadku rozważania korzyści. Ja sama preferuję pracę, w której najpierw zastanawiasz się nad korzyściami, jakie z danej technologii można mieć za 10 lat, a potem cofasz się do dziś i myślisz, jak powinnaś działać, by osiągnąć ten cel. A to nie jest norma w sektorze technologicznym. Normą jest koncentrowanie się na perspektywie miesiąca czy dwóch, ewentualnie – sześciu miesięcy, co jest powiązane z kalendarzem finansowym. To zachęca do szybkiego wypuszczania w świat produktu i osiągania wyników, bez refleksji nad tym, w jakim kierunku technologia będzie ewoluowała.
A jakie miałyście wyobrażenia, gdy zatrudniałyście się w Google’u? Czy jako naukowczynie wierzyłyście, że korporacja da wam pełną swobodę badań?
Różnimy się z Timnit w poglądach na temat roli etyki w korporacjach. Ja jestem reformatorką, a ona aktywistką. Oczywiście w idealnym świecie funkcjonowałaby całkowita wolność badań, jednak w rzeczywistości może ona być w konflikcie ze strukturami korporacyjnymi. Wchodząc w nie, uznałam, że chcę pracować w ramach tych ograniczeń i osiągnąć w nich, co się da. Ale w zgodzie z etyką! Gdy dołączyłyśmy do Google Brain (grupa badawcza w ramach Google AI zajmująca się deep learning, czyli uczeniem maszynowym polegającym na tworzeniu sieci neuronowych – red.) wolność badań stała się znacznie szersza. Powiedziano nam, że „sky is the limit” (granicą jest niebo). Myślę jednak, że badania w Google’u są coraz bardziej ograniczane, taki był trend, gdy tam pracowałyśmy. Na pewno liczyłyśmy, że będziemy traktowane jak osoby dorosłe i gdy nasze badania kogoś zaniepokoją, to będzie możliwość dyskusji. Nie spodziewałyśmy się, że zostaniemy potraktowane jak dzieci: nie można, bo nie.
Czy uważa więc pani, że potrzebny jest szerszy publiczny – czy wręcz państwowy – nadzór nad badaniami prowadzonymi przez korporacje technologiczne? Wasze zwolnienie nasiliło wątpliwości, że samoregulacja, wewnętrzny system oceny etycznej jest nierealistyczny.
Idealne byłoby połączenie odgórnych przepisów z wewnętrzną samoregulacją. Problemem modelu opartego wyłącznie na tych pierwszych jest różnica między wyobrażeniami regulatorów a warunkami, w jakich rozwijane są i funkcjonują nowe technologie. Regulacje mogą w sposób niezamierzony dusić dobre innowacje. Weźmy choćby mechanizmy dotyczące dyskryminacji. Gdy regulatorzy chcą jej przeciwdziałać, często zakazują stosowania i pytania o takie kategorie jak płeć (gender). Jednak wówczas nie da się wykazać, że dyskryminacja ma miejsce. To, co nas spotkało, podaje w wątpliwość możliwość korporacyjnej samoregulacji. Być może dotyczy to tylko Google’a. Boję się jednocześnie, że postawienie jedynie na odgórne regulacje tylko pogorszy sprawę. Są jeszcze modele oparte na audytach – w firmie pracują audytorzy objęci umowami o poufności, którzy doradzają jej i oceniają pod kątem etycznym, ale raportują do jakiejś zewnętrznej organizacji i przed nią ponoszą odpowiedzialność. To ciekawe rozwiązanie.
Jak dużym problemem jest dyskryminacja w korporacjach cyfrowych takich jak Google?
Seksizm i rasizm – przekonania, że kobiety i czarni są gorsi, mniej inteligentni i gorzej sobie radzą – to ogromny problem. Co wiąże się z tym, że w sektorze technologicznym pracują głównie biali i osoby pochodzenia azjatyckiego. Te uprzedzenia ujawniają się na wiele sposobów. Wychodzą np. w sytuacjach, gdy model jest trenowany za pomocą danych z serwisu Reddit, szczególnie popularnego wśród mężczyzn, zwłaszcza w wieku 18–30 lat. Wielu nie zauważa, że to nie jest reprezentatywna grupa – dla nich to standard.
Czy rasizm i seksizm są bardziej toksyczne w Dolinie Krzemowej niż w innych miejscach, np. na uniwersytetach?
Nie chciałabym generalizować, bo mam mniejsze doświadczenie na uniwersytetach. W sektorze technologicznym tym, co jest szczególnie szkodliwe i wzmacnia seksizm, są chęć dominacji i rywalizacja. Jeśli w kulturze jest tendencja, by preferować mężczyzn i postrzegać ich jako lepszych liderów, wówczas nawet jeśli kobiety radzą sobie równie dobrze, są traktowane jako gorsze. Odechciewa ci się wtedy nawet brać udziału w tej macho-rywalizacji i stajesz się jeszcze większą outsiderką.
I właśnie w tej sprawie alarmowałyście przełożonych?
W środowisku funkcjonującym w paradygmacie dominacji inne podejścia nie przetrwają. Przekonywałyśmy, że można opierać środowisko pracy na rywalizacji, ale jest też model współpracy. I że jeden nie jest lepszy od drugiego. Są ludzie nastawieni na współpracę, a nie przywództwo, którzy chcą i mogą odegrać ważną rolę. Jeśli się tego nie dostrzega i nie nagradza, to takich ludzi się wypycha. Przedstawiałyśmy w oparciu na faktach to, w jaki sposób manifestuje się w firmie rasizm i seksizm, przygotowałam nawet diagram sekwencji działań, które można by podjąć. Wygląda na to, że wszystko na marne.
Czy myśli pani, że skandal związany z waszym zwolnieniem może coś zmienić?
Myślę, że jest coraz gorzej. Przynajmniej w niektórych firmach. Potwierdzają to niepokojące statystyki dotyczące liczby czarnych i kobiet w techu. W środowisku zdominowanym przez rywalizację trudno utrzymać się pracownikom reprezentujących dyskryminowane grupy społeczne. Nie awansują, nie ma ich na wyższych szczeblach. Wiemy, że gdy kobiety w Google’u zgłaszały problemy w HR-ach, to funkcjonowanie w pracy stawało się dla nich koszmarem. Były karane.
