Fausten: Samochód przepisów nie złamie [WYWIAD]

Kiedy samolot się rozbija z winy autopilota, wówczas natychmiast wycofuje się to oprogramowanie z rynku. Czy w przypadku samochodów autonomicznych będzie tak samo? Jeżeli udowodni się, że to program zawinił, będzie się go wycofywać? To chyba byłby kiepski biznes: pompować pieniądze w systemy, które będą zakazane po pierwszej kraksie?

W razie potrzeby będziemy naprawiać wadliwe oprogramowanie. Tak, jak to robimy w przypadku częściowo automatycznych systemów zamontowanych w obecnych samochodach.

Jest więcej analogii do samolotów, bo niemiecki rząd zaproponował, żeby samochody ze sztuczną inteligencją (dalej: SI) miały czarne skrzynki. W przypadku samolotów oprogramowania się nie naprawia, tylko wycofuje. A wasze pojazdy na pewno będą się rozbijać, może nawet częściej niż wam się to wydaje.

Rzeczywiście będziemy dostarczać do samochodów autopilota podobnego do tego z samolotów, ale pamiętajmy, że w kokpicie jest dwóch żywych pilotów, wytrenowanych do działania w momencie jakiekolwiek awarii czy nawet podejrzenia usterki. Jeśli coś jest nie tak, to piloci są zobowiązani do przejęcia kontroli nad samolotem. My nie chcemy, żeby kierowca musiał obserwować jazdę systemu, chcemy zaoferować mu system, na którym będzie mógł polegać. Czarna skrzynka w samochodzie będzie po to, żeby w razie wypadku odtworzyć sytuację i sprawdzić, czy zawinił system, czy też inny uczestnik ruchu drogowego. Samochody autonomiczne będą uczestniczyć w wypadkach , ale to nie oznacza, że z powodu błędu systemu SI: w ruchu drogowym mamy wielu uczestników, pieszych, rowerzystów, a także autobusy czy inne pojazdy motorowe prowadzone przez ludzi, które nadal będą w użyciu.

Kiedy na drodze będą zarówno samochody autonomiczne jak i standardowe, to – jak pokazują testy Google’a i Ubera – może dochodzić do wypadków spowodowanych nietypowym zachowaniem pojazdów z SI. Wyobrażam sobie, że będziecie się spotykać w sądzie z kierowcami albo ubezpieczycielami i wywijać czarną skrzynką udowadniając, że wypadek nie był waszą winą.

Nie uważam, żebyśmy mieli więcej wypadków z udziałem autonomicznych samochodów, niż mamy obecnie z powodu prowadzenia pojazdów przez kierowców. Systemy nie popełniają tylu błędów, ile ludzie – 90 proc. wypadków powstaje z powodu błędu człowieka. Samochody autonomiczne będą bezpieczniejsze. Będziemy je programować w taki sposób, aby zachowywały się nieco bardziej defensywnie niż człowiek, może nawet jeździły nieco wolniej – a na pewno zgodnie z przepisami. Będą zostawiać więcej przestrzeni dla innych samochodów. Czyli tam, gdzie zwykły kierowca próbowałby wcisnąć się na rondzie, tam samochód autonomiczny grzecznie poczeka na swoją kolej. Każdy ewentualny błąd systemu będziemy traktować bardzo poważnie i aktualizować oprogramowanie naszych pojazdów.

Celem jest by samochody zupełnie nie miały kierownicy ani pedałów?

Taka opcja będzie możliwa w przyszłości, jednak nie w najbliższej perspektywie. . Na początku chcemy zaoferować autopilota, którego kierowca będzie mógł włączyć wedle uznania. . Z kolei niektórzy lubią prowadzić swoje auto więc będą mogli wyłączyć system SI.

Rozumiem, że kierowca będzie zawsze odpowiadał za to, co zrobi jego samochód i za szkody jakie wyrządzi. Tak samo, jak w przypadku asystenta parkowania czy tempomatu.

Jest pięć poziomów automatyzacji pojazdu. Wymienione przez pana ułatwienia zaliczamy do pierwszego i drugiego – w których kierowca musi nadzorować działanie systemu, bo on może popełniać pewne błędy. Poziom trzeci oznacza, że kierowca jest zwolniony z odpowiedzialności za prowadzenie pojazdu, ponieważ my bierzemy za to odpowiedzialność. Mogą się jednak zdarzyć sytuacje, w których samochód nie będzie sobie w stanie poradzić i wówczas zakomunikuje kierowcy, by zainterweniował biorąc kierownicę w dłonie. Przykładowo pojawi się monit, że za 3-4 kilometry będzie przeszkoda, która może wymagać ludzkiej ingerencji. Jeśli kierowca w odpowiednim czasie nie przejmie kierownicy, pojazd się zatrzyma. Poziom czwarty oznacza brak tego typu monitów, piąty – brak monitów, kierownicy, a nawet kierowcy. Obecnie pracujemy nad poziomem trzecim i czwartym.

W jednym z wystąpień powiedział pan, że samochód będzie oceniał sytuację i decydował, co jest dobre a co złe. Czy dobrym scenariuszem może być uratowanie życia kierowcy kosztem innego uczestnika ruchu drogowego - powiedzmy coś przerażającego – np. dwóch małych dziewczynek przechodzących przez pasy? Czy samochód będzie za każdym razem chronił kierowcę?

Nasze samochody będą jeździć defensywnie i uważnie. Przyczyną zdarzenia, które pan opisuje jest najczęściej szybka i nieuważna jazda – co sprowadza daną sytuację do takiego scenariusza: czy musi zginąć kierowca, czy pieszy. Jeśli uczestnicy ruchu drogowego będą przemieszczać się bezpiecznie, to nasz samochód, jadąc bezpiecznie, nie zrobi im krzywdy. Jeśli coś lub ktoś wyskoczy nagle przed maskę standardowego samochodu to jego kierowca nie ma większego wyboru, czy skręci w lewo czy też w prawo. Nie ma fizycznej możliwości zareagować. Jeśli musielibyśmy rozpatrywać scenariusze, czy auto wjeżdża w jedną, czy drugą grupę ludzi, to znaczy że na poziomie projektowania systemu popełniliśmy błąd.

Mam wrażenie, że unika pan odpowiedzi. Nie wyobrażam sobie, żebyście nie napisali algorytmu, który w krytycznej sytuacji podejmuje decyzję: ratować kierowcę, pasażera czy kierowcę innego pojazdu, rowerzystę lub pieszego. Nawet jeśli samochód z SI może jeździć świetnie, a jego oprogramowanie działać znakomicie, to droga może być śliska, albo uszkodzona. Obstawiam, że jako producent oprogramowania wolelibyście chronić swojego klienta, czyli kierowcę.

Nie mamy takiego algorytmu. Mamy zasady typu: „trzymaj się drogi”, „unikaj kolizji”, „jeżeli jest ślisko - jedź wolno”. A gdy zbliża się pieszy: „zachowaj odległość”. Jeżeli pieszy rzeczywiście przechodzi przez jezdnię, to samochód go widzi. Wiedząc, że droga jest śliska, zmniejsza prędkość i zachowuje dystans, dzięki czemu nawet w razie nieprzewidzianej sytuacji, może zdążyć wyhamować. Nie unikam odpowiedzi, tylko mówię, że zaaplikowaliśmy takie zasady prowadzenia, by zminimalizować ryzyko wypadku. Obecne niemieckie prawo dotyczące prowadzenia pojazdów już w pierwszym artykule zastrzega, by kierowca tak prowadził pojazd żeby był w stanie go zatrzymać przed przeszkodą, którą widzi.

To teoria. W praktyce może być metr kwadratowy śliskiej jezdni, którego nie da się zauważyć, a zareagować można dopiero, gdy się na niego wjedzie. Mady Delvaux w niedawnym raporcie dotyczącym prawa robotów zaleca inżynierom SI, by mieli w głowie zasady podobne do trzech praw robotyki Asimova, żeby w krytycznej sytuacji komputer wiedział, co zrobić.

Testując nasze oprogramowanie od dłuższego czasu w warunkach laboratoryjnych nie znaleźliśmy ani jednej sytuacji, w której samochód musiałby dokonać wyboru między życiem kierowcy a pieszego. Dzięki bezpiecznej jeździe ryzyko wypadku jest zminimalizowane tak bardzo, że samochód może mieć kolizję tylko wówczas, gdy fizycznie nie jest możliwe, by jakikolwiek pojazd zdążył zareagować. Kiedy auto się porusza, na bieżąco analizuje około 50-60, czasem więcej scenariuszy i ocenia, który ruch będzie najbezpieczniejszy. Jeżeli nagle liczba tych scenariuszy drastycznie się zmniejsza, to pojazd będzie poruszał się jeszcze ostrożniej, na przykład dzięki zmniejszeniu prędkości..

Mówi pan o minimalizowaniu ryzyka, ale nie da się go nigdy zminimalizować do zera.

To prawda. Ale zmniejszamy ryzyko tak bardzo, że zostaje tylko niewielki margines na sytuacje, w których nie da się nic zrobić, bo pojazd jest zbyt ciężki, albo obiekt wybiegł wprost przed maskę.

Kto będzie winny w takich sytuacjach? Gdy samochód zminimalizuje ryzyko, kierowca nie będzie prowadził auta, a dwie dziewczynki będą przechodzić przez jezdnię na zielonym świetle i dojdzie do tragedii?

Mamy już teraz regulacje, które mówią co zrobić w takich sytuacjach. Jeżeli pieszy przechodzi przez jezdnię w miejscu niedozwolonym albo na czerwonym świetle, czego kierowca nie mógł przewidzieć, to nie będzie on obciążony winą. Pamiętajmy, że w każdym przypadku, mamy obowiązkowe ubezpieczenie OC, które pokrywa straty. Jeżeli chodzi o odpowiedzialność karną, to kierowca używający autopilota też nie będzie mógł być sądzony, bo nie popełnił żadnego błędu.

To nie jest takie proste, bo zgodnie z polskim prawem można mimo wszystko przypisać winę kierowcy, udowadniając, że nie zachował należytej ostrożności.

W razie gdyby rzeczywiście udowodniło się, że zawiniło oprogramowanie, czyli np. widziało pieszego i mogło zareagować, ale tego nie zrobiło – producent będzie ponosił odpowiedzialność. Chcemy tego jednak uniknąć za wszelką cenę.

Czy systemy sztucznej inteligencji do samochodów autonomicznych tworzone przez europejskie firmy będą miały wspólny standard?

Tylko w pewnym zakresie. Mianowicie wraz z innymi firmami opracowujemy sposoby ich testowania, ustalamy podstawowe zasady zachowania tych pojazdów na drodze, zajmujemy się też kwestią zabezpieczenia danych osobowych. Wszystko odbywa się na przykład dzięki kooperacji w ramach VDI (Zrzeszenie Niemieckich Inżynierów) oraz VDA (Zrzeszenie Branży Motoryzacyjnej) lub projektów finansowanych przez rząd. Ale co do zasady, niemieckie firmy pracują nad własnymi rozwiązaniami, tworząc czasem niewielkie partnerstwa przy opracowywania sensorów, oprogramowania i układów scalonych.

Google i Tesla już od ponad roku prowadzą własne testy takich pojazdów okazyjnie je rozbijając na drogach publicznych, co pewnie dostarcza wielu cennych danych. W Europie nie ma przepisów pozwalających testować na drogach samochody z SI.

Są podejmowane kroki żeby ustanowić odpowiednie przepisy również w Niemczech. W niektórych krajach już wyznaczono miejsca, w których można testować autonomiczne pojazdy. W Niemczech takie obszary są planowane na autostradach, ale również w strefach zamieszkanych. Nieco ponad miesiąc temu niemiecki rząd opublikował pierwszy draft prawa umożliwiającego jazdę samochodem z SI.

Tak, zgodnie z nim kierowca będzie wciąż odpowiedzialny za swoje auto, nawet jeśli uruchomi autopilota. Niemcy proponują, żeby poszkodowany mógł ubiegać się o 10 mln euro odszkodowania od ubezpieczyciela kierowcy, jeżeli wypadek zostanie spowodowany źle funkcjonującym systemem SI. Mimo wszystko, nie boicie się, że amerykańska konkurencja za bardzo wam odskakuje?

Europejskie firmy wciąż mają czas, by opracować własne systemy SI, zauważamy również polityczną wolę Komisji Europejskiej, by uregulować tę kwestię pod względem prawnym. Pamiętajmy też, że równie ważna jest kwestia homologacji pojazdów – obecnie zajmuje się nią Europejska Komisja Gospodarcza. W tym zakresie mamy nawet więcej problemów do rozwiązania, bo zagadnienie homologacji musi się odbywać w porozumieniu z instytucjami na całym świecie, nie tylko w Unii Europejskiej.