W samobieżnych samochodach o życiu i śmierci decyduje komputer. Czy jeśli zajdzie taka konieczność, poświęci on pasażerów? O zagrożeniach, jakie niesie ze sobą nowa maszynowa etyka.
Pewnego dnia może zdarzyć się coś podobnego: samobieżny samochód, sterowany przez komputer pędzi przez okolicę, kierowca siedzi sobie wygodnie, czytając gazetę. Nagle na drogę, po której obu stronach rosną drzewa, wyskakuje troje dzieci. W tym momencie komputer musi podjąć decyzję. Czy zrobi to, co jest słuszne? Od jego reakcji zależy życie czworga ludzi.
Najsensowniej będzie poświęcić kierowcę?
Maszyna może dojść do wniosku, że w tej sytuacji najsensowniej będzie poświęcić kierowcę. Skieruje więc pojazd na drzewo. Dlaczego miałaby postąpić inaczej? Czy byłoby lepiej, gdyby zginęła trójka dzieci?
Kiepska perspektywa dla naszego kierowcy. Wizjonerzy przekonujący o zaletach samobieżnych aut ułatwiają sobie sprawę, mówiąc jedynie o zaletach owego rozwiązania: człowiek przemieszcza się wygodnie i jest bezpieczny jak w pociągu. Stale jednak zdarzają się wypadki, których nie da się uniknąć: pojawiające się znienacka dzieciaki, zajeżdżający drogę motocykliści czy pojazd, który wpadł w poślizg na przeciwnym pasie. Co wtedy?
Zanim kierowca wyłoni się zza czytanej gazety i opanuje sytuację, może być już za późno. Maszyna musi sama ułożyć sobie scenariusz kolejnych wydarzeń i obliczyć, co należy zrobić. Miejmy nadzieję, że jest zaprogramowana tak, by starała się zminimalizować potencjalne szkody. To oznacza jednak, że musi przesądzić o losie uczestników zdarzenia.
Rozwój technologii postępuje zadziwiająco szybko, wkrótce mogą trafić na rynek samochody, które poradzą sobie w pełni bez ludzkiego kierowcy. Optymiści uważają, że na autostradach pojawią się one już w 2020 roku, a po kilku kolejnych latach ruch samobieżnych pojazdów obejmie całą sieć dróg.
Wielu producentów, od Daimlera po Teslę, pracuje nad takimi samochodami, a najbardziej spieszy się Google. Koncern ten odważa się również na najbardziej śmiałą prognozę. Chris Urmson, szef projektu, powiedział niedawno, że jego starszy syn mógłby za cztery lata zrobić prawo jazdy. „Chcemy, żeby już go wcale nie potrzebował” – stwierdził.
Komputer byłby z pewnością znacznie lepszym kierowcą niż człowiek – nigdy nie straci koncentracji, jest szybki w reakcjach i przez cały czas kontroluje w pełni sytuację na drodze. Jeśli przejmie stery, liczba wypadków na drogach może ulec znacznemu zmniejszeniu. Pojawią się za to inne – całkiem nowego rodzaju, bardzo niepokojące.
W przyszłości bowiem ofiary zostaną wybrane już wcześniej. Samochód sam zadecyduje, kogo ocali, a kogo zrani. W sytuacjach skrajnych będzie to oznaczało wybór między tym, kto ma żyć, a kto musi zginąć. Przy tym zwykłe, stare wypadki drogowe wydają się niemal błahostką.
Człowiek siedzący za kierownicą nie ma zwykle wielkiego wyboru – naciska pedał hamulca, skręca gwałtownie kierownicą, ociera się o pieszego, uderza w inne auto lub w drzewo. Niezależnie od tego, co zrobi, nikt nie będzie pociągał go do odpowiedzialności za odruchy w chwili grozy. Nawet gdy nieszczęsny kierowca przejedzie siedmiu przechodniów na światłach, żeby ominąć dziecko, które wybiegło mu przed maskę, większość uzna tę sprawę za przypadek losowy.
Nikt w obliczu wyższej konieczności nie podejmuje przemyślanych decyzji. Tu rządzi jedynie odwieczna panika istoty, która chce się za wszelką cenę ratować.
Komputer nie zna uczucia, ale czy może się mylić?
Zupełnie inaczej reaguje komputer. Nie zna uczucia przerażenia, zawsze zachowuje zimną krew i jest poczytalny. W jednej chwili analizuje sytuację, robiąc to tysiąc razy szybciej niż człowiek. W dodatku kieruje pojazdem naszpikowanym czujnikami i optycznymi miernikami odległości. Kamery zapewniają widoczność ze wszystkich stron. Wkrótce maszyna, dzięki programowi rozpoznawania twarzy, będzie być może potrafiła ocenić również wiek i płeć uczestników zdarzenia.
To tak, jak gdyby kierowca w samym środku rozgrywającego się właśnie wypadku mógł zatrzymać film – zobaczyć dzieci na środku drogi, a jednocześnie pełen ludzi samochód, który z o wiele za dużą prędkością zbliża się do niego z tylu. I co zrobić teraz? Nacisnąć z całej siły pedał hamulca czy też nie?
Komputer ma taki wybór. Nawet gdy sytuacja wymaga ogromnego pośpiechu, jest w stanie wykalkulować, co się zdarzy, gdy wybierze poszczególne warianty reakcji. Potrafi reagować racjonalnie i nie może inaczej. Nie zacznie w panice hamować ani nie przejedzie trojga dzieci, jeśli będzie istniała lepsza opcja.
Pytanie tylko czy śmierć niewinnego kierowcy ma oznaczać to lepsze wyjście? Takie problemy narzuca nam przyszłość i na pomoc spieszą tu filozofowie. Z nieco sadystyczną pomysłowością obmyślają przyszłe scenariusze wypadków drogowych, jeden straszniejszy od drugiego. Za każdym razem zadanie brzmi: proszę wyliczyć najmniejszą możliwą szkodę.
Stosunkowo prosty jest wybór pomiędzy dwoma pieszymi. Dziecko wybiega na jezdnie, jadący samochód może ominąć je jedynie wjeżdżając na chodnik, na którym staruszka porusza się na wózku inwalidzkim. Ze statystycznego punktu widzenia dziecko ma przed sobą jeszcze wiele lat życia, stara kobieta ma znacznie mniej do stracenia. Czy aby zminimalizować szkody, kierowca może więc ją przejechać?
Sytuacja staje się bardziej przykra, gdy wkalkulować trzeba pośrednie straty w ludziach. Wyobraźmy sobie, że pędzą wprost na siebie dwa samochody, volvo i małe auto, które wykonywało ryzykowny manewr wyprzedzania. Zderzenie jest nieuniknione. Sterowany komputerowo mały pojazd może staranować volvo, które ma tak grubą blachę, że powstanie co najwyżej parę wgnieceń na karoserii. Albo tez maszyna roztrzaska mniejsze auto, ryzykując śmierć pasażerów.
Komputer, zaprogramowany na wybór najmniejszej szkody, powinien oszczędzić małe auto. Ale czy to słuszna decyzja? Właściciele volvo na pewno zgłosiliby zastrzeżenia. Kto chciałby mieć taki taran na kółkach, który w razie jakiegokolwiek wypadku na drodze z magiczną siłą przyciąga do siebie inne pojazdy?
W podanym przykładzie dochodzi jeszcze problem winy – w końcu to mały pojazd znajdował się na niewłaściwym pasie. Czy ma za to dostać nagrodę?
To są na razie jedynie gry myślowe, tak dla wprawienia się. Ale z pewnością dojdzie do wypadków, które będą przypominały opisane, i każdy z nich może wywołać wzburzenie.
Oczywiście to nie komputer w chwili grozy podejmuje decyzję. Jest tylko maszyną, potrzebuje jednoznacznych reguł, programu. To, w jaki sposób samobieżny pojazd ma zachować się w najróżniejszych możliwych scenariuszach wypadków, musi zostać wyjaśnione, zanim jeszcze zjedzie on z taśmy produkcyjnej.
Tym samym to, co nazywano niegdyś zrządzeniem losu, staje się problemem do przemyślenia. Społeczeństwo musi zastanowić się nad moralnym aspektem nowych pojazdów. Dobra wiadomość jest taka, że ma na to czas. Zła: że trudno wyobrazić tu sobie jakieś zadowalające rozwiązanie.
Przy każdej decyzji trzeba starannie rozważyć możliwe skutki. Czy należy pozwolić samochodowi, by z bezwzględnością maszyny bojowej troszczył się zawsze o przeżycie swoich pasażerów? Nawet jeśli miałoby przy tym zginąć troje dzieci? Alternatywa – samochód, który zabija swojego właściciela, gdy wydaje mu się to najlepszym wyjściem – też nie brzmi kusząco. Kto chciałby kupić takie auto? Maszyna, która decyduje o naszym życiu – coś takiego jest zbyt potworne. Do tego dochodzi jeszcze fakt, że nie istnieje elektronika pozbawiona błędów. Co będzie, gdy komputer się pomyli i uderzy w drzewo tylko dlatego, że na jezdnię wyskoczył królik?
Maszyny zaczną żyć swoim życiem?
Samochody, jakie znaliśmy dotychczas, były całkowicie w służbie człowieka, i na tym polegał ich urok. Już dawniej powstawały jednak dreszczowce o maszynach, które zaczynały żyć własnym życiem. Na przykład nakręcony na podstawie powieści grozy Stephena Kinga film pod tytułem „Christine”, w którym czerwony jak krew 1958 plymouth fury jeździ po ulicach, polując na ofiary.
Jak na razie nie istnieje jeszcze taki gatunek maszyn, które mogłyby decydować o życiu i śmierci, choć być może zabójcze drony już wkrótce bez naziemnego pilota będą odnajdywać swój cel. Również samobieżne auto potrzebuje, podobnie jak dron, algorytmu do śledzenia osób, tyle że w ruchu ulicznym chodzi podobno o wyższy cel: zminimalizowanie szkód.
Czy istnieje jakieś wyjście z owego dylematu? Specjaliści zastanawiają się obecnie nad powierzeniem decyzji ślepemu przypadkowi. W skrajnych sytuacjach program sterujący losowałby, czy potrącone ma zostać dziecko, czy starsza kobieta na chodniku. Lecz taka loteria ofiar wydaje się tym bardziej rzeczą nieludzką. Poza tym po co w takim razie komputer za kierownicą, skoro koniec końców reakcja ma być tak samo nieprzemyślana, jak w przypadku tej podejmowanej przez człowieka?
Pozostaje więc ograniczyć kłopotliwą autonomię pojazdu. Wówczas kierowca miałby obowiązek być przez cały czas gotowy do działania. Lecz nawet wtedy maszyna musiałaby zostać wyposażona w odpowiedni program na wypadek, gdyby człowiek zawiódł lub nie dość szybko zorientował się w sytuacji. Jeśli może działać, powinna to robić.
Samodzielne auto, i na to nic chyba nie da się poradzić, stale jest w akcji, zwłaszcza w momencie tuż przed wypadkiem. Jaki byłby jego najłagodniejszy przebieg? Komputer wylicza cenę każdej straty osobowej. Czy życie dziecka jest warte więcej niż dorosłego? A jeśli chodzi o dwoje dorosłych ludzi? A o pięciu? Jak zmierzyć współczynnik winy? Czy dzieci znajdujące się w samochodzie powinny zostać uznane za niewinne, nawet jeśli kierowca przejechał przez skrzyżowanie na czerwonym świetle? To wszystko musi zostać określone w komputerowym oprogramowaniu. Programiści nazywają to funkcją kosztów. Są to równania, w których można dokonać bilansu przeciwstawnych interesów. Na koniec komputer samochodowy wybiera rozwiązanie z minimalną sumą strat, jednym słowem – wypadek optymalny.
Ale czy szczęście i ból da się w ogóle wyliczyć?
Filozofowie zastanawiają się nad tym już od bardzo dawna. Angielski reformator Jeremy Bentham pod koniec XVIII wieku wynalazł nawet w tym celu specjalną formułę. Jego algorytm określał w przypadku każdego działania, ile niesie ono ze sobą zadowolenia lub bólu. Liczyło się wszystko: intensywność, czas trwania, liczba uczestników.
Bentham zapoczątkował szkołę utylitarystów. Jej zwolennicy twierdzą, że dobre jest to, co przynosi największą korzyść (po angielsku ”utility”), i to w przeliczeniu na wszystkich uczestników. Prawa człowieka uważał za ”nonsens na szczudłach”. Wyśmiałby zapewne współczesną konstytucję, taką jak niemiecka, która zabrania zabijania i torturowania ludzi, nawet jeśli miałoby to ocalić wiele innych istnień. Bentham marzył o społeczeństwie wytwarzającym według ściśle naukowych reguł maksymalną ilość dobra powszechnego, beznamiętnie jak maszyna, i jeśli to konieczne, bez oglądania się na jednostkę.
Kalkulacje Benthama przez długi czas uważano za błazeństwo, w dodatku zupełnie niemożliwe do zastosowania w praktyce. Ale teraz ten dawny utylitarysta staje się znowu interesujący dla zwolenników samobieżnych aut. Czy przykry problem decyzyjny związany z nowymi pojazdami dałoby się rozwiązać za pomocą zasad tego filozofa?
Nie dokona się tego oczywiście przez prosty bilans strat osobowych. Samochody, które działałyby jedynie na tej zasadzie, stanowiłyby nieustanne zagrożenie dla ogółu. W każdej chwili mogłyby przejechać Bogu ducha winną staruszkę na chodniku, by wyminąć dziecko, które nagle pojawi się na jezdni. To tak, jakby pacjent w szpitalu bał się, że lekarze złapią go i wypatroszą, by dzięki jego narządom uratować pięciu śmiertelnie chorych osób.
Filozofowie szukają już rozwiązania. Założenie brzmi: każda kalkulacja kosztów musi mieścić się w odpowiednich ramach, nie wszystkie ofiary są równorzędne. Uczestnicy ruchu drogowego słusznie spodziewają się od pozostałych zachowania zgodnego z obowiązującymi zasadami. Każdy wie, że na jezdni trzeba być uważnym, na chodniku natomiast zwykle nie pędzą pojazdy i tutaj pieszy może spacerować bez obaw. Każdy pojazd musi szanować tę chroniona strefę, nawet jeśli miałoby to kosztować życie dziecka. Zgodnie z ta zasadą Bogu ducha winni przechodnie mają większe prawa.
Niezależnie od tego, jak wytworzą się nowe zasady, muszą być one sformułowane w sposób matematyczny, w liczbach i równaniach, by komputer mógł je zrozumieć. Taka jest cena. Im bardziej samodzielne stają się maszyny, tym bardziej mechaniczna musi być moralność.
Nie da się uniknąć szerokiej debaty nad owymi problemami. Całkiem możliwe, że w jej trakcie marzenie o samobieżnych samochodach skończy się, zanim się jeszcze urzeczywistni – ponieważ w takim świecie nikt nie będzie chciał żyć.
Wówczas postęp zostanie zatrzymany i człowiek nadal pozostanie za kierownicą swojego pojazdu. Lecz i to nie byłoby niewinną decyzją. Przyczyną blisko 90 procent wypadków drogowych jest błąd ludzki. Co roku na drogach całego świata ginie ponad milion ludzi i dopóki sterów nie będzie mógł przejąć komputer, niewiele się tu zmieni. Czy więc warto?
