Jeśli celem rozwoju technologii wciąż będzie zysk i tylko zysk, nic się nie zmieni – mówi Katarzyna Szymielewicz z Fundacji Panoptykon w rozmowie z Maciejem Chojnowskim
Maciej Chojnowski: Amy Webb, futurystka i autorka książki „The Big Nine”, przestrzegała niedawno, że za 15 lat możemy się obudzić w upiornym świecie, gdzie nasza tożsamość będzie bezbłędnie weryfikowana dzięki biometrii i cyfrowym technologiom. Tylko najbogatsi będą mieli szansę uniknąć takiej totalnej inwigilacji. Skończymy w cyfrowym totalitaryzmie?
Katarzyna Szymielewicz*: Nie ma na to prostej odpowiedzi. W pana pytaniu słyszę kilka założeń. Po pierwsze, możliwość bezbłędnej biometrycznej identyfikacji naszych ciał. Po drugie, to, że pełna identyfikacja przekłada się na kontrolę nad naszą tożsamością – a przecież to nie musi być równoznaczne. Po trzecie, że taka kontrola musi oznaczać totalitaryzm, czyli polityczne zniewolenie.
Zgodziłabym się z tezą, że w ciągu 15 lat technologia pozwoli szybko identyfikować nasze ciała. Zresztą w Unii Europejskiej cechy biometryczne zostały już wprowadzone do paszportów i dowodów osobistych. Odbyło się to bez powszechnej debaty, choć sprawa na nią zasługiwała. Po prostu przyjęliśmy, że taka jest kolej rzeczy. Smutne.
Czy to jednak oznacza, że tracimy kontrolę nad swoją cyfrową tożsamością? Nie sądzę. Tożsamość jest jednak o wiele bardziej złożonym konstruktem niż stosunkowo prosta identyfikacja jednostki. Z drugiej strony nasza wolność w cyfrowym świecie – wolność podejmowania wyborów życiowych, politycznych i konsumenckich – jest zagrożona przez prywatne firmy i korzystających z ich usług specjalistów od marketingu. Dzieje się tak, choć nie są oni w stanie nas zidentyfikować i nie są agentami totalitarnego państwa.
W czym zatem tkwi problem?
W coraz mniejszej kontroli nad naszymi życiowymi wyborami – wyborami, które definiują nas jako istoty społeczne – oraz nad tym, jak jesteśmy postrzegani i oceniani przez innych. Można powiedzieć, że tracimy kontrolę nad swoją społeczną maską, twarzą, którą zakładamy, by kontaktować się ze światem. A ta twarz to przecież integralny element naszej tożsamości.
Paradoksalnie, bez przerwy się kreując i dzieląc informacjami na swój temat, dostarczamy nieustannie paliwa do analizy behawioralnej. Obserwując nasze zachowanie i porównując je z zachowaniem milionów innych ludzi, dominujące firmy internetowe uczą się naszych cech. Są w stanie z dużą trafnością ustalić, co tak naprawdę myślę, jakie mam głębokie motywacje, pragnienia, obawy. I na tej podstawie dokonują własnych ocen, w tym ocen mojej wiarygodności czy atrakcyjności. Moja własna opinia na mój temat nie ma w tej relacji większego znaczenia, bo bank czy potencjalny pracodawca raczej zaufają ocenie wynikającej z danych. I to nie tych, które sama świadomie udostępniłam, ale tych, które wynikają z analizy mojego zachowania. Kluczowe dla ich oceny są moje prawdziwe emocje czy zachowania ujawnione w sieci, a nie to, co deklaruję.
Wracając do zagrożenia totalitaryzmem: czy możemy sobie wyobrazić, że to wszystko będzie politycznie, centralnie sterowane? W Chinach na pewno tak. Ale w Europie? Chcę się łudzić, że mamy hamulce i jesteśmy na tyle rozsądni, by taki projekt zdusić w zarodku.
Nikt, nawet Mark Zuckerberg, nie ma już wątpliwości, że ani w sieci, ani poza nią nie stworzymy globalnej demokracji
Niestety, tę samą władzę już oddaliśmy wielkim korporacjom. Więc teraz to, czy zacznie być ona wykorzystywana w interesie politycznym, już nie zależy od nas. Zależy raczej od tego, czy dominujące cyfrowe korporacje zechcą wejść we współpracę z państwem – na przykład pod hasłem lepszego zarządzania jakąś sferą życia społecznego – czy nie. Jednym z pierwszych testów tego scenariusza będzie zapewne wprowadzenie autonomicznych samochodów. Od uznania, że są bardziej bezpieczne i ekologiczne niż te prowadzone przez ludzi, do przymusu korzystania z tej technologii – a zarazem poddania tej sfery życia pełnej cyfrowej kontroli – nie jest bardzo daleko.
Pojawiają się głosy, że globalne firmy technologiczne coraz silniej wkraczają w domeny, które niegdyś należały do sfery politycznej. Coraz więcej dziedzin, na przykład medycyna czy transport publiczny, budzi ich zainteresowanie. A ponieważ rządy nie nadążają ze stanowieniem prawa i orientowaniem się w sytuacji, muszą ustąpić pola…
…albo skorzystać. Powiedzieć: „O, wy już to rozwiązaliście. Świetnie, bo mamy problem epidemiologiczny w naszym kraju!”. Albo: „Nie potrafimy sobie poradzić z zarządzaniem transportem publicznym. Pomóżcie nam”.
Mogą też ulec presji obywateli, którzy powiedzą: „Przecież są firmy, są algorytmy, jest inteligentne oprogramowanie – dlaczego z tego nie skorzystacie?”.
Zgadzam się więc z diagnozą, że państwa znalazły się w trudnym położeniu i jeśli nie odrzucimy paradygmatu ciągłego wzrostu ekonomicznego, który dziś napędzają właśnie dane, ich zależność od firm technologicznych będzie rosła. Nie są w stanie tak efektywnie zarządzać danymi. Nie mają też tylu danych, by rozwijać własne rozwiązania. Mogą jeszcze wybrać trzecią drogę, czyli uspołecznić wiedzę, którą dziś generują i kontrolują prywatne firmy. Ale to trudny regulacyjny projekt, wymagający dużej odwagi i gotowości do otwartego starcia z globalnymi korporacjami. Z perspektywy państwa narodowego to projekt niemal karkołomny, ale Unia Europejska mogłaby już coś takiego zaproponować.
Dominujące platformy technologiczne, takie jak Facebook, Google czy Amazon, uczestniczą w geopolitycznej grze na takich prawach, jak rządy największych państw. Oczywiście, mówiąc o swojej roli, deklarują neutralność. Nawet jeśli w wyraźny sposób nie wspierają takiej czy innej opcji politycznej, bez wątpienia realizują własny interes, który ma bezpośrednie przełożenie na naszą sytuację ekonomiczną i społeczną. Wspierają kapitalizm, bo są jego siłą napędową. W błyskotliwej analizie ich modelu biznesowego Shoshana Zuboff [profesorka amerykańskiej Harvard Business School, autorka książki „The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power”, 2018 – red.] udowadnia, że to raczej dominujące platformy kreują system władzy, w którym muszą odnaleźć się politycy i organy władzy.
Brzmi bardzo niepokojąco.
Niestety, nadzorczy kapitalizm działa ponad władzą polityczną. Ale, jak wspomniałam wcześniej, trzecia droga – droga pomiędzy odrzuceniem wzrostu opartego na technologii a poddaniem się władzy prywatnych korporacji – jest jeszcze do pomyślenia. To droga poprzez uspołecznienie kluczowych zasobów: sieci społecznościowych i wiedzy, którą generują komercyjne algorytmy. Rządy same sobie z tym wyzwaniem nie poradzą, ale przecież warunkiem działania technologicznych platform jest dziś nasza praca, nasz udział w tym systemie. Nie jesteśmy skazani na rolę biernych obserwatorów. Nadal dostarczamy dane, wybieramy polityków i usługi, z których korzystamy. A więc możemy też wybrać inny model. Taki, w którym mamy coś do powiedzenia, przestajemy być eksploatowanym zasobem i celem marketingowych eksperymentów.
Na temat cyfrowej rewolucji mamy dwie skrajne narracje. Jedna, właściwa m.in. Shoshanie Zuboff, jest pesymistyczna i krytyczna: żyjemy w kapitalizmie inwigilacji, nadzoru. Z drugiej strony jest entuzjazm wobec innowacji, który przypomina niesławny solucjonizm – wyśmiewane przez Evgeny Morozova przekonanie, że technologia jest najlepszym lekarstwem na wszystkie bolączki.
Przyjdzie mądra i sterylna SI i poukłada nam świat.
Właśnie. Ale musi chyba jednak istnieć podejście bardziej umiarkowane?
Pewnych rzeczy po prostu nie da się załatwić ani algorytmem, ani regulacją. Technologia, która rozwinęła się w ostatnich 20 latach, przechodzi dziś poważny kryzys. W ważnych obszarach życia społecznego poczuliśmy, że nasza wolność podejmowania decyzji naprawdę została ograniczona. I nie mówię tylko o targetowaniu politycznych komunikatów, zagrożeniu dezinformacją czy skutkach naszego funkcjonowania w bańkach informacyjnych – choć te tematy najczęściej powracają w medialnych nagłówkach. Mówię też o poczuciu, że technologia steruje nami na bardzo głębokim poziomie, że uzależniamy się od niej, że tracimy uważność i czas, bez przerwy klikając i udostępniając siebie innym.
To doświadczenie bardzo intymne; każdy przeżywa tę stratę na swój sposób. A jednocześnie łączy nas doświadczenie presji, żeby pozostać widzialnym i zasłużyć na pozytywną ocenę na brutalnym rynku zwanym „społecznością”. Łączy nas też bardzo prekaryjna kondycja w tym cyfrowym ekosystemie. Nie możemy już zapłacić pieniędzmi za to, co jest nam oferowane „za darmo” – platformy internetowe już nie są skłonne uznać nas za pełnoprawnych klientów. Chcą, żebyśmy nadal dostarczali informacje o swoim zachowaniu, które dzięki algorytmicznej obróbce zmieniają się w cenną wiedzę o ludziach.
Model biznesowy, na którym opierają się usługi cyfrowe, musi się zmienić w kierunku, który stawia człowieka w środku jako podmiot, a nie zasób, który można bezkarnie eksploatować
Na ten kryzys zaufania między użytkownikami a platformami nakłada się rozczarowanie naszym zbiorowym funkcjonowaniem w internecie. Nikt, nawet Mark Zuckerberg, nie ma już wątpliwości, że ani w sieci, ani poza nią nie stworzymy globalnej demokracji. Za to okazuje się, że za pomocą „łączącej” technologii możemy się jeszcze skuteczniej zwalczać, terroryzować czy szantażować.
Kiedy myślimy o współczesnym cyfrowym panoptykonie, jesteśmy skłonni zrzucać winę na technologię. Wydaje się jednak, że winne są przede wszystkim modele biznesowe. Czy można zmienić sposób, w jaki te technologie nam służą, na mniej inwazyjny?
Z pewnością. Technologia jest tylko kodem, narzędziem. Można ją zaprojektować, żeby robiła dowolne rzeczy. Na tym też zasadza się mój pomysł, na razie tylko ogólnie naszkicowany, na budowanie uspołecznionej infrastruktury – a więc takich zasobów, takich sieci społecznościowych i baz danych, które możemy kontrolować jako obywatele, a nie konsumenci usług.
Ta sama zasada dotyczy algorytmów. Nie mam poczucia fatalizmu, które kazałoby mi myśleć, że gdy tylko wprowadzamy sieć neuronową, to musi się to dla człowieka skończyć źle. Może skończyć się dobrze, o ile zatrudnimy ją do rozwiązywania problemów, które da się rozwiązać w oparciu o analizę statystyczną i wykrywanie wzorców, a nie do tego, by podejmowała za nas moralne czy polityczne decyzje. Możemy też wprowadzić w procesie uczenia reguły, które są dla nas ważne, na przykład „zoptymalizuj ruch drogowy, ale pamiętaj, że piesi mają pierwszeństwo”. Warto pamiętać, że to naszą rolą w procesie rozwoju sztucznej inteligencji jest pilnowanie celów, wartości i prawnych bezpieczników.
Zgadzam się z pańską diagnozą, że problemem jest model biznesowy czy też to, co go napędza. A napędza go przede wszystkim zysk, i to taki, który ma rosnąć geometrycznie, który nigdy nie będzie wystarczająco wysoki, by już powiedzieć: „dość”. Nie mam nic przeciwko samemu pomysłowi na generowanie zysku. Ale nie mogę zaakceptować systemu, w którym jest on jedyną wartością, a po drugiej stronie wszystko – szczególnie potrzeby i prawa ludzi – są definiowane jako koszt. Koszt, który trzeba minimalizować, a najlepiej wypychać poza budżet firmy.
Dziś dominuje myślenie: jesteś zasobem, który my eksploatujemy.
Ten model jest nie do utrzymania. Warto pamiętać, że technologia cyfrowa ma również wymiar ekologiczny. Cały ten rozwój nie dzieje się w próżni, tylko zużywa zasoby Ziemi. Gdyby policzyć koszt ekologiczny reklamy w internecie, koszt naszych wyszukiwań, przejazdów Uberem czy innych narzędzi, których używamy wielokrotnie w ciągu dnia, zrozumielibyśmy, że to są to bardzo energochłonne procesy. Nie wspominając już o kopaniu kryptowalut, które w skali globalnej zużywa więcej prądu niż średniej wielkości państwo. Na co dzień o tym nie myślimy, bo przetwarzanie danych w chmurze, na odległych serwerach, jest dla nas niewidzialne. Widzimy tylko to małe urządzenie.
Model biznesowy, na którym opierają się usługi cyfrowe, musi się zmienić w kierunku bardziej zrównoważonego. Takiego, który stawia człowieka w środku jako podmiot, a nie zasób, który można bezkarnie eksploatować. I takiego, który uwzględnia koszty ekologiczne.
Czy możemy doprowadzić do takiej zmiany, wywierając presję jako konsumenci?
Teoretycznie tak, ale czy w praktyce potrafimy się tak zorganizować? Czy jesteśmy w stanie wyrzec się różnych wygód i zaryzykować po to, by wywrzeć realną presję na dominujące platformy? Nie wiem.
A może odwołać się do regulacji?
Jesteśmy w trakcie ciekawego eksperymentu z RODO, lecz po roku trudno jeszcze ocenić jego rezultaty. Zuboff powiedziałaby pewnie, że to niewiele znacząca korekta i za chwilę przekonamy się, że firmy już nauczyły się te ograniczenia zręcznie obchodzić, a my będziemy potrzebować kolejnych 15 lat, żeby to obejście „uregulować”.
Nie mam poczucia fatalizmu, które kazałoby mi myśleć, że gdy tylko wprowadzamy sieć neuronową, to musi się to dla człowieka skończyć źle
Taka wizja – że te wielkie korporacje zawsze będą w stanie ograć obowiązujące regulacje – jest bardzo pesymistyczna. Czy trafna? Tego jeszcze nie wiem. Daję sobie kolejne trzy lata na obserwowanie, jak rynek zmienia się pod wpływem RODO, i samodzielne testowanie uprawnień, które z tego prawa wynikają. Każdy z nas może z nich korzystać i ja do tego bardzo zachęcam.
W Polsce niebawem zatka się sieć bezprzewodowa – przekonują specjaliści od telekomunikacji. Bez sieci 5G nie będzie internetu rzeczy. Jednak w państwa raporcie „Śledzenie i profilowanie w sieci” ta technologia jest oceniana dość krytycznie: „Systemy połączonych urządzeń działające w ramach internetu rzeczy mogą stać się najpoważniejszym bezprecedensowym zagrożeniem dla prywatności, a w niektórych przypadkach, na przykład inteligentnych samochodów czy sprzętu medycznego, także fizycznego bezpieczeństwa ich użytkowników”. Podobnie uważa spec od cyberbezpieczeństwa Bruce Schneier, który ostatnio na łamach „MIT Tech Review” zaapelował, byśmy zwolnili z tym łączeniem wszystkiego ze wszystkim. Powinniśmy być sceptyczni wobec internetu rzeczy?
Tutaj, podobnie jak w rozmowie o uczeniu maszynowym i algorytmach, warto zacząć od celu. Co chcemy w ten sposób rozwiązać? Do czego to ma służyć? Jeśli chodzi o to, byśmy wydawali więcej pieniędzy na usługi cyfrowe, to postawmy poważne pytanie o cenę tej zabawy i jej ekologiczny wymiar. Ktoś to przecież musi sfinansować.
Jeżeli w grę wchodzą inwestycje chińskie, nie możemy ignorować geopolitycznych uwikłań i tego, że uzależniamy się technologicznie od nieobliczalnego aktora. Jeżeli mają ten skok rozwojowy finansować pieniądze publiczne, to znaczy, że czegoś innego nie zrobimy, na przykład nie zainwestujemy w transport albo edukację publiczną. Jeśli więc to miałby być projekt czysto konsumpcyjny, nie widzę dla niego uzasadnienia.
Nie wykluczam tego, że rozwój internetu rzeczy pomoże rozwiązać nasze realne problemy, na przykład wspierać opiekę zdrowotną, pomagać w opiece nad starszymi osobami, optymalizować zarządzanie odpadami czy recykling. Ale tego dyskursu jakoś jeszcze nie słychać. Co więcej, by ta technologia mogła na dobre w wkroczyć w nasze życie rodzinne i relacje z państwem, musimy ją najpierw dobrze zabezpieczyć i stworzyć działające mechanizmy kontrolowania danych, które przepływają między połączonymi urządzeniami. W świecie smart AGD i zabawek ten wymiar bardzo jeszcze szwankuje.
Eksperymenty technologiczne, które odpowiadają na prawdziwe problemy ludzi, są potrzebne. Ale w ich projektowaniu powinien brać udział tzw. zwykły człowiek, a nie tylko korporacja, która sobie tego człowieka jakoś wyobraża. Potrzebujemy uspołecznionego procesu, w którym obywatele będą współdecydować, na jakie technologie wydawać publiczne pieniądze. Jeżeli celem wciąż będzie zysk i tylko zysk, nic się nie zmieni.
*Katarzyna Szymielewicz – prawniczka specjalizująca się w problematyce praw człowieka i nowych technologii. Współzałożycielka i prezeska Fundacji Panoptykon, a także wiceprzewodnicząca European Digital Rights.
Absolwentka Wydziału Prawa i Administracji UW oraz Development Studies w School of Oriental and African Studies. W przeszłości – prawniczka w międzynarodowej kancelarii Clifford Chance, członkini rad społecznych przy ministrze ds. cyfryzacji, stypendystka międzynarodowej sieci przedsiębiorców społecznych Ashoka.