Polityka to arena walki. Tu nie ma miejsca na szarości. Są tylko ci dobrzy i ci źli – uważają ekstremiści. I sądzą, że istniejący stan społeczny jest niewłaściwy i muszą go zmienić. Jeśli trzeba – z użyciem przemocy. Rozmowa z Bartłomiejem Balcerzakiem, twórcą algorytmu rozpoznającego treści ekstremistyczne w internecie

Monika Redzisz: Stworzył pan algorytm, który potrafi rozpoznać język charakterystyczny dla ekstremistów. Skąd ten pomysł? Czy to z powodu narastającej polaryzacji i radykalizacji postaw społecznych? W Polsce, zwłaszcza po zabójstwie prezydenta Gdańska Pawła Adamowicza, wiele się mówi o mowie nienawiści i skutkach, jakie może ona wywołać.

Bartłomiej Balcerzak*: Język ekstremistów i mowa nienawiści to zjawiska ze sobą powiązane, ale nie tożsame. Mowa nienawiści to forma ekspresji niechęci, która nie wymaga pobudek ideologicznych. Mnie bardziej interesował ekstremizm jako pewna pozycja ideologiczna. Długo szukałem definicji. Wcale nie było łatwo znaleźć taką, która mogłaby być wykorzystana przez informatyka.

Dlaczego?

Z kilku powodów. Po pierwsze, jak wiele pojęć z zakresu nauk społecznych lub politycznych, ekstremizm jest pojęciem nieostrym. Ciężko zatem o ostrą, formalną definicję, którą łatwo można by wykorzystać w projektowaniu algorytmów. Po drugie, wiele definicji, które znalazłem, opierało się na aspekcie normatywnym, czyli na tym, że ekstremizm jest czymś jednoznacznie złym lub nieetycznym.

Jaką definicję pan przyjął?

Ekstremizm po pierwsze – jest poza głównym nurtem, a po drugie – zakłada, że polityka to arena walki. Tu nie ma miejsca na szarości. Są tylko ci dobrzy i ci źli. Celem jest zwycięstwo dobrych nad złymi, przy czym ekstremista jest oczywiście zawsze tym dobrym. Ekstremiści uważają, że istniejący stan społeczny jest niewłaściwy i muszą go zmienić, jeśli trzeba – z użyciem przemocy.

W takim razie w głównym nurcie mamy dziś trochę ekstremistów…

Warto też rozróżnić radykalizm od ekstremizmu. Radykałem może być ktoś, kto nie ma poglądów zgodnych z głównym nurtem, ale nie jest nastawiony na przemoc. Na przykład w XIX wieku w Stanach Zjednoczonych radykałami mogły być osoby, które uważały, że należy znieść instytucję niewolnictwa, mimo że ta instytucja była wtedy podstawą gospodarki kraju.

Co pana skłoniło, żeby podjąć się takiego zadania?

Cóż, mimo że doktorat zrobiłem z informatyki, to za informatyka się nie uważam. Tytuł magistra mam z socjologii i zawsze uważałem się przede wszystkim za badacza zjawisk społecznych.

Kiedy trafiłem do Polsko-Japońskiej Akademii Technik Komputerowych w Warszawie na studia doktoranckie, badałem wiarygodność treści internetowych o medycynie. W tekstach antyszczepionkowców często pojawiały się pewne motywy: że szczepionki powodują autyzm, że ich pozytywnych właściwości nigdy nie udowodniono, że przemysł farmaceutyczny forsuje swoją wizję.

Ponieważ zawsze interesowały mnie ideologie polityczne stojące w opozycji do ogólnie przyjętych trendów, przeniosłem to na zagadnienia związane z językiem polityki. Wiele godzin w życiu spędziłem w internecie, dyskutując z kreacjonistami, zwolennikami teorii spiskowych czy ludźmi wyznającymi pseudonaukę. Tak poznawałem ich narrację, styl prowadzenia dyskusji, stosowane argumenty.

Jaka to była narracja?

Bezkrytyczna. Bardzo rzadko pojawia się refleksja: „Ja też mogę się mylić, wysłucham, co ty masz do powiedzenia”. Przecież już starożytni filozofowie pisali, że tym, co charakteryzuje wykształcony umysł, jest umiejętność rozważenia każdego stanowiska bez akceptowania go. Tutaj tego nie było. Zero dystansu.

W jaki sposób wybrał pan teksty do badań?

To było jedno z największych wyzwań – zdobycie danych do analizy. Ale pojawił się poważny problem, zarówno natury pragmatycznej, jak i etycznej: jak zdecydować, co reprezentuje ekstremizm, a co nie, unikając własnych uprzedzeń? Ale czytałem teksty różnych ideologii i wszędzie pojawiały się identyczne argumenty: to samo przekonanie o własnej słuszności, myślenie w kategoriach: my – dobrzy i oni – źli.

Już starożytni filozofowie pisali, że tym, co charakteryzuje wykształcony umysł, jest umiejętność rozważenia każdego stanowiska bez akceptowania go. U ekstremistów tego nie ma. Zero dystansu

Zdecydowałem się w końcu na trzy grupy związane ze skrajnościami ideologicznymi: skrajna lewica i skrajna prawica amerykańska oraz islamiści. Chciałem się przekonać, czy metody, które opracuję, będą tak samo skuteczne dla wszystkich trzech. Żeby to zrobić, potrzebowałem dwóch zbiorów: tekstów ekstremistycznych i tekstów neutralnych.

Wszystkie materiały były po angielsku?

Tak. Angielski ma szerszą paletę narzędzi do obróbki języka, jest też obiektywnie prostszy ze względu na swoją strukturę. Część danych zdobyłem, odwiedzając strony instytucji monitorujących ugrupowania skrajne w USA. Zgromadziłem około tysiąca tekstów skrajnej prawicy amerykańskiej. Materiały pisane przez zwolenników państwa islamskiego udało mi się zdobyć z publicznie dostępnych zbiorów tekstów usuniętych z Twittera, a te dotyczące skrajnej lewicy – z materiałów wskazanych przez instytucje monitorujące.

Bartłomiej Balcerzak

Kiedy już zebrałem dane, zastosowałem algorytm uczenia maszynowego. Chciałem, żeby model w oparciu o cechy tekstu potrafił powiedzieć, czy tekst reprezentuje treści ekstremistyczne, czy też nie. Kluczowym zagadnieniem było opracowanie odpowiednich cech.

Chciałem stworzyć narzędzie, które nie analizuje tego, czy mówimy na jakiś temat, tylko jak mówimy.

Najpierw zauważyłem, że w języku ekstremistów jest więcej przymiotników i przysłówków, które nadają zdaniom przekaz emocjonalny. Częściej używają także rzeczowników w liczbie mnogiej, bo zwykle mówią o grupach. To cechy gramatyczne.

Potem zająłem się analizą sentymentu, emocji, jakie wyraża tekst. Teksty ekstremistyczne wyrażały większe natężenie emocji i o wiele więcej emocji negatywnych niż inne.

W poezji też jest mnóstwo przymiotników i emocji, niekiedy bardzo negatywnych…

Te cechy nie działają w izolacji od siebie – zawsze działają łącznie. Zostały jeszcze kwestie semantyczne. Opracowałem narzędzie, które kategoryzuje słowa o podobnych znaczeniach. Mamy na przykład słowa: ojciec, matka, syn, córka, które reprezentują relacje rodzinne.

Wydzieliłem około 30 takich kategorii. To istotne, bo treści nie zawsze są wyrażane w sposób bezpośredni. Tekst, który wyraża gniew, nie musi mieć w sobie zdania: „Jestem zły”, tylko np.: „Chętnie bym kogoś uderzył kijem albo kamieniem”. Algorytm zauważy, że jeśli słowa „kij, kamień, uderzyć” występują ze sobą, to mogą reprezentować jakąś ukrytą cechę tekstu.

Kolejne narzędzie: sprawdzające, jakie słowa w tekście systematycznie występują ze sobą razem. Wyobraźmy sobie, że mamy dwa zdania. „Lubię jeść ryby” i „Lubię jeść łopaty”. Pierwsze jest dla nas całkowicie naturalne, drugie – nie, bo łopat się nie je. Za pomocą modeli językowych wykrywamy, że pewne słowa współwystępują ze sobą całkiem naturalnie, a inne nie. Algorytm analizuje teksty i liczy, jakie jest prawdopodobieństwo, że w zdaniu, w którym pojawia się słowo „jeść”, następnym słowem będzie „ryby”, a jakie – „łopaty”. Albo – jak często słowo „wróg” będzie poprzedzone słowem „niszczyć”. Traktujemy tu słowa jako znaki, nie zważając na ich znaczenie.

Każdy pogląd można wypowiedzieć. To oznacza także, że każdy pogląd można skrytykować i nie powinno to nikogo obrażać. Poglądy nie są ludźmi, nie mają praw. Jeżeli są jednoznacznie fałszywe, trzeba to po prostu mówić

Ta metoda dała całkiem niezłe rezultaty, choć obecnie pracuję nad bardziej nowoczesnymi modelami: sieciami krótkiej i długiej pamięci, fachowo nazywane sieciami LSTM (od Long-term, Short-term Memory). To algorytmy, które uczą się, jak przewidywać następny stan w sekwencji. Mają coś na kształt pamięci, czyli są w stanie cofnąć się do sygnału, który pojawił się w sekwencji 10 czy 20 punktów wcześniej, i wykorzystać go w danym momencie. Tak jak człowiek, który czyta tekst: „Byłem ostatnio w Paryżu. Spędziłem tam dwa tygodnie. Muszę powiedzieć, że stolica Francji mnie zawiodła”, jest w stanie cofnąć się myślami do pierwszego zdania i wydedukować, że stolica Francji to Paryż.

Ostatni niezbędny zestaw cech to cechy narracyjne. Pierwszym wyznacznikiem jest mówienie o przeciwniku w sposób negatywny, jako o wrogu, rywalu, kimś, z kim należy walczyć. Na przykład w tekście skrajnie prawicowym czytamy: „Homoseksualiści – seksualni dewianci, atakują nasze społeczeństwo”. W tekście islamistycznym: „Walczymy z krzyżowcami”. W kontekście skrajnej lewicy: „Korporacje to wyzyskiwacze”.

Pomógłby tu słownik specyficznych, często przez ekstremistów używanych słów i zwrotów, np. „dewiant seksualny”, „krzyżowiec”.

Tak, ale ja chciałem pójść krok dalej – opracować metodę, która automatycznie będzie takie leksykony generować. Nie na zasadzie, że człowiek sobie notuje, że słowo „homoseksualista” w tekście prawicowym, „niewierny” – islamistycznym, a „patriarchat” – lewackim oznacza coś złego.

Chciałem opracować metodę, która w oparciu o analizę tekstu sama rozpozna, które słowa zdradzają poglądy ekstremistyczne. Tak samo w przypadku drugiej cechy, jaką było odwołanie do grupy własnej. Chciałem, żeby algorytm nauczył się oceniać, jak dana grupa się opisuje. Skrajni prawicowcy w Stanach Zjednoczonych mówią o sobie przede wszystkim per „my, patrioci”, „my, biali”, „my, wierni”. Grupy islamskich fundamentalistów: „my, wierni Allachowi”, „my, dzieci Allacha”. W grupach skrajnych lewicowych: „my, klasa robotnicza”, „my, wojownicy o wyzwolenie”. My – czyli ci dobrzy.

Trzecią cechą były wszelkie słowa czy zwroty, które wzywają do działania. „Nie patrz biernie, kiedy niszczą twój kraj!”, „Podejmij działanie!”, „Zwalczaj system!”, „Wyślij petycję!”.

Nawet „wyślij petycję”?! Przecież to łagodne, pokojowe działanie.

Tak. Bo wiele skrajnych grup zapewnia, że oni wcale nie są przemocowi. Mało kto napisze wprost: „Uważam, że Żydów trzeba eksterminować”. Na stronach neonazistów pojawiają się hasła typu „Żydzi wszystko niszczą”, ale nie: „Zabijmy ich”.

Zdają sobie przecież sprawę, że takie hasła są karalne. Nie chcą mieć kłopotów z prawem.

W każdej grupie ideologicznej mamy wyrachowanych przywódców i masy szeregowych członków, którzy już tak bardzo nie uważają na słowa. Wiele też zależy od tego, jak stabilnie w danej społeczności się te grupy czują. Kiedy grupa ma 1-2 procent poparcia, to jej członkowie może po cichu, między sobą, wymieniają radykalne hasła, ale na zewnątrz raczej są grzeczni, bo muszą jakoś zmieścić się w systemie. Skupiają się na tym, że są biedni i prześladowani. „Walczymy tylko o wolność słowa!” „System nas gnębi”, „Jesteśmy szykanowani. 90 procent mediów jest przeciwko nam”.

Jednak im bardziej zyskują na znaczeniu, tym mniej obawiają się restrykcji i zaczynają mówić o przemocy.

Ale jest przecież także druga tendencja: małe grupy miewają odważne hasła, nie boją się poruszać tzw. trudnych tematów, będących społecznym tabu. Im bliżej są władzy, tym bardziej „grzeczne” się stają, żeby nie zrazić do siebie wyborców. Z czasem stają się w zasadzie nieodróżnialne od innych ugrupowań.

No tak. Wiele zależy od sytuacji społeczno-politycznej. W naszych czasach pożywka dla ekstremizmów jest bardzo treściwa. Czytałem ostatnio badania przeprowadzone w USA, w których pytano ludzi: „Czy byłbyś zadowolony, gdyby jutro rano przedstawiciele przeciwstawnej tobie grupy ideologicznej po prostu – zniknęli?”. Aż 15 procent odpowiedziało: „Tak”. Podobny odsetek stwierdził, że w przypadku przeciwników politycznych przemoc jest uzasadniona. W tak dojrzałej demokracji jak Stany Zjednoczone! I to nie zaczęło się z Trumpem podobne zjawiska obserwowano za prezydentury Obamy. Jeżeli mamy silnie spolaryzowane społeczeństwo, to o stonowaniu nie może być mowy.

Reasumując: zbudował pan algorytm w oparciu o cechy gramatyczne, sentymentalne, semantyczne i narracyjne i nauczył rozpoznawania tekstów. Jak rezultaty?

Całkiem dobre. Model osiągnął od 80 do 90 procent dla współczynnika trafnych przewidywań. Przetestowałem go na tekstach trzech grup.

Co ciekawe, o ile w przypadku skrajnej prawicy i zwolenników państwa islamskiego cechy narracyjne zadziałały bardzo dobrze, to w przypadku skrajnej lewicy, na przykład grup skrajnie ekologicznych – nie. Teraz dopiero przymierzam się do poszerzenia zestawu o grupy ekoterrorystyczne, które dopuszczają się aktów przemocy albo nawołują do wymordowania ludzkości, żeby zrobić miejsce dla Matki Ziemi.

Ciekawym przykładem ekstremistów są też tacy ludzie jak Anders Breivik, a w Stanach Unabomber. Samotne wilki, które mają skrajną wizję świata i idą zabijać ludzi w jej imię. Można się cofnąć do Charlesa Mansona, który twierdził, że Beatlesi w piosence „Helter Skelter” przekazują mu podprogowo informacje na temat tego, co ma zrobić, a on, Manson, ma być ostatnim białym królem w nadchodzącej wojnie ras. Takie osoby potrafią przyciągać do siebie ludzi.

Jak przywódcy sekt.

Tak. Tendencje sekciarskie pojawiają się w grupach ekstremistów. Na przykład w Stanach Zjednoczonych istnieje trend, który nazywa się białym separatyzmem. Postuluje on, żeby biali Amerykanie urządzili sobie własny rezerwat, odizolowali się od zepsutego nowoczesnego społeczeństwa i zaczęli wszystko od nowa. To brzmi ciekawie, gdy pomyślimy, że przecież Stany Zjednoczone były założone przez taką grupkę, która uciekła ze starego świata by stworzyć wszystko na nowo. Ale sama taka cecha jeszcze nie świadczy o ekstremizmie. Kluczowe w mojej pracy było całościowe potraktowanie ekstremizmu jako współwystępowanie wielu cech.

Chciałbym, żeby z tego algorytmu korzystały niezależne instytucje monitorujące język dyskusji, niezwiązane z państwem ani ze służbami, które mogłyby informować, czy rosną nastroje ekstremistyczne. A jeśli tak, to w jakich środowiskach, zawodach, miastach, przedziałach wiekowych

Jaki jest sens tworzenia takich algorytmów? Ma pan nadzieję, że mogą nas w jakimś stopniu uchronić przed ekstremizmem?

Pewne metody już się wykorzystuje. W Skandynawii, jeżeli jakaś osoba jest podejrzana o to, że jest kolejnym Breivikiem, jej treści internetowe są monitorowane. Analizuje się jej profil psychologiczny i podejmuje działania prewencyjne. Twitter czy Facebook blokują treści, które łamią zasady wspólnoty. U nas w Polsce także filtruje się treści, tyle tylko, że robi się to ręcznie.

Kto mógłby wykorzystać pański algorytm?

Chciałbym, żeby korzystały z niego niezależne instytucje monitorujące język dyskusji, niezwiązane z państwem ani ze służbami, które mogłyby informować, czy rosną nastroje ekstremistyczne. A jeśli tak, to w jakich środowiskach, zawodach, miastach, przedziałach wiekowych. Wtedy można by podjąć próbę poprzez działania systemowe i edukacyjne, żeby te grupy deradykalizować.

Warto przyjąć, że w niektórych rzeczach ekstremiści mogą mieć rację, tylko wyrażają to w sposób, który jest dla nas nie do zaakceptowania. Może jeżeli będziemy ich edukować, to zaczną dyskutować w bardziej racjonalny sposób i nie będą skłonni kupować tanich rozwiązań. Pomyślą: „Mamy problem z imigracją, ale czystka etniczna nie jest najlepszym rozwiązaniem”.

To brzmi bardzo idealistycznie…

Nie twierdzę, że mój model wyeliminuje ekstremizm. Zwłaszcza że kiedy model nauczy się określonych cech, ekstremiści będą starali się to ominąć i zaczną mówić w inny sposób. Tak jak w Stanach na portalach o zabarwieniu antysemickim, żeby uniknąć bezpośredniego mówienia o kimś, że jest Żydem, wokół jego nazwiska umieszcza się trzy nawiasy z jednej i drugiej strony – tzw. echo.
Jest też kwestia etyczna. YouTube zadeklarował, że będą minimalizować obrót treści, które mają charakter spiskowy – negowanie lądowania ludzi na Księżycu albo teorie mówiące o tym, że Ziemia jest płaska. Tutaj rodzi się bardzo poważne pytanie: czy oddajemy prywatnym instytucjom, takim jak YouTube, Google czy Facebook, prawo decydowania o tym, jakie treści pojawiają się na publicznej agorze?

Zawsze tak było. Zanim pojawił się internet, decydowała o tym prasa, telewizja…

Ale media internetowe mają o wiele większy zasięg i możliwości blokowania treści w taki sposób, że nawet tego nie zauważymy. Poza tym paradoksalnie taka polityka uciszania może przynieść odwrotny skutek, bo ludzie lubią zakazany owoc. I wreszcie – żeby wiedzieć, że jakaś idea jest zła, trzeba ją przedyskutować. Jeżeli nie będzie żadnych głosów podważających status quo, to nigdy nie zastanowimy się, czy nasze pojęcia są słuszne czy nie. Więc może zamiast ograniczać, lepiej zastanowić się, dlaczego pewne twierdzenia zdobywają tak wielką popularność?

O ironio, teoria, że Ziemia jest płaska, zrobiła się tak popularna właśnie dzięki temu, że mamy internet… Czy można przewidzieć, która teoria zdobędzie wielu wyznawców?

Jak rozpoznać, która teoria alternatywna rozpowszechni się szybko? Po pierwsze, będzie szła w poprzek tego, co wiemy o rzeczywistości. Po drugie będzie owiana atmosferą tajemnicy. Teoria spiskowa, żeby się rozpowszechniać, musi budować w człowieku poczucie jego wartości, podbudowywać je. „Skoro jesteśmy wtajemniczeni – jesteśmy fajni. Jesteśmy lepsi niż ci wszyscy naukowcy. Znamy prawdę”. Bardzo popularne są te teorie spiskowe i pseudonauki, które stawiają grupę albo człowieka na piedestale.

Jak zachować złoty środek: dać ludziom platformę do dyskusji, a jednocześnie zadbać o jej jakość, o propagowanie nauki, a nie pseudonauki; rozsądnych, a nie ekstremistycznych poglądów politycznych?

Osobiście uważam, że każdy pogląd można wypowiedzieć. To oznacza także, że każdy pogląd można skrytykować i nie powinno to nikogo obrażać. Poglądy nie są ludźmi, nie mają praw. Jeżeli są jednoznacznie fałszywe, trzeba to po prostu mówić. Uważam, że najlepszym pomysłem jest wolny rynek idei. Trzeba idee testować, rozmawiać o nich i je podważać.


*Bartłomiej Balcerzakabsolwent Instytutu Socjologii Uniwersytetu Warszawskiego i Informatyki Społecznej w Polsko-Japońskiej Akademii Technik Komputerowych. Zajmuje się problematyką uczenia maszynowego oraz przetwarzania języka naturalnego. Jego zainteresowania naukowe obejmują modelowanie matematyczne języków naturalnych, zastosowanie modeli ewolucyjnych w badaniach społecznych oraz rozwój metod segmentacyjnych. W kwietniu 2019 roku obronił w Polsko-Japońskiej Akademii Technik Komputerowych doktorat pod tytułem: „Empirical Analysis and Automatic Recognition of Extremism in Online Texts”

Skip to content