Najnowszy algorytm OpenAI preparuje już treści, które trudno odróżnić od tych stworzonych przez człowieka. W tym samym czasie współpracujący z OpenAI Microsoft zwalnia swoich redaktorów, bo ma już program lepszy od nich. Przypadek?
Prawie niezauważenie i bez rozgłosu pojawił się algorytm (a dokładniej: model przetwarzania języka naturalnego), który potrafi pisać teksty tak, jak robi to człowiek. GPT-3 to nowa odsłona GPT-2, słynnego już algorytmu stworzonego przez laboratorium badawcze OpenAI.
GPT-2, Nemezis Trumpa
Nad „trójką” pracowało przez rok 30 badaczy. Efekt? Ponad 100 razy więcej parametrów (wartości określających zależności między elementami sieci) od poprzednika: GPT-2 miał ich 1,5 miliarda, GPT-3 ma ich 175 miliardów. Dzięki temu z niebywałą sprawnością generuje wiadomości, artykuły, odpowiedzi na pytania i tłumaczy.
Nieco ponad rok temu OpenAI, zajmujące się „sztuczną inteligencją dobrą dla ludzi”, zadziwiło świat, pokazując GPT-2, model tworzący zdania w języku naturalnym. Wyszkolono go na ośmiu miliardach tekstów, dzięki czemu potrafi sensownie kończyć zdania lub budować długie fragmenty tekstu. Autorów GPT-2 przeraziła jednak skala możliwości modelu, który był zdolny np. tworzyć fake newsy i posługiwać się mową nienawiści. Zablokowali więc do niego dostęp dla niewtajemniczonych.
Kilka miesięcy później GPT-2 został jednak „odmrożony” i z marszu zaczął zadziwiać świat. W rękach naukowców, badaczy, ale i zwykłych freaków stał się potężnym narzędziem, które zapowiedziało na przykład, że prezydent Trump przegra wybory, pisało wiersze i teksty piosenek, a nawet opracowało słownik wyrazów nieistniejących wraz z ich definicjami. (Jeśli chcesz sprawdzić, jakie teksty generuje GPT-2, nie musisz być programistą. Wystarczy, że odwiedzisz stronę internetową Talk to Transformer i wpiszesz początek tekstu.)
Szersze społeczne skutki
Świat poznał GPT-3 kilkanaście dni temu. Algorytm jest szkolony metodą tzw. „uczenia się w kontekście”, na bazie danych Common Crawl, obejmującej prawie bilion tokenów (jednostek leksykalnych) zebranych w latach 2016-2019, a także w oparciu o zestawy danych związane z książkami (BOOKS1 i BOOKS2) oraz z anglojęzyczną Wikipedią. Common Crawl to organizacja non profit, która indeksuje całą sieć internetową i swobodnie udostępnia swoje archiwa i zbiory danych. Archiwum indeksowania internetu, dokonywanego co miesiąc, składa się z petabajtów danych gromadzonych od 2011 r.
GPT-3 może generować próbki artykułów prasowych, które ludzie oceniający z trudnością odróżniają od artykułów pisanych przez ludzi
GPT-3 to tzw. model autoregresyjny, czyli przeszkolony drogą uczenia maszynowego bez nadzoru. „GPT-3 może generować próbki artykułów prasowych, które ludzie oceniający z trudnością odróżniają od artykułów pisanych przez ludzi. Omawiamy szersze społeczne skutki tego odkrycia i ogólnie GPT-3” – napisali badacze w artykule naukowym poświęconym GPT-3. – GPT-3 osiąga wysoką wydajność w wielu zestawach danych przetwarzania języka naturalnego, w tym w tłumaczeniu, odpowiadaniu na pytania i dokańczaniu fraz, a także w kilku zadaniach wymagających rozumowania w czasie rzeczywistym lub adaptacji, takich jak rozszyfrowanie słów, użycie nowego słowa w zdaniu lub rozwiązanie 3-cyfrowej arytmetyki”.
W teście porównawczym SuperGlue, konfrontującym rozumienie tekstu przez człowieka i maszyny, GPT-3 osiąga najlepsze wyniki w zestawach danych do czytania ze zrozumieniem, choć słabiej radzi sobie z analizą tekstu.
Prezent od Microsoftu
Do OpenAI trafił niedawno nowy superkomputer. Powstał dzięki współpracy i wsparciu badaczy laboratorium przez Microsoft. Potężna maszyna zasilana jest przez 285 tysięcy procesorów i 10 tysięcy układów graficznych, z których każdy umożliwia transfer danych na poziomie 400 gigabitów na sekundę. W oficjalnych komunikatach można przeczytać, że jeśli chodzi o moc obliczeniową, nowa maszyna Microsoft dla OpenAI zajmuje obecnie piąte miejsce na świecie.
Nie wiadomo dokładnie, w jaki sposób OpenAI skorzysta z tak potężnego systemu. Ogólnie rzecz biorąc, ma być wykorzystany do lepszego obsługiwania bardzo dużych modeli sztucznej inteligencji. Dzięki temu SI będzie się uczyć niuansów językowych, absorbując duże ilości tekstu i identyfikując brakujące słowa i zdania.
Algorytmy piszą lepiej?
Ale na tym prace Microsoftu w dziedzinie języka się nie kończą. Ostatnio obiegła świat sensacyjna wiadomość, że Microsoft zwalnia swoich dziennikarzy i zastępuje ich sztuczną inteligencją. Firma jest wydawcą Microsoft News i MSN, gdzie redaktorzy i dziennikarze przygotowują wiadomości i artykuły pojawiające się na stronie, w aplikacjach i przeglądarce Microsoft Edge. Zwolnienia są częścią szerszego planu korporacji, który zakłada większy udział sztucznej inteligencji w działaniach firmy na zewnątrz.
Tworzenie treści w Microsofcie polega na skanowaniu przez sztuczną inteligencję tekstów znajdujących się już w internecie, spośród których redaktorzy wybierają najważniejsze – po czym je przerabiają. Microsoft uznał, że w tym procesie ludzie są już zbędni, i zapowiedział zwolnienie 50 redaktorów w Stanach Zjednoczonych oraz 27 w Wielkiej Brytanii.
Czy to początek końca zawodu dziennikarza?