Google stworzył bota Meena, z którym pogadasz na każdy temat. Konkretnie.
Boty konwersacyjne są już powszechnym zjawiskiem. Spotykamy je głównie na stronach internetowych firm – mają ułatwić kontakt z potencjalnym klientem, odpowiedzieć na najczęstsze pytania, zachęcić do skorzystania z usług.
Ich problemem jest to, że są wyspecjalizowane – nawet najbardziej zaawansowany bot mający pomóc w diagnozie schorzenia okaże się bezradny, gdy zaczniemy z nim rozmawiać o pogodzie.
Powstają także boty, których celem jest konwersacja na dowolny zadany temat – tzw. open-domain bots. Powszechną przypadłością wśród nich jest to, że w pewnych sytuacjach ich wypowiedzi po prostu nie mają sensu albo są tak niekonkretne, że mogłyby stanowić odpowiedź na dowolne pytanie.
Problem zauważył Google, który stworzył między innymi najpopularniejszego bota na świecie – Asystenta Google. Choć wiele można z jego pomocą załatwić, wciąż daleko mu do ideału.
Google AI ogłosił właśnie, że stworzył bota konwersacyjnego o nazwie Meena, który w znacznie mniejszym stopniu cierpi na typowe bocie dolegliwości. Jak czytamy w opublikowanej przez Google AI pracy, Meena to ogromny model – ma ponad 2,6 miliarda parametrów, czyli połączeń między neuronami, które zostały wytrenowane na 341 gigabajtach tekstu z konwersacji w mediach społecznościowych. W porównaniu z naszym ulubieńcem, algorytmem GPT-2 stworzonym przez OpenAI, Meena jest zatem półtora raza większa i wyuczona na ponad osiem razy większym korpusie tekstu.
Twórcy zapewniają, że Meena potrafi prowadzić bardziej „treściwe” rozmowy – jej wypowiedzi mają więcej sensu i nie są ogólnikowe.
Sensowne odbijanie piłeczki
Aby porównać skuteczność swojego algorytmu z innymi, jego pomysłodawcy stworzyli wskaźnik o nazwie SSA (Sensibleness and Specificity Average). Mierzy on, w jakim stopniu odpowiedzi bota mają sens i czy są konkretne.
SSA podaje się w oparciu o subiektywną ocenę konwersacji przez człowieka. Grupę osób poproszono o przeprowadzenie czatów z Meeną, innymi wiodącymi botami konwersacyjnymi (Mitsuku, Cleverbot, DialoGPT, XiaoIce) oraz – dla porównania – z ludźmi. Przy każdej wymianie zdań badani mieli ocenić, czy wypowiedź miała sens i czy była konkretna.
Na przykład jeśli człowiek napisał „lubię tenis”, a bot na to „to miło” – odpowiedź ma w tym kontekście sens, ale jest niekonkretna. Jeśli odpowiedź brzmiałaby: „Ja też, uwielbiam Rogera Federera”, to nie tylko miałaby sens, ale byłaby też konkretna.
Jak rezultaty? Średnia SSA dla wymiany człowiek – człowiek wyniosła 86 procent. Meena wypadła świetnie – 79 procent. Dalej: Mitsuku i Cleverbot – 56, DialoGPT – 48, XiaoIce – 31.
Zakłopotany model
Przy okazji tych badań okazało się, że SSA wykazuje mocną korelację z tzw. perplexity (dosł. zakłopotanie, w terminologi naukowej: miara nieokreśloności). Określa ono, z jaką pewnością model przewiduje kolejny element wygenerowanego tekstu. Innymi słowy – spośród ilu możliwych opcji model wybiera kolejny element (znak, cząstkę, wyraz) wygenerowanego tekstu. Im wyższy współczynnik SSA, tym niższe (czyli lepsze) perplexity.
Naukowcy długo szukali sposobu, który byłby w stanie określić skuteczność modelu przetwarzania języka naturalnego bez zaangażowania dziesiątek wolontariuszy. Właśnie go znaleźli.
Rozwój konwersacyjnych chatbotów – zapewnia Google AI – ma praktyczne implikacje. Eksperci wymieniają bardziej ludzkie, przyjaźniejsze interfejsy głosowe, generowane na bieżąco rozmówki pomocne w nauce języków obcych, wreszcie krwiste i wiarygodne dialogi z postaciami w grach komputerowych.